La regulación europea de la IA ante los sesgos y riesgos de discriminación algorítmica en contextos migratorios
Palabras clave:
migraciones, IA, derechos humanos, discriminación algorítmica, sesgos, estereotipos, Unión Europea (UE)Resumen
Revista CIDOB d’Afers Internacionals, nº 138, pp. 171-194
Cuatrimestral (octubre-diciembre 2024)
ISSN:1133-6595 | E-ISSN:2013-035X
DOI: https://doi.org/10.24241/rcai.2024.138.3.171
La creciente institucionalización de la inteligencia artificial (IA) es un problema social especialmente preocupante para aquellos colectivos más vulnerables, como pueden ser las personas migrantes y solicitantes de asilo. Si bien los contextos migratorios globales están siendo objeto de un férreo control securitario y de una amplia transformación digital, la regulación europea sobre la IA presenta todavía un alcance muy limitado para contrarrestar las repercusiones negativas del diseño y entrenamiento de algoritmos. A tal propósito, este artículo plantea una revisión crítica sobre cómo se introducen los sistemas de IA en el control y la gestión migratorios europeos y analiza por qué el nuevo marco regulador de la IA es insuficiente para evitar el impacto discriminatorio de sesgos, estereotipos y riesgos asociados a las dinámicas asimétricas de poder y a las estructuras de injusticia social subyacentes a las migraciones.
Citas
Akhmetova, Roxana. «Efficient Discrimination: On How Governments Use Artificial Intelligence in the Immigration Sphere to Create and Fortify ‘Invisible Border Walls’». COMPAS, Working Paper 149, (2020), p. 1-23 (en línea) https://www.compas.ox.ac.uk/wp-content/uploads/WP-2020-149-Akhmetova_Eficient_Discrimination.pdf
Avello Martínez, María. «EU Borders and Potential Conflicts between New Technologies and Human Rights». Peace & Security – Paix et Sécurité Internationales, n.º 11, (2023), p. 1-33.
Bartoletti, Ivana y Xenidis; Raphaële. Study on the impact of artificial intelligence systems, their potential for promoting equality, including gender equality and the risks they may cause in relation to discrimination. Estrasburgo: Council of Europe, 2023.
Beduschi, Ana. «International migration management in the age of artificial intelligence». Migration Studies, vol. 9, n.º 3 (2021), p. 576-596.
Beduschi, Ana. Artificial intelligence, migration and mobility: implications for policy and practice. Ginebra: World Migration Report, 2022.Broeders, Dennis. «The New Digital Borders of Europe: EU Databases and the Surveillance of Irregular Migrants». International Sociology, vol. 22, n.º 1 (2007), p. 71-92.
Brouwer, Evelien. «Challenging Bias and Discrimination in Automated Border Decisions: Ligue des droits humains and the Right to Effective Judicial Protection». VerfBlog, (11 de mayo de 2023) (en línea) https://verfassungsblog.de/pnr-border/
Burgess, J. Peter y Kloza, Dariusz. Border control and new technologies. Addressing integrated Impact Assessment. Bruselas: Academic and Scientific Publishers, 2021.
Butler, Judith. «Performativity, precarity and sexual politics». AIBR. Revista de Antropología Iberoamericana, vol. 4, n.º 3 (2009), p. 1-13.
Chander, Anupam. «The racist algorithm?». Michigan Law Review, vol. 115, n.º 6 (2017), p. 1.023-1.045.
Cook, Rebecca J. y Cusack, Simone. Gender Stereotyping: Transnational Legal Perspectives. Filadelfia: University of Pennsylvania Press, 2010.
Cruz Ángeles, Jonatán. «Procesamiento informático de datos y protección de derechos fundamentales en las fronteras exteriores de la Unión Europea». Freedom, Security and Justice: European legal studies, n.º 1 (2020), p. 94-122.
Cruz Ángeles, Jonatán. «La nueva Ley de Inteligencia Artificial una aliada necesaria para gestionar controles fronterizos, migratorios y de asilo en la Unión Europea», en: Vestri, Gabriele (dir.) La disrupción tecnológica en la Administración Pública: retos y desafíos de la inteligencia artificial. Cizur Menor: Aranzadi, 2022, p. 97-121.
Garrido Carrillo, Francisco Javier. «La inteligencia artificial en el control de los flujos migratorios en la Unión Europea. La necesidad de un marco normativo garantista de los derechos fundamentales». Revista General de Derecho europeo, n.º 60 (2023), p. 1-39.
Derave, Charly; Genicot, Nathan y Hetmanska, Nina. «The Risks of Trustworthy Artificial Intelligence: The Case of the European Travel Information and Authorisation System». European Journal of Risk Regulation, vol. 13, n.º 3 (2022), p. 389-420.
Dumbrava, Costica. Artificial intelligence at EU borders. Overview of applications and key issues. Bruselas: European Parliamentary Research Service, 2021.
EC-European Commission. Communication from the Commission to the European Parliament and the Council on Smart borders: options and the way forward. Bruselas: EC, 2011.
EC-European Commission. Communication from the Commission to the European Parliament and the Council on Stronger and Smarter Information Systems for Borders and Security. Bruselas: EC, 2016.
EC-European Commission. The Use of Artificial Intelligence in Border Control, Migration and Security. Bruselas: EC, 2020a.
EC-European Commission. White paper on Artificial Intelligence - A European approach to excellence and trust. Bruselas: EC, 2020b.
EC-European Commission. Artificial Intelligence in EU Borders. Bruselas: EC, 2021a.
EC-European Commission. Feasibility study on an early warning and forecasting tool for migration based on artificial intelligence technology. Bruselas: EC, 2021b.
EC-European Commission. Opportunities and Challenges for the Use of Artificial Intelligence in Border Control, Migration and Security. Bruselas: EC, 2021c.
EDRi-European Digital Rights. Uses of AI in immigration and border control. A fundamental rights approval to the Artificial Intelligence Act. Bruselas: EDRi, 2022.
EMN-European Migration Network. The use of digitalization and artificial intelligence in migration management.Bruselas: EMN, 2022.
FRA-European Union Agency for Fundamental Rights. Facial recognition technology: fundamental rights considerations in the context of law enforcement. Viena: FRA publications, 2020.
FRA-European Union Agency for Fundamental Rights. Bias in Algorithms – Artificial Intelligence and Discrimination. Viena: FRA publications, 2022.
Forti, Mirko. «Addressing Algorithmic Errors in Data-Driven Border Control Procedures». German Law Journal, vol. 25, n.º 1 (2024), p. 1-11.
Guild Elspeth y Vavoula, Niovi. «Travel Authorization in the EU: Automated Processing and Profiling». OpenDemocracy, (12 de octubre de 2020) (en línea) https://www.opendemocracy.net/en/can-europe-makeit/travel-authorization-eu-automated-processing-and-profiling/
Jasmontaite-Zaniewicz, Lina y Zomignani Barboza, Júlia. «Disproportionate surveillance: technology assisted and automated decisions in asylum applications in the EU?». International Journal of Refugee Law, n.º 33 (2021), p. 89-110.
Kilpatrick, Jane y Jones, Chris. A clear and present danger. Missing safeguards on immigration and asylum EU’s AI act. Londres: Statewatch, 2022.
Leese, Mathias. «The new profiling: Algorithms, black boxes, and the failure of anti-discriminatory safeguards in the European Union». Security Dialogue, vol. 45, n.º 5 (2014), p. 494-511.
Leese, Mathias; Noori, Simon y Scheel, Stephan. «Data Matters: The Politics and Practices of Digital Border and Migration Management». Geopolitics, 27, n.º 1 (2022), p. 5-25.
Loddo, Olimpia Giuliana y Addis, Andrea. «Tre funzioni dell’IA nella gestione dei flussi migratori». Adimblog, Analisi & Opinioni, (enero de 2023) (en línea) https://www.adimblog.com/2023/01/31/tre-funzioni-dellia-nella-gestione-dei-flussi-migratori/
Marin, Luisa. «Is Europe Turning into a ‘Technological Fortress’? Innovation and Technology for the Management of EU’s External Borders», en: Heldeweg, Michiel A. y Kica, Evisa (eds.) Regulating Technological Innovation: Legal and Economic Regulation of Technological Innovation. Londres: Palgrave Macmillan, 2011, p. 131-151.
Mejías, Ulises y Couldry, Nick. «Colonialismo de datos: repensando la relación de los datos masivos con el sujeto contemporáneo». Virtualis, vol. 10, n.º 18 (2019), p. 78-97.
Molnar, Petra. «Technology on the Margins: AI and Global Migration Management from a Human Rights Perspective». Cambridge International Law Journal, 8, n.º 2 (2019), p. 305-330.
Molnar, Petra. «Digital border technologies, techno-racism and logics of exclusion». International Migration, vol. 61, n.º 5 (2023), p. 307-312.
Molnar, Petra. AI surveillance and border tech experiments. Nueva York: The New Press, 2024.
Moreno Rebato, Mar. Inteligencia artificial (umbrales éticos, derecho y administraciones públicas). Cizur Menor: Aranzadi, 2021.
Morondo Taramundi, Dolores. «Discrimination by Machine-Based Decisions: Inputs and Limits of Anti-discrimination Law», en: Custers, Bart, Fosch-Villaronga; Eduard (eds.) Law and Artificial Intelligence. La Haya: T.M.C. Asser Press/Springer, 2022, p. 73-85.
Musco Eklund, Amanda. «Rule of Law Challenges of ‘Algorithmic Discretion’ & Automation in EU Border Control. A Case Study of ETIAS Through the Lens of Legality». European Journal of migration and Law, vol. 25, n.º 3 (2023), p. 249-274.
Nalbandian, Lucia. «An eye for an ‘I:’ a critical assessment of artificial intelligence tools in migration and asylum management». Comparative Migration Studies, vol. 10, n.º 32 (2022), p. 1-23.
Napolitano, Antonella. Artificial intelligence: the new frontier of the EU’s border externalisation strategy. Copenhague: EuroMed rights, 2023.
Nedelcu, Mihaela y Soysüren, Ibrahim. «Precarious migrants, migration regimes and digital technologies: the empowerment-control nexus». Journal of Ethnic and Migration Studies, vol. 48, n.º 8 (2022), p. 1.821-1.837.
Oliveira Martins, Bruno y Gabrielsen Jumbert, Maria. «EU Border technologies and the co-production of security ‘problems’ and ‘solutions’». Journal of Ethnic and Migration Studies, vol. 48, n.º 6 (2022), p. 1.430-1.447.
Ozkul, Derya. Automating Immigration and Asylum: The Uses of New Technologies in Migration and Asylum Governance in Europe. Oxford: Refugee Studies Centre, University of Oxford, 2023.
Romano, Andrea. «Derechos fundamentales e inteligencia artificial emocional en iBorderCtrl: retos de la automatización en el ámbito migratorio». Revista Catalana de Dret Públic, n.º 66 (2023), p. 237-252.
Ruiz Tarrías, Susana. «La búsqueda del modelo regulatorio de la IA en la Unión Europea». Anales de la Cátedra Francisco Suárez, n.º 57 (2023), p. 91-119.
Suresh, Harini y Guttag, John. «A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle», en: Proceedings of EAAMO ’21: Equity and Access in Algorithms, Mechanisms, and Optimization (EAAMO ’21), (octubre de 2021) (en línea) https://dl.acm.org/doi/fullHtml/10.1145/3465416.3483305
UN Special Rapporteur on Contemporary forms of racism, racial discrimination, xenophobia and related intolerance. «Racial and xenophobic discrimination, emerging digital technologies, and border and immigration enforcement». UN, A/HRC/44/57, (18 de junio de 2020) (en línea) https://digitallibrary.un.org/record/3879751?v=pdf
Vantin, Serena. Il diritto antidiscriminatorio nell’era digitale. Potenzialità e rischi per le persone, La Pubblica Amministrazione, le imprese. Milán: Wolters Kluwer, 2021.
Vavoula, Niovi. «Artificial Intelligence (AI) at Schengen Borders: Automated Processing, Algorithmic Profiling and Facial Recognition in the Era of Techno-Solutionism». European Journal of Migration and Law, n.º 23 (2021), p. 457-484.
Veale, Michael y Zuiderveen Borgesius, Frederik. «Demystifying the Draft EU Artificial Intelligence Act». CRi, n.º 4 (2021), p.1-16.
Xenidis, Raphaël. «Tuning EU equality law to algorithmic discrimination: Three pathways to resilience». Maastricht Journal of European and Comparative Law, vol. 27, n.º 6 (2020), p. 736-758.
Zuiderveen Borgesius, Frederik. Discrimination, artificial intelligence, and algorithmic decision-making. Estrasburgo: Council of Europe, Directorate General of Democracy, 2018.
