INTELIGENCIA ARTIFICIAL Y SESGOS DISCRIMINATORIOS: ¿ES NECESARIO UN NUEVO CONCEPTO DE DISCRIMINACIÓN ALGORÍTMICA?

1. Sesgos en los datos y en cómo se procesan: causas y manifestaciones[Subir]

La IA, como la inteligencia humana, utiliza información de entrada para llegar a decisiones, y la misma puede estar sesgada. Pero a partir de esta coincidencia esencial se aprecian causas diferenciales que propician cuantitativamente los sesgos discriminatorios en los sistemas de IA y que les otorgan sus características cualitativamente diferenciales más sobresalientes (y en ese sentido, los sesgos en los datos y en cómo se procesan son los sesgos más paradigmáticos en los sistemas de IA).

La primera de esas causas diferenciales se refiere a la capacidad de procesamiento, que es cuasi infinita en ciertos sistemas de IA (en especial, el deeplearning y la IA generativa), lo que permite la utilización de grandes cantidades de datos, incluyendo datos de estructura compleja (big data). Y en estas circunstancias la mina de datos usada puede fácilmente incluir datos de mala calidad ética (datos discriminatorios, desactualizados, obtenidos o tratados sin garantía de cumplimiento de las leyes de protección de datos) sin que los sistemas de IA (salvo acaso los llamados algoritmos éticos, aunque, a día de hoy, no son los mayormente implantados) tengan la capacidad (que sí que tendría una decisión humana) de prescindir de los datos de mala calidad ética o de corregir decisiones por motivos éticos. Para expresar esta situación se suele aludir al acrónimo GIGO: «Garbage in = Garbage out» (si entra basura, saldrá basura) (‍Giralt, 2024: 10).

Veamos algunos ejemplos. En el ámbito del empleo son bastante habituales, en particular si se trata de empleo en plataformas, sistemas de IA que valoran la opinión de las personas usuarias del servicio, y aquí hay un riesgo importante de introducción de datos que incorporan sesgos discriminatorios, cuando no discriminaciones puras y duras, que el sistema no depura. Se ha determinado en algunos estudios realizados en Estados Unidos que cuando personas usuarias de Uber comprobaban que el conductor era de determinada raza a través de la propia aplicación, cancelaban el servicio y el algoritmo de Uber no identificaba que ello era una discriminación, sino que aprendía que esa cancelación se debía a falta de capacidad del conductor, con lo cual ese conductor recibía menos ofertas y finalmente era expulsado (‍Aragüez, 2024: 143).

Otras veces el sesgo se deriva de la calificación previa hecha por personas (y que por lo tanto puede contener un sesgo) de los datos que se le facilitan al sistema de IA. En este sentido, en Estados Unidos se ha denunciado la denegación hasta hace poco de pruebas de cáncer de mama para las mujeres negras bajo la suposición de que solo eran necesarias para las mujeres blancas, y «esta denegación es, a su vez, una denegación de ratificación que, asimismo, influye en los programas computacionales de cálculo de riesgo» (‍IM, 2023: 21). Algo semejante se podría plantear en España dada la situación de infradiagnóstico de la EPOC, que afecta más a las mujeres (‍Soriano, 2021).

Incluso se ha llegado a plantear el riesgo de sesgo de sistemas donde los datos se obtienen de las propias personas. Cammio Xpress Analytics valora las características no profesionales de las personas candidatas a un empleo para verificar la capacidad de liderazgo, el sentimiento de pertenencia a la empresa y las posibilidades de negociar las condiciones. Se basa en la autoevaluación de «los cinco grandes» (OCEAN: openness, conscientiousness, extraversion, agreableness, neuroticism). Pero «los informes sobre uno mismo […] no solo muestran una autopercepción, sino que también contienen una percepción social implícita», de manera que estamos ante «una metodología que psicologiza la discriminación estructural y la toma no solo como un punto de partida descriptivo, sino normativo para justificar una decisión laboral» (‍IM, 2023: 22-‍23).

La segunda de esas causas diferenciales que propician los sesgos discriminatorios en los sistemas de IA se deriva de la capacidad de inferencia estadística de los sistemas de IA con aprendizaje automático. Aunque los datos manejados sean de calidad sin tacha de estereotipos o prejuicios, dichos sistemas pueden producir sesgos discriminatorios a partir del procesamiento de datos disponibles que son en principio objetivos: el código postal de una persona o el tiempo dedicado a leer unas u otras noticias le puede permitir al algoritmo deducir la raza, la religión o la ideología política. Un sistema de selección o promoción de personal puede interpretar la baja tasa de empleo femenino como una escasa habilidad de las mujeres para integrarse en la empresa. En suma, el algoritmo utiliza una variable próxima, en principio ajena a una causa de discriminación, para inferir una respuesta discriminatoria (es el sesgo discriminatorio por variable proxy).

Tal capacidad de inferencia estadística es la razón de ser de los algoritmos predictivos diseñados, desplegados y usados para inferir riesgos a partir de datos objetivos. De ahí que en esta clase de algoritmos se aprecian con intensidad los problemas de sesgos discriminatorios y de vulneración del derecho a la privacidad.

Veamos algunos ejemplos. Predective Hire identifica a aquellas personas trabajadoras con una mayor probabilidad de reclamar mejoras o de afiliación sindical a partir de datos obtenidos en las plataformas virtuales de la empresa. «Más allá de que se puedan ocasionar invasiones en la privacidad, la empresa tenía la capacidad de tomar decisiones y, en su caso, despedir a los trabajadores por la información extraída del uso de las herramientas tecnológicas en los puestos de trabajo» (‍Aragüez, 2024: 145-‍146).

Compas valora el grado de reincidencia del individuo a partir de la información obtenida de una encuesta de más de cien preguntas y los antecedentes penales. Fue cuestionado en el caso Loomis, un condenado a seis años de prisión a quien la pena se le ajustó dado el riesgo de reincidencia tras aportar el fiscal un informe elaborado por el algoritmo Compas. El Tribunal Supremo de Wisconsin^[8] no consideró vulnerado el derecho al debido proceso ni el principio de igualdad, a pesar de que Compas había sido puesto en duda alegando que reproducía sesgos raciales (ibid.: 154 ss).

En la Unión europea, el primer caso judicializado con respecto a los algoritmos predictivos de riesgo es el de SyRi. Fue desarrollado por el Gobierno holandés para predecir el fraude a la Seguridad Social a través del análisis de grandes cantidades de datos disponibles por las Administraciones públicas. La Corte de Distrito de La Haya, en su sentencia de 05/02/2020^[9], consideró en general lícito utilizar instrumentos de este tipo si hay un interés público que lo justifique y se garantice la mínima injerencia en la privacidad; consideró que SyRI no ofrecía garantías suficientes. No entró a considerar si producía los sesgos discriminatorios que denunció Philip Alston, relator sobre la extrema pobreza y derechos humanos de Naciones Unidas, quien actuó como amicus curiae (‍Lazcoz y Castillo, 2020; ‍Rivas, 2020: 354-‍356; ‍Aragüez, 2024: 152 y ss.).

También en España se han analizado los sesgos causados por tres algoritmos predictivos: VioGen, para predecir el riesgo de agresión en casos de violencia de género; Riscanvi, para predecir el comportamiento en el ámbito carcelario, y VeriPol, para predecir los fraudes en denuncias de robo (‍Martínez et al., 2024; ‍Presno, 2023b). La problemática principal de estos algoritmos predictivos se encuentra en la ausencia de transparencia para comprobar las garantías de derechos de las personas y asimismo se ha cuestionado su efectividad en relación con el fin buscado de predicción de riesgos.

La tercera de esas causas diferenciales que propician los sesgos discriminatorios en los sistemas de IA, ligada con las dos anteriores, obedece a que en las minas de datos de las que se nutre el sistema pueden existir (y ello es habitual) marcadas asimetrías con incidencia sobre factores discriminatorios. Aunque se haya programado de manera neutra, el sistema aprende que las características de las personas o grupos de los que hay sobreabundancia de datos son la normalidad a potenciar, mientras que las características de aquellas personas o grupos de los que hay carencia de datos son la anormalidad a excluir (es la «estadística contra las minorías» de la que nos habla Todolí, 2024: 64). Según un reciente estudio publicado por la OIT, la mayoría de los datos utilizados por los sistemas de IA proceden de las poblaciones occidentales, educadas, industrializadas, ricas y democráticas (WEIRD: white, educated, industralized, rich and democratic —literalmente, weird es raro—) (‍Gmyrek et al., 2024). De ahí que la búsqueda en la red de trajes de novia muestra el clásico vestido blanco occidental, mientras que los trajes de novia de otras culturas se catalogan de vestidos típicos o folclóricos (‍Flores, 2023: 102).

Si observamos el fenómeno con perspectiva de género, también hay «una notable asimetría de datos», pues «los datos disponibles proceden o versan sobre los varones, siendo muchos menos los datos disponibles que proceden o versan sobre las mujeres», e incluso aún menos «en el caso de las mujeres racializadas, con discapacidad o de bajo nivel económico» (‍Rodríguez, 2024: 16). Los termostatos inteligentes en oficinas se convirtieron hace algunos años en el centro de atención científica de prestigiosas revistas académicas porque se habían configurado sobre una fórmula desarrollada en los años sesenta en oficinas dominadas por hombres. Como esa fórmula no había sido revisada desde entonces, las mujeres pasaban frío en su trabajo, y estudios recientes denuncian pocos avances en la erradicación de esa fórmula (‍IM, 2023: 26).

Amazon se ha visto inmersa en un caso con cierta repercusión por establecer un sistema algorítmico para la selección de personal que discriminaba a las mujeres. De nuevo aquí la causa del sesgo estaba en la asimetría de datos, pues el algoritmo había sido entrenado con currículos de candidatos compilados a lo largo de una década y, cuando se trataba de puestos técnicos, la mayoría de esos candidatos eran hombres y la IA infirió que ser hombre era un requisito necesario o conveniente para esos puestos. Los currículos de mujeres fueron sistemáticamente excluidos, a pesar de que contaran con formación técnica adecuada para los puestos ofertados. Amazon intentó corregir el sesgo, pero al no conseguirlo decidió suspender el programa (‍Rivas, 2020: 230-‍232).

La cuarta de esas causas diferenciales que propician los sesgos discriminatorios en los sistemas de IA es que los resultados sesgados ofrecidos por un sistema de IA (sea cual sea el origen del sesgo: los datos, el algoritmo, la interfaz o se trate de un sesgo humano) se pueden integrar en la mina de datos que utiliza el propio sistema de IA (sesgos de retroalimentación). Por ejemplo, si un sistema de IA excluye de una beca a una persona joven en atención a circunstancias tales como su código postal (pues las personas con ese código postal, correspondiente a un barrio marginal o racializado o a un medio rural, tienen más fracasos educativos), aparte de perjudicar a la persona solicitante (lo que se daría también si la decisión de exclusión de la beca fuese humana), confirmaría (y esto lo diferencia de la decisión humana) la aplicación del sesgo para otras personas jóvenes con ese mismo código postal que solicitasen la beca y cuya solicitud fuese evaluada por el mismo sistema de IA u otro semejante. O sea, mientras las decisiones humanas con sesgo discriminatorio consolidan el prejuicio a modo de sumatorio, las decisiones automatizadas lo consolidan en términos de multiplicación.

2. Problemas de calificación jurídica de los sesgos en los datos[Subir]

¿Cómo se califican conceptualmente todas las anteriores situaciones causadas por los sesgos en los datos a efectos de aplicación de la legislación antidiscriminatoria? La detección de los sesgos discriminatorios derivados de los datos manejados se suele derivar hacia la aplicación del concepto de la discriminación indirecta que exige acreditar una desventaja particular, típicamente en forma de impacto adverso detectable estadísticamente, ofreciendo la posibilidad de una justificación ajena a la causa discriminatoria. Pero la respuesta no resulta tan fácil a causa de varias circunstancias.

En primer lugar, porque la estructura conceptual de la discriminación indirecta se sustenta en la existencia de una disposición, criterio o práctica aparentemente neutros que produce una desventaja particular y que no se justifica en criterios objetivos. Una aplicación desenfadada de este concepto en un contexto de IA sería admitir que la implementación de un sistema de IA es una disposición, criterio o práctica. Sin embargo, tal implementación solo es una forma de realizar una tarea que, si permitida por la ley, es totalmente libre. Por ejemplo, utilizar un sistema de IA en la selección de personal es un método de reclutamiento que, dentro de la ley, una empresa puede elegir libremente (como podría elegir contratar personalmente o hacerlo a través de una consultora de recursos humanos, quien también podría optar por contratar personalmente o con un sistema de IA). En un sistema de IA, la disposición, criterio o práctica se debería buscar en el código fuente, pero este no está siempre al alcance de la persona o empresa usuaria del sistema de IA (quien simplemente puede haber contratado su uso con una empresa que lo despliega, situación bastante habitual), y también parece excesivo exigirle acreditar, para justificar un impacto adverso, la utilización de datos sin sesgos discriminatorios, la trazabilidad de la inferencia estadística a partir de datos no discriminatorios, la utilización de minas de datos no asimétricas y la ausencia de retroalimentación. Además, algunos de esos elementos no necesariamente constituyen una justificación suficiente: en particular la trazabilidad de la inferencia estadística a partir de datos no discriminatorios no garantiza la ausencia de un resultado discriminatorio, pues los sistemas de IA no distinguen entre correlación y causalidad (por ejemplo, la start-up Gild identificó una correlación estadística entre visitar páginas de manga japonés y buenas habilidades para codificar; ‍Ginès, 2024: 8). Si se desconoce el código fuente del sistema de IA, si este procesa con total opacidad los datos disponibles, si realiza inexplicables inferencias estadísticas y si alcanza decisiones automatizadas sin justificaciones claramente articuladas, la conclusión es que «habría que cuestionar esa fácil equiparación de la discriminación algorítmica a un eventual supuesto de discriminación indirecta» (‍Sáez, 2020: 49). Nada de ello se ajusta a los parámetros tradicionales sobre los cuales se aplica una discriminación indirecta.

En segundo lugar, porque la cuestión se complejiza aún más cuando se trata de la interacción de diversos factores que crea una situación específica de discriminación interseccional (‍Lousada, 2024). Y es que según el concepto de discriminación interseccional, no basta con ser una mujer racializada, de religión minoritaria o minorizada, mayor, con discapacidad y con orientación no heterosexual, para considerar que esa mujer sufre discriminación interseccional, sino que es necesario que se produzca una situación específica de discriminación por la existencia de un prejuicio que, en el contexto de que se trate, conduce a la exclusión jurídica de esa mujer (con lo cual se estaría discriminando a esa mujer racializada, pero no a un hombre con todas esas circunstancias asociadas, ni a una mujer a la cual le faltase una sola de esas circunstancias). Lo que ocurre es que, dada la amplitud de datos que maneja, la IA puede producir esa exclusión de manera automatizada y sin ningún prejuicio asociado a esa situación. En este contexto digital, resulta muy difícil detectar un prejuicio que constituya la situación específica de discriminación para apreciar una discriminación interseccional y el intento de derivar la situación hacia la discriminación indirecta tropieza con la fragmentación de la muestra a efectos de apreciar un impacto adverso.

3. Sesgos causados por el propio algoritmo: causas, manifestaciones y problemas de calificación jurídica[Subir]

Mientras que en los supuestos hasta ahora analizados se ha partido del no acceso al código fuente del sistema de IA, si se ha accedido a tal código fuente se podría verificar que el sesgo está causado por el propio algoritmo, y esto sí nos sitúa, en principio, en un escenario conceptual más transitado desde la perspectiva antidiscriminatoria: quien crea el sistema incluye en el algoritmo una instrucción dirigida a situar a personas, en atención a su sexo u a otro motivo protegido, de manera menos favorable que otras en situación comparable, extendiéndose la responsabilidad a quien, conociendo esa circunstancia, despliega el sistema de IA (lo que constituiría una discriminación directa); o cuando dicha instrucción, aparentemente neutra, coloca a personas de un sexo o incluidas en un colectivo protegido, en desventaja particular con respecto a otras, salvo que dicha disposición, criterio o práctica puedan justificarse objetivamente en atención a una finalidad legítima y que los medios para alcanzar dicha finalidad sean necesarios y adecuados (lo que constituiría una discriminación indirecta).

Un ejemplo de esta situación fue conocida en 2020 por el Tribunal Ordinario de Bolonia^[10]: Deliveroo funciona con un algoritmo de atribución de turnos (llamado Frank) en función de si el rider se ha dejado de conectar a turnos con anterioridad. Los sindicatos demandaron porque esa instrucción no distinguía si esa conducta obedecía al ejercicio del derecho de huelga, a una enfermedad o al cuidado de familiares. El tribunal consideró la existencia de discriminación porque, siendo neutra la instrucción, colocó a riders en desventaja particular sin evaluación de las razones justificadas de su absentismo (‍Fernández, 2021; ‍Aragüez, 2024: 149-‍152). Otro ejemplo similar, también en Italia, lo encontramos en la situación conocida en 2023 por el Tribunal Ordinario de Palermo^[11]: la calidad y eficiencia de las personas trabajadoras de la empresa Foodinho (filial italiana de Glovo) se media, entre otros parámetros, por la disponibilidad en horas de alta demanda, lo que perjudicaba a aquellas personas trabajadoras que, por razones familiares, de edad o salud, no podían atender a esas horas.

Pero otras situaciones generadas por el propio algoritmo no son tan sencillas de calificar jurídicamente como discriminación. Los programas de traducción suelen marcar sesgos de género al traducir del inglés, donde predominan nombres neutros, a otros idiomas donde los nombres tienen género, como el francés o el español (‍Flores, 2023: 99). Por ejemplo, si utilizamos el traductor DeepL Translate (que se publicita como «el mejor traductor del mundo») y, para una traducción del inglés al español, introducimos «the nurse», el resultado en español es «la enfermera» y ofrece como alternativa «el enfermero», mientras que si introducimos otras profesiones, el resultado es el inverso, es decir, «the lawyer» se traduce como «el abogado» y la alternativa es «la abogada». Más llamativo resulta que «the nurse and the doctor» se traduce en español como «la enfermera y el médico» y las alternativas son «el enfermero y el médico» y «la enfermera y el doctor»; o sea, ninguna alternativa contempla a la médica o a la doctora.

No es fácil subsumir estas situaciones de sesgos de género en los conceptos normativos de discriminación. Como no se puede hablar de impacto adverso, sería una discriminación directa, pero, como el sesgo no obedece a una intención de quien crea o despliega el algoritmo, consistiría en la omisión de no diseñarlo para evitar los sesgos discriminatorios, lo que nos sitúa ante una la discriminación por omisión, categoría hasta hace poco desconocida en la legislación (a ella se refiere la Ley 15/2022, art. 4.1), y que ha suscitado una «atención doctrinal discreta» (‍García, 2021: 261). De esa incuria surgen varias cuestiones: ¿exige la discriminación por omisión una intervención legislativa para establecer una responsabilidad concreta sobre quien despliega el sistema de IA o bastaría deducirla de la prohibición de discriminación por sexo/género? ¿Podría ampararse quien crea o despliega el sistema en inconvenientes técnicos insalvables para evitar el sesgo en una suerte de excepción de buena fe derivada del estado actual de la técnica que, sin embargo, no encontraría apoyo en las definiciones legales actualmente vigentes sobre buena fe ocupacional o sobre buena fe negocial?

4. Sesgos en la interfaz del programa: causas, manifestaciones y problemas de calificación jurídica[Subir]

Según el Diccionario de la RAE, la interfaz en informática es la «conexión, física o lógica, entre una computadora y el usuario, un dispositivo periférico o un enlace de comunicaciones». Los sesgos discriminatorios se plantean en particular cuando la conexión es entre una computadora y la persona usuaria. Tales sesgos, como los del algoritmo, también son de diseño del sistema de IA, aunque resultan más perceptibles.

Los ejemplos más destacados son los chatbots con voces femeninas que han sido denunciados por la UNESCO (y que, dicho sea de paso, contrasta con el uso de voces masculinas especialmente en publicidad, por resultar de mayor autoridad y otorgar mayor credibilidad; ‍Pérez Ugena, 2024: 314). El informe I’d Blush If I Could: Closing gender divides in digital skills through education (2019) pone de manifiesto que en respuesta a la frase «you’re a bitch», Siri respondía «I’d blush if I could» (me sonrojaría si pudiera); Alexa, «well, thanks for the feedback» (bueno, gracias por el feedback); Cortana, «well, that’s not going to get us anywhere» (bueno, eso no nos llevará a ninguna parte); y el asistente de Google, «my apologies, I don’t understand» (mis disculpas, no lo entiendo). De esta manera, el diseño de los asistentes virtuales pretende proyectar la idea ficticia de que Siri, Alexa o Cortana, códigos informáticos incorpóreos, son mujeres jóvenes, heterosexuales, serviciales, tolerantes y receptivas a los intentos sexuales masculinos, e incluso a actos ofensivos (‍UNESCO, 2019: 20).

En la misma línea de sesgos en la interfaz se encuentra el diseño de los personajes de muchos videojuegos, donde se presentan personajes femeninos hipersexualizados (a veces sin ninguna lógica en relación con el juego: por ejemplo, en juegos de lucha, los personajes masculinos aparecen avituallados de armaduras metálicas propios de la lucha, mientras los personajes femeninos, que también entran en lucha con los demás personajes, aparecen apenas en un bikini impropio para la lucha).

Ambos ejemplos (los chatbots con voces femeninas y los personajes femeninos hipersexualizados) serían incardinables en la categoría de discriminaciones directas, y además abiertas (pues se aprecian a simple vista sin mayores dificultades). La cuestión sería, en consecuencia, si se pueden considerar amparadas en una excepción de buena fe negocial sustentada en el estado de la ciencia (que no ha desarrollado todavía técnicas para corregir esos sesgos) o en las preferencias de la clientela (esto muy cuestionable), sin poder desconocer la tendencia general a limitar las excepciones de buena fe que se aprecia tanto en la normativa comunitaria e interna como en la jurisprudencia que la aplica (‍Lousada, 2014: 191 y ss.; ‍Lousada et al., 2024: 95 y ss.). Pero también es verdad que en algunos casos (como el de las traducciones sesgadas) no están en juego, como en otras ocasiones en que se ha cuestionado la aplicación de la excepción de buena fe, un derecho subjetivo individualizado, sino un interés legítimo más difuso para evitar la desigual valoración de los roles de género evidenciado en el diseño de las interfaces.

Otro sesgo de interfaz en un ámbito diferente, y con un abordaje jurídico asimismo diferente, se ha denunciado en nuestro propio país. La CIVIO (asociación sin ánimo de lucro para promover la transparencia de las instituciones y el acceso a la información pública) denunció que el sistema BOSCO utilizado por la Administración para la asignación del bono eléctrico a las personas vulnerables dejaba fuera a las viudas porque, si entraban por la vía de la pensión de incapacidad permanente o jubilación, se les contestaba «no reúne los requisitos» (aunque son pensionistas de viudedad), y si entraban por la vía del nivel de renta se les contestaba «imposibilidad de comprobar los niveles de renta», dado que reciben una pensión (no una renta). No planteó la CIVIO una denuncia de discriminación (que sería interseccional al afectar a viudas con escasos recursos), sino, a través de la normativa sobre transparencia, una solicitud de acceso al código fuente ante el organismo estatal de transparencia. Se denegó el acceso por motivos de seguridad pública, secreto profesional, propiedad intelectual e industrial, protección de datos personales y riesgo de ataques informáticos si se conocieran las vulnerabilidades del programa. La reclamación ante los Juzgados Centrales de lo Contencioso Administrativo^[12] fue desestimada (‍Moral, 2022: 487-‍491), lo que, por cierto, choca con precedentes judiciales francés^[13] e italiano^[14], en los cuales sí se admitió el derecho de acceso al código fuente atendiendo a la normativa sobre transparencia.

5. Violencia de género en el metaverso[Subir]

En una interfaz inmersiva, como las utilizadas en el metaverso, la persona usuaria entra, a través de una personalidad virtual, en la escena diseñada por el programa informático, viajando y visitando los distintos lugares, observando e incluso interactuando con el entorno virtual y con las personalidades virtuales de otras personas usuarias. El concepto metaverso, que junto con el término avatar fue acuñado en 1992 por el escritor Neal Stephenson en su novela Snow crash, se refiere a «un entorno donde los humanos interactúan social y económicamente como avatares en un ciberespacio», lo que, en lo que ahora nos interesa, se deriva en una «complejidad jurídica […] dado que el mismo hace converger nuestras vidas físicas y digitales […] nos enfrentaremos a nuevos problemas laborales fruto de la disociación virtual que resulta de estas nuevas realidades: espacios virtuales de trabajo, metatrabajadores, metaempresas, procesos de selección virtuales, vigilancia algorítmica […]» (Mercader, 2022: 47-‍49 passim).

Aunque acaso no estemos aún en esta situación, algunos problemas ya se han manifestado en el ámbito de las agresiones sexuales. Una de las primeras denuncias fue la realizada por Jordan Belamire (‍2016), quien en el juego «QuiVr» denunció haber sufrido una conducta inapropiada por parte de «BigBro442», el cual, identificándola como mujer por su voz en el chat, se acercó a su avatar pellizcando la zona de su pecho y tocándole la entrepierna. Belamire abandonó el juego ante la insistencia de la otra persona, quien hacía caso omiso a sus peticiones de que declinase su actitud. Desde entonces, los medios de comunicación se han hecho eco de otras denuncias similares de agresiones sexuales en el metaverso que, según se está constatando, les producen a las víctimas unos impactos psicológicos similares a los producidos por los abusos reales.

Jurídicamente, alguna doctrina penal ya está abordando los problemas de si estas conductas de agresiones sexuales en el metaverso se pueden considerar delictivas. Es verdad que en determinados juegos del metaverso se puede asesinar y ser asesinado, sin que, obviamente, ello constituya un delito; pero también es verdad que ello está en las reglas del juego aceptadas por todas las personas usuarias, y la agresión sexual no. Y, de admitir el carácter delictivo de estas conductas de agresión sexual no consentidas, los problemas jurídicos subsiguientes son si encajarían en alguno de los delitos tipificados en nuestro Código Penal, o sería necesario introducir nuevas tipificaciones para conseguir la represión penal, aparte los problemas (que tampoco son menores) de determinación del forum delicti comissi, o sea de competencia judicial (‍Vasco, 2022).

Mientras no se aclaren todas estas cuestiones, una solución posible, que planteo como opinión personal, sería salirse del metaverso y calificar según el mundo real. Pues bien, en el mundo real el metaverso es un bien o servicio disponible para el público y ofertado por empresas o personas suministradoras, y ello determina su inclusión en el ámbito de aplicación de las Directivas 2000/43/CE (artículo 3.1.h) y 2004/113/CE (artículo 3.1). Si calificamos desde el mundo real conductas como las agresiones sexuales en el metaverso, estamos ante un condicionamiento para que las mujeres puedan acceder a tal servicio, con lo cual son (sin perjuicio de otras consideraciones posibles desde la perspectiva penal) lisa y llanamente discriminaciones sexistas con todas las consecuencias que ello debería conllevar, tanto de la persona usuaria causante de la conducta como la eventual responsabilidad de quienes despliegan los programas que construyen el metaverso por no regular un metaverso libre de violencia de género.

6. Sesgos humanos en el entorno del sistema de IA[Subir]

Hay sesgos causados por conductas del entorno humano del sistema de IA. Así, se habla de sesgos de interpretación cuando el sesgo se deriva de la interpretación, hecha por personas, de los resultados que el sistema propone. Un ejemplo se dio durante la pandemia cuando al analizar, desde una perspectiva de género, la afectación sobre el empleo de la pandemia y las medidas antipandemia se atendía exclusivamente a las personas afectadas por expedientes de regulación de empleo, obviando que las mujeres basan una parte importante de su actividad en el empleo informal. También son sesgos de origen humano los llamados sesgos de contexto, que se pueden producir cuando un sistema programado para un contexto se utiliza en otro diferente contexto.

Ninguno de estos sesgos presenta dificultades específicas de calificación conforme a la normativa antidiscriminatoria. Su eventual interés lo presentan por la posible exigencia de responsabilidades a personas individuales. En todo caso, el riesgo de estos sesgos justifica medidas dirigidas a promover la formación en perspectiva de género y enfoque de derechos humanos de las personas que interaccionan con el sistema de IA. La formación es decisiva en este ámbito, como en otros muchos.

7. Sesgos de invisibilización[Subir]

A todos los anteriores sesgos se suman los de invisibilización, que, sin crear resultados sesgados, invisibilizan los que hay. Siendo riesgos superpuestos a los de origen, no presentan ni más ni menos problemas de conceptualización del resultado sesgado como discriminatorio, pero sí dificultan su identificación así como su prueba, de ahí la oportunidad de tomarlos en consideración en el análisis de aquellos problemas.

¿Cuáles son las causas de los sesgos de invisibilización? Atendiendo a cómo se configuran objetivamente los sistemas de IA, estos presentan mecanismos específicos de invisibilización por motivos varios, técnicos y jurídicos: la explicación del algoritmo está al alcance de pocas personas técnicas en la materia; son habituales múltiples capas de algoritmos de funcionamiento autónomo, o el código fuente del algoritmo se encuentra protegido por la propiedad intelectual y el secreto empresarial. Por ello, se suele hablar de la caja negra de la IA (black box), que ha sido calificada como un «agujero negro digital» (‍Rivas, 2020: 159). Incluso hay ciertos sistemas de procesamiento profundo (IA subsimbólica que prioriza el resultado sobre la explicabilidad) que no siempre justifican de manera articulada sus resultados, lo que puede ser necesario para motivar la decisión automatizada adoptada en el seno de una relación jurídica y para fiscalizarla en juicio.

Atendiendo a cómo percibimos subjetivamente los sistemas de IA, tendemos a confiar en la perfección de su funcionamiento (aunque a nivel de conocimiento científico esto ya está superado, no así en el imaginario popular), lo que determina una aceptación acrítica de las decisiones algorítmicas —es el sesgo de automatización, o confianza de las personas en la perfección de las máquinas, actualmente reconvertido en una «fascinación bigdataísta» (‍Goñi, 2019: 60)—. Pero en el fondo los algoritmos solo son «opiniones incrustadas en las matemáticas», de ahí que el algoritmo acabará sesgado por los prejuicios de quienes lo operan (‍Aragüez, 2024: 71), y no faltan casos en que se utiliza el algoritmo para «blanquear» decisiones discriminatorias (‍Sáez, 2020: 45-‍46).

El fenómeno de invisibilización de la discriminación causado por los sistemas de IA no solo conlleva dificultad para acreditar la propia existencia de la discriminación; cuando esta se consigue acreditar también «se proyecta en la ausencia de responsabilidad humana sobre los resultados sesgados o discriminatorios» (ibid.: 45). «Los sesgos y los responsables de haber adoptado las decisiones correspondientes quedarán ocultados detrás de una fórmula matemática» (‍Rodríguez, 2024: 15).

Otro aspecto de los sistemas de IA que dificulta tanto la visibilización de la discriminación como la exigencia de responsabilidades es, gracias a la cantidad de datos manejados, la posibilidad de justificaciones alternativas de decisiones aparentemente discriminatorias. Ante la constatación de que las conductoras de Uber cobraban un 30 % menos que sus conductores, en un estudio de economistas de Stanford financiado por la propia Uber se justificó la diferencia según otros datos ofrecidos por el sistema de IA: las mujeres abandonaban el trabajo en promedio a los seis meses y los hombres a los dos años, y ello les impedía aprender mejores rutas u otros trucos de experiencia; las mujeres conducen más lento en promedio, con lo cual ganan menos dinero al final de la jornada; y las franjas mejor retribuidas, como las horas nocturnas o los sábados, son más elegidas por los hombres. Con ello «[se] consigue correlacionar el menor ingreso salarial de las mujeres con múltiples variables que acaban diluyendo toda responsabilidad de la empresa (al menos en apariencia)» (‍Todolí, 2024: 61-‍62), y subrayamos eso de al menos en apariencia, pues algunas de esas proxies pueden incorporar componentes de género que las inhabilitarían como justificaciones válidas.