EL REGLAMENTO EUROPEO DE INTELIGENCIA ARTIFICIAL: ¿GARANTÍA DEL MERCADO O DEFENSA DE LOS DERECHOS?^[1]

1. Actuaciones previas a la tramitación del reglamento[Subir]

Ya se ha apuntado que el modelo europeo de gobernanza de la IA tiene, en teoría, como motor la garantía de los derechos fundamentales, pero en un contexto de mercado, y es, sobre todo, en este contexto, en el que se ha venido articulando en los últimos ocho años; así, en su reunión de 19 de octubre de 2017, el Consejo Europeo concluyó que, para construir con éxito una Europa digital, la UE necesita, en particular:

Transcurrido poco más de un año, el 7 de diciembre de 2018, la Comisión Europea presentó la comunicación titulada «Plan Coordinado sobre la Inteligencia Artificial», junto con el Plan Coordinado sobre el Desarrollo y Uso de la Inteligencia Artificial «Made in Europe»-2018, preparado por los Estados miembros (como parte del Grupo sobre la Digitalización de la Industria Europea y la Inteligencia Artificial), Noruega, Suiza y la Comisión^[7]. Entonces se ofreció un primer concepto de IA que irá cambiando a lo largo de este proceso: «[…] el término inteligencia artificial se aplica a los sistemas que manifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción —con cierto grado de autonomía— con el fin de alcanzar objetivos específicos». Se apunta aquí a la idea de «cierto grado de autonomía», que será esencial para la conceptualización de los sistemas de IA.

La preocupación por la garantía de los derechos y, al tiempo, la presencia europea en un mercado tecnológico cada vez más competitivo se exteriorizó en el Consejo de la Unión Europea de 11 de febrero de 2019, donde se destacó la importancia de garantizar el pleno respeto de los derechos de los ciudadanos europeos mediante la aplicación de directrices éticas para el desarrollo y el uso de la inteligencia artificial dentro de la Unión Europea y a nivel mundial, haciendo de la ética de la inteligencia artificial una ventaja competitiva para la industria europea^[8]. Entonces todavía se apelaba a la ética, y no al derecho, como herramienta idónea para garantizar las libertades ciudadanas y, al tiempo, permitir el desarrollo tecnológico europeo.

Poco más de un año después, el 19 de febrero de 2020, la Comisión publicó el ya citado Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza ^[9], donde se afirmó que «la Comisión respalda un enfoque basado en la regulación y en la inversión, que tiene el doble objetivo de promover la adopción de la inteligencia artificial y de abordar los riesgos vinculados a determinados usos de esta nueva tecnología. La finalidad del presente Libro Blanco es formular alternativas políticas para alcanzar estos objetivos […]».

En octubre de 2020, el Parlamento Europeo aprobó diversas resoluciones en materia de IA en el ámbito de la ética^[10], la responsabilidad civil^[11] y los derechos de propiedad intelectual^[12], a las que siguieron, ya en 2021, resoluciones sobre el uso de la IA en los sectores educativo, cultural y audiovisual^[13] y en materia penal^[14].

2. El proceso de aprobación del Reglamento[Subir]

Antes de esta última resolución ya se había publicado el documento con el que formalmente se abrió el procedimiento de aprobación del RIA: el 21 de abril de 2021 se conoció la Propuesta de Reglamento del Parlamento Europeo y del Consejo elaborada por la Comisión^[15], donde la IA se definió entonces (art. 3.1) como «el software que se desarrolla empleando una o varias de las técnicas y estrategias que figuran en el anexo I y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa».

A propósito de esta propuesta, que remitía la definición de IA a un anexo y que no mencionaba el aprendizaje automático, el 6 de diciembre de 2022, el Consejo de la Unión Europea hizo pública su Orientación general de 25 de noviembre^[16], donde señaló que «para garantizar que la definición de los sistemas de IA proporcione criterios suficientemente claros para distinguirlos de otros sistemas de software más clásicos, el texto transaccional restringe la definición del artículo 3, apartado 1, a los sistemas desarrollados a través de estrategias de aprendizaje automático y estrategias basadas en la lógica y el conocimiento», es decir, se introduce entonces el criterio del aprendizaje automático como una de las características de los sistemas de IA; también se amplían los sistemas que se pretende prohibir y se introducen cambios en los considerados de «alto riesgo».

A continuación, cabe mencionar las enmiendas formuladas por el Parlamento Europeo al texto de la Comisión y aprobadas el 14 de junio de 2023^[17], que incorporaron una nueva definición de sistema de IA («un sistema basado en máquinas diseñado para funcionar con diversos niveles de autonomía y capaz, para objetivos explícitos o implícitos, de generar información de salida —como predicciones, recomendaciones o decisiones— que influya en entornos reales o virtuales»), y también de lo que se entendió por un modelo fundacional —«un modelo de sistema de IA entrenado con un gran volumen de datos, diseñado para producir información de salida de carácter general y capaz de adaptarse a una amplia variedad de tareas diferentes»—, al tiempo que, entre otras cosas, se ampliaron los sistemas de IA prohibidos; en suma, propuestas que iban bastante más allá de lo planteado por la Comisión.

En diciembre de 2023 tuvieron lugar los trílogos entre el Parlamento, la Comisión y el Consejo^[18] para limar las diferencias en cuestiones tan relevantes como la prohibición, o no, del uso de los sistemas de identificación biométrica remota en tiempo real en espacios de acceso público o el alcance de la regulación de los entonces denominados «modelos fundacionales», que pasaron a llamarse modelos de IA de uso general. En lo que a las prohibiciones se refiere, el resultado fue rebajar las exigencias del Parlamento en materia de garantía de los derechos y, parece, en aras de «mejorar el funcionamiento del mercado interior», pero también es verdad que este punto de llegada es más garantista en algunos puntos (la supervisión humana de los sistemas, la evaluación de impacto relativa a los derechos fundamentales para los sistemas de alto riesgo, la inclusión de los modelos de uso general…) que el punto de partida presentado en su día por la Comisión.

Finalmente, se aprobó la Resolución legislativa del Parlamento Europeo, de 13 de marzo de 2024, sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión, y, como ya se ha dicho, se publicó en el Diario Oficial de la UE el 12 de julio de 2024^[19].

3. El posproceso legislativo: las revisiones periódicas y los poderes concedidos a la Comisión para aprobar actos delegados y directrices[Subir]

Hemos visto que antes del inicio en sentido estricto del procedimiento de aprobación del RIA la Comisión Europea ya tuvo un papel relevante a través, sobre todo, del Libro Blanco; ese protagonismo lo va a tener también, una vez aprobado el Reglamento, en lo que Linda Senden (2004: 120) denomina «posproceso legislativo europeo», que, en parte, se llevará a cabo a través de actos de soft law como las directrices a las que remite expresamente el RIA, aunque también por medio de revisiones del propio Reglamento y con la aprobación de actos delegados previstos de manera explícita en él.

No cabe duda de que el legislador europeo es plenamente consciente de la necesidad de adaptación que va a precisar una norma que regula los sistemas de IA y por ello ya prevé una serie de evaluaciones y revisiones periódicas «habida cuenta de los rápidos avances tecnológicos y de los conocimientos técnicos necesarios para la aplicación efectiva del presente Reglamento» (considerando 174), y establece (art. 96) que la Comisión elaborará una serie de directrices —criterios interpretativos y ejemplos— para facilitar la aplicación práctica del RIA y, en particular, sobre los requisitos para cumplir por los sistemas de alto riesgo, las prácticas prohibidas y la definición de los sistemas de IA del art. 3.1. A este respecto, cabe mencionar la publicación de las directrices sobre prácticas prohibidas el 4 de febrero de 2025 y las relativas a la definición de sistemas de IA dos días después. Como es sabido, dichas directrices no son vinculantes y las interpretaciones autorizadas del RIA se reservan al Tribunal de Justicia de la Unión Europea^[20].

A la misma Comisión se le otorgan (art. 97) los poderes para aprobar actos delegados —actos no legislativos de alcance general adoptados para completar o modificar, teniendo en cuenta el progreso científico o técnico, determinados elementos no esenciales de un acto legislativo— mencionados previamente en numerosos artículos.

Finalmente, y en el penúltimo precepto (el 112) del RIA, se articula un procedimiento de evaluación y revisión que va desde el año a partir de la entrada en vigor para la lista del anexo III y la lista de prácticas prohibidas del art. 5 a la exigencia de que, antes del 2 de agosto de 2028 y de la misma fecha de 2029, y posteriormente cada cuatro años, se revisen, en el primer caso, la necesidad de ampliar los ámbitos enumerados en el anexo III o de añadir nuevos ámbitos, la necesidad de modificar la lista de sistemas de IA que requieren medidas de transparencia adicionales con arreglo al art. 50, y la necesidad de mejorar la eficacia del sistema de supervisión y gobernanza; en el segundo caso (a más tardar, el 2 de agosto de 2029), la Comisión presentará al Parlamento Europeo y al Consejo un informe sobre la evaluación y revisión del Reglamento. En función de sus conclusiones, dicho informe irá acompañado, en su caso, de una propuesta de modificación del presente Reglamento. A más tardar, el 2 de agosto de 2031, la Comisión evaluará la ejecución del Reglamento e informará al respecto al Parlamento Europeo, al Consejo y al Comité Económico y Social Europeo, teniendo en cuenta sus primeros años de aplicación. En función de sus conclusiones, dicho informe irá acompañado, en su caso, de una propuesta de modificación. Este proceso de evaluación y revisión del RIA expresamente previsto parece bien justificado y mantendrá el papel colegislador del Parlamento y el Consejo.

En cuanto a los ya citados actos delegados, previstos para determinadas exigencias de los sistemas de alto riesgo y de los modelos de uso general, el art. 97 incluye mecanismos expresos de control, como la posibilidad de formular objeciones y, en su caso, revocar la delegación por parte del Parlamento y el Consejo. No obstante estas cautelas, es llamativo, y un tanto preocupante, el poder que se concede a la Comisión para algo tan relevante como modificar la lista del anexo III, que es el relativo a los sistemas de alto riesgo del art. 6.2.

Por lo que respecta a las directrices, no cabe obviar que, como ya se ha dicho más arriba, están previstas no solo para todos los requisitos de los sistemas de alto riesgo, sino también para la delimitación de las responsabilidades a lo largo de la cadena de valor de la IA (art. 25) y, lo que quizá sea más importante, tanto para las prácticas prohibidas en el art. 5 como para la aplicación de la definición de sistema de IA del art. 3.1.m, cuya pronta aprobación hemos mencionado con anterioridad.

Que el recurso a este instrumento se haya realizado de manera expresa por el legislador europeo parece que deja a las directrices de la Comisión al resguardo de eventuales cuestionamientos de los Estados miembros y de las otras instituciones de la UE, singularmente del Parlamento, que en ocasiones anteriores se ha quejado de que los instrumentos de soft law europeos vengan siendo utilizados como alternativas a la legislación, con lo que, como señala Fajardo del Castillo (‍2024: 203-‍204), no solo se estaría menoscabando el papel asignado a aquella institución en el procedimiento legislativo, sino que también se estarían eludiendo las garantías democráticas previstas en los tratados para su desarrollo. El recurso al soft law como alternativa al legislador también pondría en cuestión la justificación democrática o la legitimidad de ese instrumento (‍Peters, 2011: 39); piénsese que uno de los apartados del RIA que mayor debate suscitó y en el que se apreciaron las diferencias de posición del Parlamento respecto al proyecto presentado por la Comisión fue, precisamente, el de las prácticas prohibidas.

1. La exclusión de determinados sistemas de inteligencia artificial de la sujeción al reglamento[Subir]

Acabamos de ver que todo lo que no responda al concepto de sistema de IA queda fuera del ámbito de aplicación del RIA, pero, además, también quedan excluidos sistemas que sí son IA, pero que el legislador europeo ha querido eximir de las obligaciones propias de estos. Así, y conforme al art. 2.3, no estarán sometidos al RIA los sistemas en la medida en que se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modificaciones, exclusivamente con fines militares, de defensa o de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades.

En el considerando 24 se trata de justificar estas exclusiones argumentando que, por lo que respecta a los fines militares y de defensa, dicha exclusión está justificada tanto por el art. 4.2 del Tratado de Funcionamiento de la Unión Europea (TUE) como por las especificidades de la política de defensa de los Estados miembros y de la política común de defensa de la Unión, que están sujetas al derecho internacional público, que, por lo tanto, es el marco jurídico más adecuado para la regulación de los sistemas de IA en el contexto del uso de la fuerza letal y de otros sistemas de IA en el contexto de las actividades militares y de defensa.

En lo que hace referencia a los fines de seguridad nacional, la exclusión estaría justificada tanto por el hecho de que sigue siendo responsabilidad exclusiva de los Estados miembros de conformidad con el art. 4.2 del TUE como por la naturaleza específica y las necesidades operativas de las actividades de seguridad nacional y por las normas nacionales específicas aplicables a dichas actividades. Como excepción, si estos sistemas excluidos se utilizaran temporal o permanentemente fuera de estos ámbitos con otros fines (por ejemplo, con fines civiles o humanitarios, de garantía del cumplimiento del derecho o de seguridad pública), entrarían en el ámbito de aplicación del RIA.

Siguiendo con las exclusiones, de acuerdo con los apdos. 6 y 8 del mismo art. 2, no se aplicará a los sistemas o modelos de IA, incluidos sus resultados de salida, desarrollados y puestos en servicio específicamente con la investigación y el desarrollo científicos como única finalidad; tampoco se aplicará a ninguna actividad de investigación, prueba o desarrollo relativa a sistemas de IA o modelos de IA antes de su introducción en el mercado o puesta en servicio. Las pruebas en condiciones reales no estarán cubiertas por esa exclusión.

El considerando 25 fundamenta esta exclusión en la pretensión de «apoyar la innovación, respetar la libertad de ciencia y no socavar la actividad de investigación y desarrollo», objetivos sin duda loables, pero que liberan de las exigencias del RIA a actividades en las que no es descartable imaginar un riesgo («la combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicio» en palabras del art. 3.2 del RIA) cierto de lesión de derechos fundamentales cuya eventual tutela no debería quedar en las manos de los comités de ética de las universidades y de los organismos de investigación.

2. La prohibición, un tanto pacata, de ciertas prácticas de inteligencia artificial[Subir]

El art. 5 del RIA prohíbe determinadas prácticas de IA debido, según el considerando 28, a que «son sumamente perjudiciales e incorrectas y deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, la libertad, la igualdad, la democracia y el Estado de Derecho y de los derechos fundamentales consagrados en la Carta, como el derecho a la no discriminación, a la protección de datos y a la intimidad y los derechos del niño». Estas prohibiciones, en pocas palabras, afectarán a los sistemas que aprovechen los puntos vulnerables de las personas para la manipulación y el uso de técnicas subliminales; a los sistemas de puntuación social con fines públicos y privados; a la actuación policial predictiva individual basada únicamente en la elaboración de perfiles de personas; a la extracción no selectiva de internet o de un circuito cerrado de televisión de imágenes faciales con el fin de crear o ampliar bases de datos; a los sistemas de reconocimiento de emociones en el lugar de trabajo y en las instituciones educativas, a menos que sea por razones médicas o de seguridad; a la categorización biométrica de las personas físicas para deducir o inferir su raza, opiniones políticas, afiliación sindical, creencias religiosas o filosóficas, u orientación sexual, y a la identificación biométrica remota, en tiempo real, en lugares de acceso público por parte de la policía, con excepciones limitadas.

A la vista de estas prohibiciones, el resultado final nos parece un tanto decepcionante^[34] porque, para expresarlo en pocas palabras, la tutela de los derechos se somete a la voluntad de no poner demasiados obstáculos a las posibilidades de avance técnico de la Unión Europea, un avance que no era precisamente rápido antes del Reglamento; además, varias de las prohibiciones —así, las de los sistemas que permitan alterar de manera sustancial el comportamiento de una persona o un colectivo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada; las de los sistemas que exploten alguna de las vulnerabilidades de una persona física o un determinado colectivo de personas derivadas de su edad o discapacidad, o de una situación social o económica específica, y las de los sistemas que provoquen un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos de personas— ya se podrían amparar en normas vigentes.

Otras prohibiciones parecen haberse quedado cortas; por ejemplo, limitando la de los sistemas que infieren emociones al ámbito laboral y educativo y, además, con matices, pues estaría justificada la introducción de un sistema de estas características si está destinado a ser instalado o introducido en el mercado por motivos de seguridad.

Lo mismo cabría decir de la prohibición que afecta a los sistemas de categorización biométrica que clasifiquen individualmente a las personas físicas sobre la base de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual, pues «esta prohibición no incluye el etiquetado o filtrado de conjuntos de datos biométricos adquiridos lícitamente, como imágenes, basado en datos biométricos, ni la categorización de datos biométricos en el ámbito de la garantía del cumplimiento del Derecho»^[35]. Esta excepción es más laxa que la prevista en el Reglamento General de Protección de Datos, cuyo art. 9 prohíbe, con carácter general y a expensas de unas excepciones que se recogen a continuación, tratar datos biométricos dirigidos a identificar de manera unívoca a una persona física, datos relativos a la salud o datos relativos a la vida sexual o la orientación sexual de una persona física.

3. Un enfoque de la gobernanza de la inteligencia artificial basado en la aceptación del riesgo industrial[Subir]

Si buscamos en el texto del RIA la palabra riesgo aparece 586 veces y en su forma plural otras 181, con lo que en total se puede encontrar en 767 ocasiones, lo que parece colocarlo en el centro de una regulación que, como se acaba de decir, lo concibe como la combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicio. Y es que el RIA asume expresamente que debemos convivir con ciertos niveles de riesgo como precio que pagar por las ventajas que nos ofrecerán los sistemas de IA, lo que ya marca una diferencia con el Reglamento General de Protección de Datos, que, como recuerda Mantelero (‍2024: 57), parte más de la aversión al riesgo que de su aceptación o mitigación.

Encontramos diferentes pruebas de esta distinta actitud ante el riesgo como precio que pagar por las ventajas de la IA en el articulado del Reglamento; así, y por mencionar dos, en el art. 7, se prevé que, entre los criterios que tener en cuenta para suprimir la condición de sistema de alto riesgo, estará «la probabilidad de que el despliegue del sistema de IA resulte beneficioso para las personas, los colectivos o la sociedad en general, y la magnitud de este beneficio, incluidas posibles mejoras en la seguridad de los productos» (art. 7.2.b); por su parte, conforme al art. 9.5, «las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), considerarán aceptables los riesgos residuales pertinentes asociados a cada peligro, así como el riesgo residual general de los sistemas de IA de alto riesgo».

A este respecto, cabe recordar que se parte de la premisa de que la clasificación de un sistema de IA como «de alto riesgo», que son a los que se dedica más atención, debe limitarse a los sistemas que tengan un efecto perjudicial considerable en la salud, la seguridad y los derechos fundamentales de las personas de la Unión, y dicha limitación debe reducir al mínimo cualquier posible restricción del comercio internacional (considerando 46), es decir, la calificación que implica una mayor limitación —al margen de los sistemas directamente prohibidos— exige que, para someterlo a sus mandatos, el perjuicio sea «considerable» y que la limitación que se imponga afecte lo mínimo posible al mercado. Ese mismo considerando empieza diciendo que la introducción en el mercado de la Unión, la puesta en servicio o la utilización de sistemas de IA de alto riesgo deben supeditarse al cumplimiento por su parte de determinados requisitos obligatorios, los cuales deben garantizar que los sistemas de IA de alto riesgo disponibles en la Unión o cuyos resultados de salida se utilicen en la Unión no planteen riesgos inaceptables para intereses públicos importantes de la Unión, reconocidos y protegidos por el derecho de la Unión.

Parece, pues, que el Reglamento se alinea con una visión de los sistemas de IA como productos seguros tal y como los entendió la derogada Directiva 2001/95/CE del Parlamento Europeo y del Consejo, de 3 de diciembre de 2001, relativa a la seguridad general de los productos, en cuyo art. 2.d consideraba producto seguro cualquier producto que, en condiciones de utilización normales o razonablemente previsibles, incluidas las condiciones de duración y, si procede, de puesta en servicio, instalación y de mantenimiento, no presente riesgo alguno o únicamente riesgos mínimos, compatibles con el uso del producto y considerados admisibles.

Lo dicho, y lo que se añadirá a continuación, pone de relieve que el objetivo del Reglamento no es primordialmente proteger los derechos fundamentales, sino fomentar el desarrollo de la IA en un contexto de debilidad industrial del sector en Europa (‍Mantelero, 2024: 57).

4. La confianza en normas armonizadas y especificaciones comunes todavía poco desarrolladas[Subir]

Como explica Álvarez García (‍2024: 397), la regulación de la IA en la Unión Europea ha seguido la técnica del nuevo enfoque armonizador, de tal manera que las instituciones europeas han renunciado a la ordenación de este campo por ellas solas, para apelar a una colaboración con los sujetos privados^[36], y las dos grandes categorías que prevé al respecto el RIA son las normas armonizadas (art. 40) y las especificaciones comunes (art. 41).

La primera consecuencia es que los sistemas de IA de alto riesgo o los modelos de IA de uso general que sean conformes con normas armonizadas, o partes de ellas, cuyas referencias estén publicadas en el Diario Oficial de la Unión Europea, se presumirá que son conformes con los requisitos establecidos para los sistemas de alto riesgo o, en su caso, con las obligaciones establecidas para los modelos de uso general.

La cuestión es que hay motivos para pensar que esa confianza en el desarrollo vigente de las normas armonizadas es excesiva porque la normalización técnica de la IA todavía «está en sus primeros momentos de vida» (‍Álvarez García, 2024: 415). A este respecto, el estudio Harmonising Artificial Intelligence: The role of standards in the UE AI Regulation ^[37] sostiene que todavía existe una discordancia significativa entre las normas armonizadas que se consideran necesarias en el ámbito de la IA y los desarrollos de especificaciones técnicas que se han producido de manera efectiva hasta ahora en Europa; en segundo lugar, haría falta, y eso está por ver, que en la elaboración de estas normas participen de manera activa especialistas en el ámbito de la salud, la seguridad y los derechos fundamentales.

En segundo lugar, la Comisión podrá adoptar actos de ejecución por los que se establezcan especificaciones comunes para los requisitos establecidos para los sistemas de alto riesgo y para los modelos de uso general, y lo cierto es que, a día de hoy, poco se sabe sobre cuáles son los contornos y cómo están llamadas a operar las especificaciones comunes. Tampoco está clara cuál es la relación jurídica existente entre estas especificaciones y las normas armonizadas ni cómo se resolverían eventuales conflictos entre ambas (‍Álvarez García, 2024: 418 y 424).

5. La evaluación de la conformidad de los sistemas de alto riesgo confiada, esencialmente, a los propios proveedores[Subir]

En quinto lugar, el RIA confía un extraordinario poder de control del riesgo a los propios proveedores de los sistemas de IA, es decir, y según los define el propio Reglamento, a las personas físicas o jurídicas, autoridades públicas, órganos u organismos que desarrollen un sistema de IA o un modelo de IA de uso general o para quienes se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzcan en el mercado o lo pongan en servicio con su propio nombre o marca, previo pago o gratuitamente (art. 3.3); así, conforme al art. 16 del RIA, son los proveedores los que velarán por que sus sistemas de IA de alto riesgo cumplan los requisitos previstos en la sección 2; los que contarán con un sistema de gestión de la calidad que cumpla lo dispuesto en el art. 17; los que conservarán la documentación a que se refiere el art. 18 y, por no abundar, los que se asegurarán de que los sistemas de IA de alto riesgo sean sometidos al procedimiento pertinente de evaluación de la conformidad a que se refiere el art. 43 antes de su introducción en el mercado o puesta en servicio.

Ese art. 43 prevé, en su apdo. 2, que, «en el caso de los sistemas de IA de alto riesgo mencionados en el anexo III, puntos 2 a 8, los proveedores se atendrán al procedimiento de evaluación de la conformidad fundamentado en un control interno a que se refiere el anexo VI^[38], que no contempla la participación de un organismo notificado», que podría ser una entidad pública o privada, y no es, desde luego, irrelevante que se deje en manos de los propios proveedores la verificación de que se ajustan a las exigencias del RIA sistemas tan importantes y que inciden de manera directa en derechos fundamentales y libertades públicas como:

El propio RIA trata de justificar esta sorprendente y peligrosa dejación de controles externos en la escasa capacidad técnica existente en la actualidad, por lo que «procede limitar, al menos en la fase inicial de aplicación del presente Reglamento, el alcance de las evaluaciones externas de la conformidad a los sistemas de IA de alto riesgo que no están asociados a productos. En consecuencia, el proveedor es quien, por norma general, debe llevar a cabo la evaluación de la conformidad de dichos sistemas bajo su propia responsabilidad, con la única excepción de los sistemas de IA que están destinados a utilizarse para la biometría» (considerando 125).

6. Las insuficiencias de la evaluación del impacto de los sistemas de alto riesgo en los derechos fundamentales[Subir]

El art. 27 del RIA prevé que, antes de desplegar uno de los sistemas de IA de alto riesgo a que se refiere el art. 6, apdo. 2, con excepción de los sistemas de IA de alto riesgo destinados a ser utilizados en el ámbito enumerado en el anexo III, punto 2^[39], los responsables del despliegue que sean organismos de derecho público, o entidades privadas que prestan servicios públicos, y los responsable del despliegue de sistemas de IA de alto riesgo a que se refiere el anexo III, punto 5, letras b) y c)^[40], llevarán a cabo una evaluación del impacto que la utilización de dichos sistemas puede tener en los derechos fundamentales^[41].

Esta previsión parece un instrumento adecuado para, como dice el RIA (considerando 96), «garantizar eficazmente la protección de los derechos fundamentales» pero cabe oponer algunos reparos a su articulación; así, en primer lugar, y sin que se ofrezcan más explicaciones, quedan fuera de la evaluación los sistemas destinados a ser utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas, del tráfico rodado o del suministro de agua, gas, calefacción o electricidad; en segundo lugar, están obligados a llevar a cabo la evaluación los responsables del despliegue que sean organismos de derecho público, o entidades privadas que prestan servicios públicos, pero no las entidades privadas que no llevan a cabo esa prestación de servicio público, con lo que las últimas quedan excluidas de la obligación sin que tampoco sepamos a qué obedece esta exención; en tercer lugar, el propio art. 27 contempla en su apdo. 5 que la Oficina de IA elaborará un modelo de cuestionario, también mediante una herramienta automatizada, «a fin de facilitar que los responsables del despliegue cumplan sus obligaciones en virtud del presente artículo de manera simplificada», lo que pone en evidencia, valga la expresión, el riesgo de que el riesgo sea autoevaluado; en cuarto lugar, encontramos otra muestra del poder que el RIA atribuye a los propios proveedores de los sistemas de alto riesgo, pues el responsable del despliegue podrá basarse en evaluaciones de impacto relativas a los derechos fundamentales realizadas previamente o a evaluaciones de impacto existentes realizadas por los proveedores; en quinto lugar, una vez realizada la evaluación, el responsable del despliegue notificará sus resultados a la autoridad de vigilancia del mercado, pero no se prevé la publicación de estos.

7. La posibilidad de exportar sistemas de inteligencia artificial prohibidos en la Unión Europea por ser lesivos de derechos fundamentales[Subir]

Quizá uno de los datos clave para entender la importancia que el RIA otorga al mercado y no tanto a la garantía de los derechos, aunque no sea el mercado interior sino el exterior y no sean los derechos concernidos los de quienes residen en la EU sino los de las personas que viven fuera de sus fronteras, es la posibilidad de exportar a países extracomunitarios sistemas de IA cuya introducción en el mercado^[42], comercialización^[43] o puesta en servicio^[44] estará prohibida en la UE conforme a las previsiones del art. 5 RIA: en síntesis, sistemas que provoquen manipulación y engaño, la explotación de vulnerabilidades, la puntuación social que origine desigualdades, el reconocimiento de emociones en lugares de trabajo e instituciones educativas, la categorización biométrica para deducir determinadas características protegidas y, con límites, los sistemas de reconocimiento biométrico en tiempo real.

Llegamos a esta conclusión a partir de la lectura del precepto que delimita el ámbito de aplicación (art. 2) y de las definiciones incluidas en el art. 3, que tienen en cuenta siempre la incidencia de los sistemas de IA o de los resultados de salida generados por dichos sistemas en el espacio de la Unión Europea, y ello al margen de si los proveedores están establecidos o ubicados en la Unión o en un tercer país; en el caso de los responsables del despliegue de sistemas, de los representantes autorizados, de los importadores y de los distribuidores, se les aplica el RIA, y, por tanto, sus prohibiciones y limitaciones, si operan en el mercado interior, pero quedan exentos de estas si sus actividades consisten en introducir en los mercados de países no comunitarios, comercializar en ellos o poner en servicio en dichos Estados sistemas de IA o resultados prohibidos o limitados por el RIA por ser directamente lesivos de derechos fundamentales o por suponer un alto riesgo para ellos.

8. Los derechos, más bien retóricos, para presentar una reclamación y para recibir una explicación[Subir]

La sección 4 («Vías de recurso») del capítulo IX («Vigilancia poscomercialización, intercambio de información, vigilancia del mercado») del RIA se introdujo al paso del proyecto de Reglamento por el Parlamento Europeo, y en los arts. 85 y 86 contempla el derecho a presentar una reclamación ante una autoridad de vigilancia del mercado por parte de toda persona física o jurídica que tenga motivos para considerar que se ha infringido lo dispuesto en el Reglamento y el derecho de toda persona que se vea afectada por una decisión que el responsable del despliegue adopte basándose en los resultados de salida de un sistema de IA de alto riesgo que figure en el anexo III, con excepción de los sistemas enumerados en su punto 2, y que produzca efectos jurídicos o le afecte considerablemente del mismo modo, de manera que considere que tiene un efecto perjudicial para su salud, su seguridad o sus derechos fundamentales, para obtener del responsable del despliegue explicaciones claras y significativas acerca del papel que el sistema de IA ha tenido en el proceso de toma de decisiones y los principales elementos de la decisión adoptada^[45].

Pues bien, en lo que se refiere al derecho a presentar la reclamación, el art. 85.2 dispone que, «de conformidad con el Reglamento (UE) 2019/1020, tales reclamaciones se tendrán en cuenta a la hora de llevar a cabo actividades de vigilancia del mercado y se tramitarán de conformidad con los procedimientos específicos establecidos con este fin por las autoridades de vigilancia del mercado», es decir, remite al Reglamento relativo a la vigilancia del mercado y la conformidad de los productos, que no contempla ninguna regulación de las reclamaciones. Como recuerda López-Tarruella (‍2024: 899), no existe en ese Reglamento una obligación de la autoridad de vigilancia del mercado de informar al reclamante sobre el curso y el resultado de la reclamación. Y tampoco existe una obligación como la establecida por el Tribunal de Justicia de la Unión Europea en relación con el Reglamento General de Protección de Datos de otorgar una respuesta de fondo a dicha reclamación^[46]. Lo único que establece el art. 85.2 RIA, y reitera el art. 11.3 del Reglamento 2019/1020, es que dichas reclamaciones «se tendrán en cuenta», pero no impone una explicación de los motivos por los cuales la reclamación no se toma en consideración y ni siquiera existe una obligación de la autoridad de vigilancia del mercado de adoptar una decisión respecto a dicha reclamación.

Y por lo que atañe al derecho a recibir una explicación clara y significativa acerca del papel que el sistema de alto riesgo ha tenido en el proceso de toma de decisiones y los principales elementos de la decisión adoptada, el propio precepto ya excluye de dicho derecho los sistemas destinados a ser utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas, del tráfico rodado o del suministro de agua, gas, calefacción o electricidad.

En segundo lugar, y como también explica López-Tarruella (2024: 915), si bien el art. 86 no lo establece expresamente, del análisis de lo previsto en el art. 78 en relación con los arts. 25.5, 52.6 y 53.1.b, el responsable del despliegue no tiene obligación de proporcionar información que pueda considerarse un secreto comercial o que esté protegida por derechos de propiedad intelectual e industrial, a la hora de ofrecer explicaciones sobre la decisión adoptada a partir de los resultados del sistema de IA, y, en el caso de que el responsable del despliegue considere necesario proporcionarla, se deberán respetar la confidencialidad de la información y los datos obtenidos.

9. La ausencia de unos principios obligatorios comunes a todos los sistemas de inteligencia artificial[Subir]

A su paso por el Parlamento Europeo en 2023 se incorporaron al proyecto de RIA unos «Principios generales aplicables a todos los sistemas de IA» (art. 4 bis, nuevo), de alto riesgo o no, incluidos los modelos fundacionales, en la línea de las previsiones del Reglamento General de Protección de Datos; dichos principios eran los siguientes: intervención y vigilancia humanas, solidez y seguridad técnicas, privacidad y gobernanza de datos, transparencia; diversidad, no discriminación y equidad, y bienestar social y medioambiental. Sin embargo, esta enmienda no prosperó y, si tenemos en cuenta lo que prevé el considerando 1, se «impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de IA, a menos que el presente Reglamento lo autorice expresamente»^[47].

En suma, a los sistemas de IA que no sean de alto riesgo únicamente se les pueden aplicar «los códigos de conducta para la aplicación voluntaria de requisitos específicos» del art. 95, «destinados a fomentar la aplicación voluntaria de alguno o de todos los requisitos establecidos en el capítulo III, sección 2, a los sistemas de IA que no sean de alto riesgo, teniendo en cuenta las soluciones técnicas disponibles y las mejores prácticas del sector que permitan la aplicación de dichos requisitos». Así pues, y en palabras de Mir Puigpelat (‍2024: 67-‍68), en relación con este ingente abanico de sistemas de IA que existen y, sobre todo, que se desarrollarán en el futuro, importa más lo que no dice el RIA que lo que dice: al someterlos únicamente a códigos voluntarios de conducta, el RIA otorga total libertad a su desarrollo.

Por contraste, el Convenio Marco del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de derecho sí prevé, en su capítulo III, unos «Principios relacionados con las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial»: dignidad humana y autonomía individual, transparencia y supervisión, rendición de cuentas y responsabilidad, igualdad y no discriminación, privacidad y protección de los datos personales, fiabilidad e innovación segura (arts. 7 a 13).

10. La excesiva dilación de la entrada en vigor de algunas exigencias relativas a sistemas ya introducidos en el mercado o puestos en servicio[Subir]

El art. 111 RIA contiene unas previsiones específicas sobre los sistemas de IA ya introducidos en el mercado o puestos en servicio y los modelos de IA de uso general también introducidos en el mercado conforme a las cuales, y sin perjuicio de que se aplique el art. 5, relativo a las prohibiciones, exigible desde el 2 de febrero de 2025, los sistemas de IA que sean componentes de los sistemas informáticos de gran magnitud establecidos en virtud de los actos legislativos enumerados en el anexo X y aplicables en el espacio de libertad, seguridad y justicia, que se hayan introducido en el mercado o se hayan puesto en servicio antes del 2 de agosto de 2027, deberán estar en conformidad con el presente Reglamento a más tardar el 31 de diciembre de 2030.

Llama la atención que, por una parte, se consideren como ya introducidos en el mercado sistemas que han sido introducidos después de la aprobación del RIA —antes del 2 de agosto de 2027—, y, sobre todo, que dichos sistemas no precisen ajustarse a las prescripciones del propio Reglamento hasta más de seis años después de dicha aprobación.

Por si no fuera suficiente, el apdo. 2 del art. 111 dispone que, «en cualquier caso, los proveedores y los responsables del despliegue de los sistemas de IA de alto riesgo destinados a ser utilizados por las autoridades públicas adoptarán las medidas necesarias para cumplir los requisitos y obligaciones del presente Reglamento a más tardar el 2 de agosto de 2030», dejando un extraordinario espacio temporal para que sistemas de tanta relevancia como los previstos para ser empleados por los poderes públicos sigan al margen de las prescripciones reglamentarias hasta bien entrado el año 2030.