El pasado mes de junio se aprobó el texto definitivo de las normas armonizadas en materia de inteligencia artificial o, como es más conocido, el Reglamento de Inteligencia Artificial. Tras varios meses -años incluso- trabajando en la materia, finalmente, en abril de 2021 vio la luz la primera propuesta de Reglamento. El texto, no obstante, sufriría varias modificaciones hasta alcanzar la redacción aprobada por el Consejo. Particularmente relevante fue el efecto que tuvo en el texto de la norma el boom de las tecnologías de inteligencia artificial generativa como Chat GPT, cuales no se contemplaban inicialmente.
De forma similar a lo ocurrido con el Reglamento General de Protección de Datos, este reglamento es la primera norma, a nivel global, que regula los sistemas de inteligencia artificial, pretendiendo convertirse en un referente mundial en la materia y ser emulado por otras legislaciones alrededor del mundo que, sin duda, trataran de regular este tipo de tecnologías dada la envergadura de sus efectos en muchos -por no decir en todos- los ámbitos de la sociedad.
Por ejemplo, Estados Unidos aprobó, hace aproximadamente un año, una Orden Ejecutiva[1] por virtud de la cual el NIST[2] publicó diferentes borradores de guías para manejar los riesgos de la IA generativa, promover la transparencia en el contenido digital, así como promover y desarrollar estándares internacionales de IA. Asimismo, el gobierno chino aprobó recientemente el Proyecto para estandarizar el etiquetado del contenido generado por IA, la Ley General reguladora de IA y el Reglamento Provisional sobre la gestión de los servicios de IA generativa.
La finalidad de la UE es asegurar, a través de una serie de directrices y normas básicas, que el uso de la Inteligencia Artificial respete unos principios de ética, seguridad y fiabilidad, poniendo el foco, grandemente, en el respeto a los derechos fundamentales de los ciudadanos, tratando de evitar situaciones como las que han tenido lugar en EEUU con el uso del famoso algoritmo “Compas” o en Países Bajos con el sistema “Syri”.
La consecución de estos objetivos pasa por regular los sistemas de IA que tengan o puedan tener efectos dentro del territorio de la Unión, independientemente de dónde hayan sido creados. Para tal, la norma emplea los conceptos de proveedor[3] y usuario[4]. En consecuencia, el Reglamento se aplica:
- A los proveedores que comercialicen o utilicen sistemas de IA en la Unión, independientemente de dónde se ubiquen;
- A proveedores y usuarios cuyos sistemas produzcan resultados en la UE;
- A los usuarios presentes o establecidos en la Unión;
- Representantes autorizados, importadores y distribuidores de estos proveedores.
Dos son las principales objeciones que se aducen respecto del ámbito de aplicación del Reglamento. Por un lado, se reprocha a la norma que la UE se preocupe por proteger los usos de los sistemas de IA en su propio territorio, pero olvide los posibles afectados por esta tecnología fuera de él, aunque los proveedores estén establecidos en la Unión. Obsérvese que el Reglamento se aplica a los proveedores de servicios cuyos sistemas se aplique o utilicen en la UE, pero no necesariamente a los proveedores que estén establecidos en el territorio.
La otra crítica que se destila en este ámbito se refiere a la exención de aplicación del Reglamento cuando los sistemas de IA tengan fines militares, de defensa o de seguridad nacional[5]. Organismos como Amnistía Internacional aducen que esta regulación -o, más bien, no regulación- deja la puerta abierta al uso masivo de sistemas biométricos de vigilancia -cuales se prohíben más adelante- cuando se trate de una eventual amenaza nacional, al tipo de lo que sucede en la región china de Xinjiang donde, bajo el argumento de la amenaza terrorista a la seguridad nacional, se utilizan sistemas de identificación biométrica en tiempo real sobre las minorías uigures de la región. La norma no establece ningún sistema para controlar que la alegada amenaza sea legítima y justifique los medios empleados para contrarrestarla.
Entremos ahora en el propio concepto de “sistema de inteligencia artificial” utilizado en el Reglamento, cual tampoco ha estado exento de críticas y discusiones procedentes, en su mayoría, del sector de los seguros. Basándose en el concepto de IA de la OCDE, la norma entiende por tal “un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones y decisiones, que pueden influir en entornos físicos o virtuales”.
La principal crítica de las aseguradoras -representadas por Insurance Europe[6]– versa sobre la excesiva amplitud del concepto utilizado en el Reglamento, en comparación con la definición inicial de la OCDE[7], pues incluye software informático que, según su punto de vista, en ningún caso debe ser clasificado de IA como, al caso, pudieran ser los resultados estadísticos de un modelo de regresión lineal, sistemas de asignación de tareas o incluso Excel. Estas objeciones se entienden cuando observamos que los sistemas de IA -tal y como se definen en el Reglamento- utilizados por las aseguradoras, entran de lleno en lo que la norma ha acertado en llamar Sistemas IA de Alto Riesgo enumerados en el Anexo III[8]. De ahí que la segunda crítica del sector recaiga en los requisitos de estos sistemas de algo riesgo, alegando que debe atenderse a su específico propósito, no debiendo clasificarlos como tales si no presentan un riesgo para la salud, la seguridad o los derechos fundamentales.
Es válido decir que, pese a las críticas del sector de los seguros, no sólo se mantuvo el concepto del Reglamento, sino que la propia OCDE acabó modificando su definición de Inteligencia Artificial, acercándose más a la concepción manejada en la norma europea[9].
La normativa europea opta por clasificar los sistemas de IA en distintos tipos, en función del riesgo que entrañan y las obligaciones que, consecuentemente, impone a los proveedores y usuarios. Así pues, nos encontramos con la siguiente clasificación:
- Sistemas de riesgo inaceptable: prohibidos por considerarse una amenaza para la seguridad, los derechos individuales o los medios de vida de las personas;
- Sistemas de alto riesgo: sujetos a estrictos requisitos y obligaciones para acceder al mercado de la UE;
- Sistemas de riesgo limitado: permitidos en la UE, si bien sujetos a obligaciones de transparencia que aseguren que los usuarios sepan que están interactuando con una IA;
- Sistemas de riesgo mínimo o nulo, no incluidos en el Reglamento y, por ende, de uso libre.
En este y sucesivos artículos, analizaremos cada uno de estos grupos de sistemas con el fin de desentrañar el qué y el porqué de la regulación. Empezando con los sistemas prohibidos, se definen como aquellos cuyo nivel de riesgo se considera inaceptable según los estándares de la UE, incluyendo:
- Sistema de IA que, valiéndose de técnicas subliminales, alteren de forma sustancial el comportamiento de una persona o colectivo de personas, haciendo que tomen una decisión que, de otro modo, no habrían tomado, provocando perjuicios considerables a ella u otra persona.
- Sistemas de IA que exploten vulnerabilidades de una persona física derivadas de su edad, discapacidad, o situación social o económica específica, para alterar de manera sustancial su comportamiento, provocándole perjuicios
- Sistemas de IA que tengan por fin inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, salvo por motivos médicos o de seguridad.
- Sistemas de categorización biométrica que clasifiquen individualmente a las personas físicas sobre la base de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual.
- Sistema de identificación biométrica remota “en tiempo real” en espacios de acceso público con fines de garantía del cumplimiento del Derecho[10].
- Sistemas de IA orientados a evaluar o clasificar personas físicas atendiendo a su comportamiento social o a características personales o de personalidad conocidas, inferidas o predichas, de forma que la puntuación resultante provoque un trato perjudicial o desfavorable a la persona y que sea desproporcionado respecto del comportamiento observado.
- Sistemas de IA que realicen evaluaciones de riesgos de personas físicas con el fin de valorar o predecir el riesgo de que cometa un delito basándose únicamente en la elaboración del perfil o evaluación de rasgos y características de su personalidad.
Estas prohibiciones establecidas en el Reglamento están lejos de ser aleatorias o arbitrarias, sino todo lo contrario. De hecho, precisamente pretenden evitar situaciones particularmente polémicas que ya han tenido lugar en el pasado reciente y han dado pie a profusa literatura. Es el caso, por ejemplo, del antes mencionado algoritmo “Compas” en EEUU, el algoritmo “Syri” en Países Bajos, o los sistemas de identificación y categorización biométrica, cuales merecen particular atención.
En el caso de Países Bajos, la polémica surgió en torno a los apartados f) y g) antes mencionados, relativos a los sistemas IA de clasificación de personas o evaluación de sus riesgos. El gobierno neerlandés creó y puso en funcionamiento el algoritmo SyRi[11] –System Risico Indicate– que actuaba como un indicador de riesgo de fraudes de asistencia social. El sistema, basándose en el análisis de una serie de parámetros[12], indicaba la existencia o no de un riesgo de fraude respecto de una persona, dato que era utilizado por la Administración correspondiente para investigar al contribuyente particular y, en ocasiones, acusarle de fraude o retirarle ayudas sociales que estuviese percibiendo. Las sospechas comenzaron a surgir cuando se observó que el indicador de riesgo apuntaba sistemáticamente a personas con unas características específicas, en particular, que residían en barrios empobrecidos o con alto grado de inmigración.
El 5 de febrero de 2020, el Tribunal de la Haya concluyó que, si bien el algoritmo perseguía un fin legítimo, suponía, no obstante, una injustificada e indebida injerencia en el derecho de privacidad de las personas y fomentaba la discriminación y la exclusión social al recaer siempre en el mismo perfil de ciudadano. Además, el Tribunal declaró que, al no revelarse por el gobierno el funcionamiento del algoritmo, no se podía evaluar adecuadamente cómo funcionaba SyRi ni cómo valoraba los parámetros para indicar uno u otro riesgo, por tanto, resultando imposible saber y evaluar si el algoritmo padecía de sesgos que pudieran afectar los resultados, como parecía ocurrir.
Esta misma opacidad originó la polémica en el caso Compas[13], en Wisconsin (Estado Unidos). En esta ocasión, la controversia viene de la mano de un sistema que analiza el riesgo de reincidencia partiendo de una serie de parámetros obtenidos de un cuestionario de 137 preguntas que se realiza al acusado y que incluye, mayormente, información que podríamos llamar estática o invariable -como la historia criminal del acusado- y, de forma limitada, variables dinámicas (entendiendo por tales circunstancias que pueden variar en el tiempo) como pudiera ser el abuso de sustancias.
En este caso, el Sr. Loomis fue acusado por una serie de delitos por los que resultó condenado. A la hora de determinar la pena, el juez se basó en el informe PSI[14] cual incluía, entre otros aspectos, los resultados de la evaluación del condenado realizada por el algoritmo Compas, que arrojaba un riesgo alto de reincidencia y reincidencia violenta[15].
El ya condenado -Sr. Loomis- alegó, en su recurso, la infracción de su derecho a un proceso debido y con todas las garantías toda vez que no se le había dado acceso al funcionamiento interno del algoritmo, protegido este por el secreto comercial de la empresa propietaria. La Corte no obstante, falló en su contra alegando que, si bien no tuvo acceso al funcionamiento de Compas, sí tuvo conocimiento del PSI en el que se basó la sentencia, así como de la Guía Práctica del algoritmo en la cual se explica el tipo de variables en que se basa el sistema y que, en última instancia, la decisión final corresponde al juez quien, con su experiencia, está facultado para corregir los eventuales defectos o imprecisiones del algoritmo.
Varias voces se alzaron contra la resolución y, muy particularmente, contra el algoritmo Compas. Especial destaque tuvo el informe de la organización ProPublica[16] que cuestionó la exactitud de las puntuaciones -y, por ende, su aplicación en la práctica- ya que, según su análisis, se encontró que Compas adolecía, entre otras desviaciones, de un sesgo racial[17]. Hay, no obstante, otros estadísticos que no comparten las conclusiones de aquella organización y afirman no haber encontrado ningún tipo de parcialización en los datos[18].
El quid de la cuestión reside, en última instancia y desde el punto de vista del propio Reglamento de IA, no tanto en la necesidad y utilidad de estos algoritmos de predicción de riesgo[19] para la sociedad -y, particularmente, para la administración de justicia[20]– sino en el nivel de precisión que ofrecen -cual va a depender de su propio funcionamiento- y, muy especialmente, de las consecuencias de una más que posible desviación o falta de precisión de los mismos. Veremos que este último punto es el que determina la prohibición del Reglamento.
Aquella falta de precisión del algoritmo puede venir motivada por factores extrínsecos al mismo -por ejemplo, un interés específico de sus creadores- o intrínsecos -como sería el funcionamiento del sistema y los criterios que utiliza, o la propia naturaleza de los datos que lo alimentan-. Si bien los primeros se pueden llegar a subsanar, los segundos suponen un escollo más difícil de salvar.
El primer y más evidente inconveniente es la falta de transparencia que rodea estos mecanismos. Tanto en el caso de Compas como en el caso de Syri, el órgano judicial manifestó no conocer ni entender específicamente cómo el algoritmo utiliza y valora los distintos criterios para arrojar un resultado de mayor o menor riesgo, dado que las propietarias se negaron a desvelar su funcionamiento, en el caso de Compas, amparándose en su secreto empresarial[21]. Es, sin embargo, evidente que esta opacidad genera una importante merma en el derecho de defensa de las personas objeto de evaluación, así como en su derecho a un proceso con todas las garantías, en la medida en que no se puede discutir aquello que se desconoce. No se encuentran en una postura adecuada para poner en duda la valoración de los criterios[22] la cual, si es finalmente tenida en cuenta por el juez -que lo será porque, en caso contrario, no se incluiría- afecta de lleno al derecho a un proceso con todas las garantías. Valoración ésta que les afectará directamente haciendo de la situación, en última ratio, injusta. No podemos olvidar que están en juego derechos fundamentales.
Diferentes soluciones se han ofrecido para solventar este inconveniente. Una de ellas es la creación de un cuerpo de auditores externos e independientes que se encarguen de evaluar el rigor científico, la precisión y la adecuación de cada algoritmo, lo cual permitiría salvaguardar el secreto comercial de las empresas creadoras y su ventaja competitiva[23]. No obstante, hay quienes objetan -no sin cierta razón- que, en el marco de un procedimiento judicial -mayormente- ello no solventaría la vulneración al derecho del acusado a un proceso debido y con todas las garantías, en la medida en que seguiría sin conocer personalmente el funcionamiento del algoritmo y tendría que fiarse, en todo caso, del parecer del experto[24]. Se podría contraargumentar que, precisamente en el marco de un procedimiento judicial, en determinado punto, siempre habrá que confiar en el conocimiento y experiencia de una tercera persona -la figura ampliamente aceptada del perito- ya que difícilmente se puede saber de todo. A lo que habrá que sumar el propio escollo del analfabetismo técnico pues, aunque se acceda al funcionamiento del algoritmo, es altamente improbable que, debido a la falta de conocimientos en la materia, el interesado sea capaz de comprenderlo. Todo ello sin contar que esta solución reducirían mucho las posibilidades de filtración del código y, por ende, de revelación del secreto empresarial.
Otra solución que se propone es la formación de los jueces en auditoría de programación para que puedan evaluar personalmente la precisión del sistema[25]. Sin perjuicio de que, igualmente, se necesitaría el acceso al funcionamiento del algoritmo, debemos plantearnos hasta qué punto es una solución práctica ya que, habida cuenta los obstáculos que supone, parece más fácil confiar en el juicio de un experto ya formado.
Finalmente, se sugiere la utilización, para estos fines, únicamente de algoritmos open source[26], ya que su código es abierto y conocido, con lo que se solventaría el inconveniente del secreto comercial, si bien no necesariamente salvaría otros problemas de que adolece el uso de estos sistemas, como veremos a continuación.
Por ejemplo, no olvidemos que, generalmente, no se tratará de un sistema creado por un Estado ex profeso para su utilización en procedimientos judiciales o administrativos, lo que podría tener un pase bajo el argumento de que aquél, no sólo representa, sino que protege el interés de todos los ciudadanos y, como tal, se habrá preocupado de que el sistema en cuestión haya pasado los filtros de adecuación, proporcionalidad y justicia. Pero no es el caso, pues estos algoritmos son creados por empresas privadas y utilizados por las autoridades públicas sin siquiera comprender su funcionamiento, lo cual nos lleva al siguiente problema que se infiere de estos sistemas: la disparidad y posible conflicto de intereses en cuestión.
Al desconocer el funcionamiento de los mismos, se desconocen también las intenciones o intereses de sus creadores que, generalmente, serán entidades privadas. No que éstos sean necesariamente negativos, pero el hecho mismo del desconocimiento impide tal valoración[27]. Incluso aunque no haya un interés específico de la empresa que pueda diferir de aquél que motiva a la sociedad en su conjunto, no puede perderse de vista, en última instancia, que los algoritmos están diseñados por personas y, por ende, incluso de forma no intencional, pueden asumir los juicios y prejuicios de sus creadores en los procesos iniciales de creación tales como la clasificación previa de datos, ajuste de umbrales y parámetros, diseño de características…
Por otro lado, en relación con los criterios utilizados para la valoración del riesgo, se suele señalar que el uso de factores estáticos y características inmutables -por ejemplo, situación económica o vecindario- como criterios de evaluación de riesgo, puede exacerbar injusticias y desigualdades ya de por sí presentes en la sociedad y, consecuentemente, en el sistema judicial. Desde nuestro punto de vista, el problema no reside tanto en que sean factores inmutables -que también- sino en la influencia real que puedan tener en una eventual reincidencia o comisión del delito. Es decir, no solo hay factores que no dependen del interesado, sino que tampoco están directa y necesariamente relacionados con la inclinación a cometer un delito[28].
A ello hay que añadir la poca minuciosidad que supone hacer inferencias sobre un individuo a partir de las características de un grupo de personas. En otras palabras, ¿hasta qué punto es adecuado -y acertado- inferir que un individuo que vive en un barrio deprimido va a reincidir porque un alto porcentaje de los residentes en ese barrio reincide?
Por último y más difícil de solucionar es el problema del sesgo de los propios datos. Por ejemplo, en EEUU diversos estudios realizados al respecto concluyen que las personas de raza negra tienen mayores posibilidades de ser arrestadas, independientemente de que posteriormente resulten o no culpables. Por ende, si se utiliza el dato de arrestos previos como uno de los criterios de riesgo de reincidencia, el resultado que se obtendrá estará igual de sesgado que el criterio utilizado. Este, en particular, es un inconveniente de muy difícil solución ya que es un problema de base, de los propios datos.[29]
Estos problemas, evidentemente, se ven potenciados por la falta de transparencia de estos sistemas de predicción toda vez que, al no conocer su funcionamiento, no podemos saber si los señalados inconvenientes están, de alguna forma, paliados. Aunque conocer el código del algoritmo tampoco solucionaría necesariamente el inconveniente pues entonces discutiríamos acerca de los métodos utilizados para mitigar aquellos sesgos.
Puestos en una balanza las ventajas y los inconvenientes que plantean estos sistemas, para el Reglamento de IA -con buen criterio, desde nuestro punto de vista- sigue pesando más el derecho de los ciudadanos a la intimidad, privacidad y, muy particularmente, el derecho a un proceso con todas las garantías, cabe entender, hasta tanto no se pueda garantizar el respeto a aquellos derechos.
Fue nuevamente el derecho a la intimidad y privacidad el que tuvo mayor peso a la hora de prohibir los sistemas de identificación y categorización biométrica de personas (puntos d) y e)). El Reglamento define los datos biométricos como datos personales obtenidos a partir de un tratamiento técnico específico, relativo a las características físicas, fisiológicas o conductuales de una persona física, como imágenes faciales o datos dactiloscópicos. En definitiva, datos característicos y únicos de cada persona que la distinguen de las demás y, como tales, permiten identificarla.
Para que nos hagamos una idea, son sistemas de identificación biométrica: las huellas dactilares; el reconocimiento de iris y escáner biométrico de retina; la geometría del árbol de venas del dedo o de la muñeca; el reconocimiento biométrico de la palma de la mano; el reconocimiento de firma; el reconocimiento de escritura de teclado o biometría del teclado; el reconocimiento de voz; el análisis biométrico de movimientos corporales; el reconocimiento biométrico de orejas (otograma); la biometría por ADN o huella genética; y el más popular de todos, el reconocimiento facial[30].
Por su propia naturaleza, estos datos ya están protegidos, en un primer nivel, por la normativa de protección de datos de carácter personal y, por ende, en principio, no pueden recopilarse de forma libre y sin consentimiento. No obstante, a día de hoy, en la sociedad de la tecnología, es preocupante la ligereza con la que cedemos nuestros datos personales[31], probablemente sin ser conscientes de las consecuencias de tal acto, entre otras, el uso que se dará a los mismos ya que, en primera instancia -y aunque ese consentimiento sea revocable- lo estamos otorgando a la entidad cesionaria para que los almacene y, en última instancia, los utilice.
La problemática no reside en la obtención de nuestros datos en una ocasión concreta para un fin específico, sino en la diversidad de ocasiones y tipos de datos biométricos que facilitamos -y la información que contienen[32]– y que finalmente ya se encuentran en la red y se pueden interconectar entre sí para crear un perfil de cada uno de nosotros. Todos hemos escuchado aquello de que todo lo que entra en internet ya nunca desaparece. A lo que cabe añadir las posibles filtraciones de datos personales que pueden, y efectivamente se han dado[33], ya que tampoco conocemos los sistemas de seguridad empleados por el cesionario de los datos para protegerlos.
Este, no obstante, es un problema de carácter personal, en la medida en que cada uno debe decidir si cede o no sus datos o, en último caso, de la normativa de protección de datos. Volviendo pues al Reglamento de IA, lo que éste se afana en prohibir -con sus debidas excepciones- son los sistemas de identificación biométrica en tiempo real y categorización biométrica. Los primeros son aquellos que, en tiempo real, por ejemplo, permiten identificar a las personas que circulan por una plaza pública a través de sus rasgos faciales, y lo conecta con la “ficha de identidad” de la persona en remoto.
Estos sistemas no sólo resultan palmariamente invasivos sino que, dependiendo de la precisión del algoritmo, pueden derivar serios problemas para las personas identificadas si incurren en errores[34]. O incluso sin incurrir en tales sesgos ya que, como manifiestan diversas voces, el problema no es el sistema de identificación -o, en última instancia, la IA- sino la forma cómo se utiliza y, consecuentemente, el fin para el cual se emplea. Obsérvese que, con este propósito, en el Reglamento se prohíben los sistemas de categorización biométrica al tipo de cámaras de videovigilancia y reconocimiento empleadas en China.
Es de público conocimiento que el gigante asiático es el país que emplea con mayor ahínco sistemas de videovigilancia de los ciudadanos, situación que se agravó o potenció con la crisis del coronavirus cual sirvió de “excusa” para recolectar, si cabe, todavía más datos de carácter personal. Y es que China ha sido duramente criticada por utilizar sistemas de videovigilancia biométrica para perseguir y reprimir ciudadanos de etnia uigur en la región de Xinjiang e internarlos en lo que han acertado en llamar centros de reeducación[35].
Pero la utilización por parte de China de sistemas de videovigilancia -incluida la de tipo biométrico- va incluso más allá pues tienen instaurado, desde hace varios años, un sistema de crédito social que califica la confianza que merece cada ciudadano con base en su civismo. Este sistema tiene en cuenta distintos aspectos de la vida de la persona -como, por ejemplo, sus antecedentes penales o su comportamiento en las redes sociales- para determinar su puntuación y, en consecuencia, su acceso a posibles beneficios o castigos. En definitiva, se trata de un sistema que, a través de los datos personales cedidos por los propios ciudadanos, los clasifica en buenos o malos.
Los algoritmos de identificación y categorización biométrica, al igual que los demás comentados a lo largo de este artículo, reportan determinados beneficios a la sociedad y a sus ciudadanos. El problema, no obstante, no son las ventajas que proporcionan sino la contraprestación a la mismas -que no es otra que la cesión de datos cada vez más personales y la consecuente dilución de nuestra privacidad- y, en mayor medida, el uso que de tales algoritmos se haga el cual, como ya ha ocurrido, puede tener consecuencias peligrosas -por no decir nefastas- según el ámbito en el que se apliquen.
El hecho de que sean empleados -que no, generalmente, creados- por las autoridades públicas, no los exime de los citados inconvenientes, si acaso, los potencia ya que -cubiertos de un manto de legitimidad, justicia y exactitud- su alcance se amplifica, al igual que sus inconvenientes. El Reglamento, consciente de este peligro potencial, en primera instancia, prohíbe este tipo de algoritmos, no sin antes establecer excepciones. No obstante, estas prohibiciones sientan, no sólo las bases del resto de la regulación del Reglamento, sino de la propia regulación de la inteligencia artificial pues no olvidemos que se trata de una normativa absolutamente pionera en el mundo.
————————————————————–
[1] La “Executive Order on the Safe, Secure and Trustworthy Development and use of Artificial Intelligence” fue aprobada el 30 de octubre de 2023.
[2] National Institute of Standards and Technology.
[3] Proveedor: Persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamente.
[4] Responsable del despliegue (usuario): Persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IA bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad de carácter personal de carácter no profesional.
[5] El artículo 2.3.II, apartado 2), dice: “El Reglamento no se aplicará a los sistemas de IA que, y en la medida en que, se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modificaciones, exclusivamente con fines militares, de defensa o de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades.”
[6] Insurance Europe es la Federación Europea de Seguros y Reaseguros y está compuesta por asociaciones nacionales de seguros de los 37 Estados Miembros.
[7] En un primer momento, la OCDE definió la Inteligencia Artificial como “a machine-based system that can, for a given set of human defined objectives, make predictions, recommendations or decisions, influencing real or virtual environments”.
[8] Al caso, el Anexo III, en su apartado 5.c), establece que son sistemas de alto riesgo aquellos destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud, en la medida en que forman parte del ámbito de acceso a servicios privados esenciales y a servicios y prestaciones públicos esenciales y disfrute de estos servicios y prestaciones.
[9] En el siguiente artículo se explica el sentido y objetivo de las modificaciones introducidas: https://oecd.ai/en/wonk/ai-system-definition-update
[10] Se establece como excepción que estos sistemas se utilicen para la búsqueda de víctimas concretas de delitos, prevención de amenazas específicas y sustanciales sobre infraestructuras críticas o personas físicas, y para la persecución de crímenes punibles con más de cuatro años de privación de libertad.
[11] Sistema de Indicación de Riesgos. No confundir con Siri, el sistema de reconocimiento de voz de Iphone.
[12] SyRi procesaba datos tales como nombre, dirección, lugar de residencia, dirección postal, fecha de nacimiento, género, características administrativas, trabajo, medidas y sanciones administrativas aplicados a la persona; datos fiscales; datos sobre motivos de exclusión de asistencia o beneficios; datos comerciales; datos de integración; historial de cumplimiento de leyes; datos sobre becas recibidas; sobre pensiones; sobre obligación de reintegro de prestaciones públicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realización de actividades y datos del seguro de salud.
[13] Correctional Offender Management Profiling for Alternative Sanctions.
[14] Presentence Investigation Report: un informe previo a la sentencia que realiza el probation officer a petición del tribunal y que contiene información sobre el historial criminal del acusado convicto y también sobre aspectos educativos, familiares, laborales, socioeconómicos, uso de sustancias, etc., información que es utilizada para determinar la clase y extensión de la pena.
[15] La sentencia explica que “a la hora de valorar los distintos factores, excluyo la suspensión de la condena [probation] debido a la gravedad del crimen y porque su historial en materia de supervisiones judiciales, y las herramientas de valoración del riesgo que se han aplicado, indican que usted presenta un riesgo extremadamente alto de reincidir.”
[16] Puede encontrar el informe de ProPublica en el siguiente link [consultado el 19/09/2024] à https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
[17] Entre otras conclusiones, afirman que “Si comparas a una persona negra y una blanca que tienen el mismo historial, la misma edad, el mismo género, el mismo pasado judicial y el mismo “futuro criminal” (las posibilidades de cometer un crimen, dos crímenes o ninguno), el acusado negro tiene un 45% más de posibilidades de obtener un puntaje de riesgo que un acusado blanco”.
[18] Flores, A. W., Lowenkamp, C. T. y Bechtel, M. S. K., en su artículo “False positives, false negatives, and false análisis: a rejoinder to “Machine Bias: there’s software used across the country to predict future criminals. And it’s biased against blacks.”” [11/11/2024] à https://www.crj.org/assets/2017/07/9_Machine_bias_rejoinder.pdf
[19] Otros algoritmos de predicción de riesgo son el PSA (Public Safety Assessment), el LSI-R (Level of Service Inventory-Revised), el HART (Harm Assessment Risk Tool) y el CAS (Crime Anticipation System).
[20] Hay varios estudios que han analizado estos algoritmos y han concluido que son más precisos prediciendo riesgos que las personas. Entre otros, el estudio titulado “The limits of human predictions of recidivism”, elaborado por Zhuyuan “Jerry” Lin, Jongbin Jung, Sharad Goel y Jennifer Skeem. El estudio concluye lo siguiente: “We note, however, that even in the enriched condition, the additional information that we provided was still relevant for recidivism prediction, as it was included in the LSI-R risk assessment tool. Like Dressel and Farid’s study, then our experiments compare the accuracy of algorithms and RAIs with that of structured human judgment, which has been found to consistently outperform unstructured judgment in predicting violence and other recidivism. To better represent human judgment in justice settings, we hope that future studies provide even more realistic and complete inputs for prediction, including irrelevant or potentially distracting information. Still, together with past work, our results support the claim that algorithmic risk assessments can often outperform human predictions of reoffending.”
[21] En el caso de Syri, no obstante, al tratarse de un algoritmo creado por el gobierno, carece de sentido que la negativa a revelar su funcionamiento este motivada por la salvaguarda de la ventaja competitiva, sino que quizá se pretenda evitar que los eventuales usuarios puedan manipular las respuestas alterando los resultados.
[22] Ya sea que uno u otro criterio debe tener más o menos peso, o incluso que un criterio concreto deba o no incluirse en la valoración del riesgo.
[23] Pasquale, F., MA: Harvard University Press, “The Black Box Society: The Secret Algorithms that Control Money and Information”, Cambridge, 2015.
Freeman, K., North Carolina Journal of Law & Technology, “Alghoritmic Injustice: How the Wisconsin Supreme Court Failed to Protect Due Process Rights in State v. Loomis”, 2016.
[24] De Miguel Beriain, I., Law, Probability and Risk, “Does the use of risk assessments in sentences respect the right to due process? A critical analysis of the Wisconsin v. Loomis ruling”, 2018.
[25] Citron, D., FORBES, “Fairness of Risk Scores in Criminal Sentencing”, 2016. http://www.forbes.com/
sites/daniellecitron/2016/07/13/unfairness-of-riskscores-in-criminal-sentencing/#704438c64479
[26] De Miguel Beriain, I., op cit.
[27] Iñigo de Miguel Berain, en su trabajo “Does the use of risk assessments in sentences respect the right to due process? A critical analysis of the Wisconsin v. Loomis ruling” lo plantea de la siguiente forma:
“The main problem that arises here is that the developers’ interests do not always coincide with the social interest, and business logics do not always coincide with the need for scientific accuracy. A developer does not contemplate in the same way the various risks of error involved in a recommendation made by a risk assessment mechanism. Indeed, if the mechanism makes a mistake by recommending custody or imprisonment for a defendant who does not need such measures, this mistake would hardly be detected and, even if it were, it is unlikely that any huge social scandal would be created. Therefore, the developers’ commercial interests would remain safe. Instead, if the mistake consisted of a recommendation asking for an immediate release which is followed by a violent crime committed by the subject, strong criticism might be expected, and the image of the mechanism (and its commercial value) might suffer severe losses. Thus, the developers might feel tempted to introduce corrective mechanisms to prevent the occurrence of the second type of mistake, even if it necessarily involves a higher probability that the first type of error would be more prevalent.”
[28] Todo ello sin contar que no sabemos si se tienen en cuenta las correlaciones entre las propias variables (factores), aunque cabría entender que sí.
[29] El trabajo de Karen Hao titulado “Caso práctico: probamos por qué un algoritmo judicial justo es imposible.”, de 11 de noviembre de 2021, publicado en MIT Technology Review, explica de forma suficientemente clara el sesgo en los propios datos de entrenamiento del algoritmo. [consultado el 14/10/2024] https://www.technologyreview.es/s/13800/caso-practico-probamos-por-que-un-algoritmo-judicial-justo-es-imposible.
[30] Barona Vilar, S., Actualidad Jurídica Iberoamericana, nº 21, “Tecnología biométrica y datos biométricos. Bondades y peligros. No todo vale”, 2023.
[31] Véase el caso de la empresa Worldcoin quien recopilaba datos personales a través del iris, ojos, y rostro para su posterior procesamiento a cambio de un pago en criptomoneda. à https://elderecho.com/la-an-prohibe-a-una-empresa-recopilar-datos-biometricos-a-cambio-del-pago-de-criptomonedas [consultado el 12/11/2024].
[32] La AEPD publicó un documento explicando o desmintiendo mitos o creencias sobre la identificación y autenticación biométrica titulado “14 misunderstandings with regard to biometric identification and authentication”. Destaca el punto 2 donde indica: “Unlike a password or certificate, biometric data collected during an authentication or identification procedure reveals more information about the subject such as race or gender (even from fingerprints), emotional state, diseases, genetic characteristics and tares, substance consumption, etc. Since this information is “buil-in”, the user cannot prevent the collection of such additional information.” [consultada el 11/11/2024] à https://www.aepd.es/guides/14-misunderstandings-with-regard-biometric-identification-and-authentication.pdf
[33] https://es.wired.com/articulos/filtracion-oficial-en-india-expone-el-peligro-detras-de-la-recopilacion-de-datos-biometricos
New Data Breach Has Exposed Millions Of Fingerprint And Facial Recognition Records: Report
[34] Véase el caso de Vera Zhou à https://elpais.com/tecnologia/2022-05-05/xinjiang-es-el-primer-gran-modelo-en-la-era-de-la-vigilancia-digital-masiva-nunca-se-ha-visto-nada-igual.html
[35] Byler, Darren, “De Xinjiang al Misisipi: capitalismo del terror, trabajo y vigilancia”, de la obra Estado del Poder, 2021 à https://www.fuhem.es/de-xinjiang-a-misisipi-capitalismo-del-terror-trabajo-y-vigilancia/
