Antes de la publicación del informe, Amnistía Internacional se puso en contacto con NNIT, pero la empresa no proporcionó más información sobre sus acuerdos contractuales con la UDK y ATP alegando obligaciones de confidencialidad. NNIT tampoco reveló información sobre ningún proceso de diligencia debida en materia de derechos humanos efectuado antes de llegar a su acuerdo con la UDK y ATP

Existe el riesgo de que la autoridad de bienestar social de Dinamarca, Udbetaling Danmark (UDK), discrimine a las personas con discapacidad, a las de bajos ingresos, a las migrantes, a las refugiadas y a los grupos raciales marginados, mediante el uso de herramientas de inteligencia artificial (AI) para señalar a personas para que se las investigue por fraude a las prestaciones sociales. Así lo ha manifestado hoy Amnistía Internacional en un nuevo informe.

El informe, titulado Coded Injustice: Surveillance and Discrimination in Denmark’s Automated Welfare State, expone con detalle cómo el uso generalizado de algoritmos de detección de fraudes, junto con prácticas de vigilancia masiva, ha dado lugar a que la población involuntariamente —o incluso sin saberlo— pierda su derecho a la privacidad, y a que se genere un clima de miedo. 

“Esta vigilancia masiva ha creado un sistema de prestaciones sociales que, en vez de ayudar, ataca a las personas que se supone que debe proteger”, ha declarado Hellen Mukiri-Smith, investigadora de Amnistía Internacional sobre Inteligencia Artificial y Derechos Humanos.

“El modo en que opera el sistema de bienestar social danés automatizado está socavando la privacidad personal y la dignidad humana. Al desplegar algoritmos de control del fraude y métodos tradicionales de vigilancia para identificar fraudes a las prestaciones sociales, las autoridades están permitiendo y ampliando la vigilancia masiva digitalizada.”

Esta vigilancia masiva ha creado un sistema de prestaciones sociales que, en vez de ayudar, ataca a las personas que se supone que debe proteger.

Hellen Mukiri-Smith, investigadora de Amnistía Internacional sobre Inteligencia Artificial y Derechos Humanos

La UDK ha encargado a una empresa, Arbejdsmarkedets Tillægspension (ATP), gestionar los esfuerzos de control de las prestaciones sociales y del fraude. A su vez, ATP se ha asociado con empresas multinacionales privadas, entre las que figura NNIT, para desarrollar algoritmos de control del fraude que reflejen las especificaciones de ATP.

“En el punto de mira”

La UDK y ATP emplean un sistema que utiliza hasta 60 modelos algorítmicos supuestamente diseñados para detectar fraudes a las prestaciones sociales y señalar a personas para que las autoridades danesas procedan a investigarlas. Durante la investigación, Amnistía Internacional obtuvo acceso parcial a cuatro de esos algoritmos.

Para alimentar dichos algoritmos de detección de fraudes, las autoridades danesas han promulgado legislación que permite la recopilación y agrupación de datos personales de millones de personas residentes en Dinamarca extraídos de bases de datos públicas.

Estos datos incluyen información sobre la situación de residencia y movimientos, ciudadanía, lugar de nacimiento y relaciones familiares, todos ellos datos sensibles que también se pueden emplear para inferir la raza, la etnia o la orientación sexual de una persona.

“Esta máquina de vigilancia expansiva se emplea para documentar y generar una visión panorámica, a menudo desconectada de la realidad, de la vida de una persona. Rastrea y monitoriza la vida de las personas que solicitan prestaciones sociales, dónde trabajan, su historial de desplazamientos, su historial médico, e incluso sus vínculos con países extranjeros”, ha sostenido Hellen Mukiri-Smith.

La UDK afirma que la amplia recopilación y agrupación de datos personales para detectar fraudes a las prestaciones sociales tienen “base legal”. Sin embargo, las conclusiones de Amnistía Internacional muestran que la enorme cantidad de datos que se recopilan y procesan no son necesarios ni proporcionados.

Amnistía Internacional entrevistó a personas que describieron el daño psicológico que sufren al ser sometidas a vigilancia por investigadores de fraudes y trabajadores sociales. La presidenta del Comité sobre Políticas Sociales y Mercado Laboral de Dansk Handicap Foundation, Gitte Nielsen, afirmó que las personas con discapacidad constantemente interrogadas por trabajadores sociales se sienten a menudo deprimidas y que el escrutinio constante les “reconcome”.

Una persona entrevistada por Amnistía Internacional describió de la siguiente manera el terror que provoca ser objeto de investigación por fraude a las prestaciones sociales: “[Es como estar] en el punto de mira de un arma. Siempre tenemos miedo. [Es como] si el arma nos estuviera apuntando [siempre].”

Algoritmos injustos y discriminatorios

La discriminación perpetuada por los algoritmos de la UDK y ATP está teniendo lugar en un contexto de desigualdades preexistentes — en leyes, regulaciones, instituciones, normas y valores— en la sociedad danesa. Estas estructuras discriminatorias están integradas en el diseño de los modelos algorítmicos de ATP y facilitan la categorización de personas y comunidades sobre la base de la diferencia o la “otredad”.

A fin de detectar fraudes a prestaciones sociales de los planes de pensiones y de cuidado infantil, las autoridades danesas emplean el algoritmo Really Single (Realmente soltero/a) para predecir la situación familiar y de relaciones de una persona. Uno de los parámetros utilizados por el algoritmo de control de fraudes Really Single incluye patrones de vida o composiciones familiares “inusuales” o “atípicos”. Sin embargo, no se aclara qué es lo que constituye dichas situaciones, y eso deja la puerta abierta a la toma de decisiones arbitraria.

“Las personas cuya composición familiar no es tradicional — como la de personas casadas que no viven juntas porque tienen una discapacidad; las personas de edad avanzada que tienen una relación pero no viven juntas; o las que viven en un hogar multigeneracional, que es una composición habitual en comunidades migrantes— corren peligro de que se emplee con ellas el algoritmo Really Single y se las investigue por fraude a las prestaciones sociales”, ha manifestado Hellen Mukiri-Smith.

La UDK y ATP también emplean datos relacionados con la “filiación extranjera” en sus modelos algorítmicos. El modelo Abroad (Exterior) identifica grupos de personas beneficiarias que se considera que tienen “vínculos medios o fuertes” con países no pertenecientes al Espacio Económico Europeo, y prioriza investigar en profundidad a esos grupos por fraude. Las investigaciones concluyen que este enfoque discrimina a las personas por factores como su origen nacional y situación migratoria.

En su respuesta a Amnistía Internacional, UDK ha alegado que el uso de la “ciudadanía” como parámetro de sus algoritmos no constituye procesamiento de información personal sensible. Amnistía Internacional no está de acuerdo con esa argumentación de la UDK y ATP, puesto que la ciudadanía es un parámetro que puede revelar la raza, etnia y situación migratoria de una persona, y supone una discriminación directa por origen nacional.

¿Un sistema de ‘social scoring’?

La UDK y ATP proporcionaron a Amnistía Internacional documentación censurada sobre la elaboración de determinados sistemas algorítmicos, y rechazaron sistemáticamente las peticiones de la organización de una auditoría colaborativa, negándose a facilitar pleno acceso al código y los datos empleados en sus algoritmos de detección de fraudes.

“La información recabada y analizada por Amnistía Internacional sugiere que el sistema utilizado por la UDK y ATP funciona como un sistema de puntuación social (social scoring) en virtud de la nueva Ley de Inteligencia Artificial de la UE (Ley de Inteligencia Artificial) y que, por lo tanto, debería ser prohibido”, ha declarado Hellen Mukiri-Smith.

La UDK ha rechazado la valoración de Amnistía Internacional de que su sistema de detección de fraudes posiblemente vulnere la prohibición del social scoring establecida en la Ley de Inteligencia Artificial, pero no ha ofrecido explicaciones suficientes sobre su razonamiento.

Amnistía Internacional también insta a la Comisión Europea a aclarar, en sus directrices sobre la Ley de la Inteligencia Artificial, qué prácticas de inteligencia artificial constituyen social scoring, y a abordar los motivos de preocupación expresados por la sociedad civil.

Asimismo, la organización pide a las autoridades danesas que hasta que no garanticen que el sistema de detección de fraudes empleado por la UDK no sea un sistema de social scoring,  éste debe dejar de emplearse.

“Las autoridades danesas deben implementar urgentemente la prohibición clara y jurídicamente vinculante del uso de datos relacionados con la ‘filiación extranjera’ o datos indirectos en las puntuaciones del riesgo con la finalidad de controlar los fraudes. También deben garantizar la sólida transparencia y la adecuada supervisión en la elaboración y aplicación de algoritmos de control del fraude”, ha manifestado Hellen Mukiri-Smith.

En virtud de varios tratados internacionales de derechos humanos, leyes europeas y nacionales, Dinamarca tiene la obligación legal de salvaguardar los derechos humanos, incluidos la privacidad, la protección de datos, la libertad de expresión, la igualdad y la no discriminación.

“Estos derechos no son sólo la fuerza motriz de una sociedad justa, sino que también permiten el acceso justo a la seguridad social, la atención de la salud, y mucho más”, ha sostenido Hellen Mukiri-Smith.

Información complementaria

Antes de la publicación del informe, Amnistía Internacional se puso en contacto con NNIT, pero la empresa no proporcionó más información sobre sus acuerdos contractuales con la UDK y ATP alegando obligaciones de confidencialidad. NNIT tampoco reveló información sobre ningún proceso de diligencia debida en materia de derechos humanos efectuado antes de llegar a su acuerdo con la UDK y ATP.

La investigación sobre Dinamarca también se basa en investigaciones previas de Amnistía Internacional sobre la automatización y la digitalización del sector público en Países Bajos, India y Serbia, y sobre los riesgos e impactos para los derechos humanos de la toma de decisiones algorítmica en estas jurisdicciones.