Sistemas de IA de alto riesgo según la Ley de Inteligencia Artificial de la UE

La Inteligencia Artificial ha irrumpido en todos los ámbitos y sectores comerciales, industriales y sociales. Las oportunidades son muchas y muy atractivas, pero también es preciso considerar riesgos. Para ello surgen estándares como ISO 42001 o normas como la Ley de Inteligencia Artificial de la Unión Europea, que reconoce que existen sistemas de IA de alto riesgo y que estos están sujetos a requisitos acordes con el desafío que representa su gestión segura.

Si bien todas las aplicaciones y desarrollos de esta tecnología plantean riesgos, es evidente que existen sistemas de IA de alto riesgo que despiertan preocupaciones adicionales por sus funcionalidades, por el sector en el que operan o por el acceso ilimitado que los caracterizan, entre otras razones.

Qué son sistemas de IA de alto riesgo

La Ley de Inteligencia Artificial de la UE define los sistemas de IA de alto riesgo como aquellos que tienen una capacidad superior para ocasionar daños a las personas, afectar a su integridad o su seguridad, vulnerar sus derechos fundamentales, invadir su privacidad o inducirlas a tomar decisiones de las que no son conscientes.

Los sistemas de IA de alto riesgo se categorizan de acuerdo con el nivel de daño que pueden causar como consecuencia de su uso indebido o de fallos en su funcionamiento, usualmente asociados a sesgos en el aprendizaje del sistema.

Aunque los sistemas de IA de alto riesgo, de acuerdo con la Ley de IA de la UE, se clasifican en dos grandes grupos, lo cierto es que estos sistemas pueden trabajar en áreas críticas como el sector sanitario, educación, RR. HH., seguridad o gestión de infraestructuras. Algunos ejemplos de los riesgos asociados al uso de IA en estos sectores son los siguientes:

Principales áreas de clasificación de los sistemas de IA de alto riesgo

La Ley de Inteligencia Artificial de la UE clasifica los sistemas de IA de alto riesgo en dos categorías:

• Sistemas utilizados en productos que están bajo la aplicación de la legislación de armonización de la Unión Europea: entre los que se incluyen los dispositivos médicos, diversos tipos de maquinaria, juguetes e instrumentos quirúrgicos, entre otros.
• Sistemas que operan en zonas de alto riesgo: sistemas de identificación biométrica, RR. HH. o acceso a oportunidades de educación, que tienen la capacidad para modificar decisiones y afectar los derechos de las personas e incluso su privacidad.

La adecuada clasificación de sistemas de IA de alto riesgo hace que estén obligados a cumplir con los requisitos que prevé la Ley de IA para ellos, que han sido creados para proteger a las personas.

Requisitos que deben cumplir los sistemas de IA de alto riesgo

La Ley de Inteligencia Artificial de la UE incorpora requisitos, en cinco categorías, para proteger a las personas, las comunidades u otras partes interesadas. Los requisitos buscan equilibrar la balanza para ubicar en el mismo nivel el potencial de la IA con los derechos de las personas:

1. Gestionar los riesgos

Además de la rutinaria gestión de riesgos de la IA, la ley exige proceso de monitoreo, pruebas y actualizaciones continuas de la evaluación y de los procesos, de acuerdo con la evolución de la tecnología o los nuevos usos que se den a los sistemas.

2. Documentación transparente y coherente

Los procesos de diseño, definición de objetivos, entrenamiento de los sistemas y toma de decisiones se documentan. Esta documentación debe ser transparente y coherente, ya que será sometida a procesos de rendición de cuentas por parte de reguladores, usuarios de los sistemas, empleados y otras partes interesadas.

3. Calidad y confiabilidad de los datos

La calidad, la transparencia y la confiabilidad en los datos aseguran sistemas de IA libres de sesgos, confiables y seguros. Los datos confiables son el resultado de protocolos de validación y mecanismos de monitoreo eficientes, que trabajan sobre los datos de entrada desde las etapas de diseño de los sistemas.

4. Control humano

En los sistemas de IA de alto riesgo es preciso mantener el control humano, que siempre conservará la facultad para anular decisiones tomadas de forma automática por el sistema.

5. Ciberseguridad y seguridad de la información

Los sistemas de IA de alto riesgo necesitan adoptar estrictos controles de seguridad de la información, en lo posible soportados por un estándar con reconocimiento internacional como ISO 27001. Es necesario someter los sistemas a pruebas periódicas para comprobar el cumplimiento de los estándares.

ISO 42001 y Ley de Inteligencia Artificial de la Unión Europea

El primer estándar internacional para implementar un sistema de gestión de IA busca objetivos similares a la Ley de IA de la UE. Uno de los requisitos del estándar es el cumplimiento de todas las normas, regulaciones, leyes, directivas, acuerdos o decretos, entre los que se sitúa la Ley de IA, por supuesto.

La relación es obvia, además, de colaborativa y complementaria. La ley tiene un enfoque prioritario en las personas y sus derechos y en la sociedad. El estándar se enfoca en prevenir y tratar los riesgos a los que se expone de organización en primera instancia y, por supuesto, dentro de esos riesgos están los posibles daños que pueden sufrir las personas.

Las organizaciones pueden aprovechar el incontenible potencial de la IA sin que esto signifique correr riesgos extremos o someter a usuarios, empleados o a las personas a graves amenazas. La Inteligencia Artificial continuará avanzando y evolucionando, pero ya es posible contar con dos herramientas, una normativa y otra legal, para contener las amenazas y aprovechar los beneficios en un marco de seguridad, ética y transparencia.

Software ISO 42001

El Software ISO 42001 es un ejemplo de aprovechamiento racional y seguro de la IA para crear una solución a las complejidades que encuentran las organizaciones al aprovechar el potencial de la nueva tecnología. La plataforma se ha diseñado para automatizar la gestión de sistemas de IA, creando un ciclo de gestión PDCA que asegura la mejora continua.

Esta herramienta tecnológica, basada en la nube, será un apoyo fundamental en ese camino necesario para tu organización hacia un uso responsable de la IA. Si quieres dar el primer paso o necesitas ampliar información sobre las funcionalidades y beneficios del software, no dudes en contactar con nuestro equipo de consultores.