ISO 42001 - Anexo C. Objetivos organizacionales potenciales relacionados con la inteligencia artificial y fuentes de riesgo
C.1 Generalidades
Este anexo describe objetivos organizacionales potenciales, fuentes de riesgo y descripciones que la organización puede considerar al gestionar riesgos. Este anexo no pretende ser exhaustivo ni aplicable para todas las organizaciones. La organización debe determinar los objetivos y fuentes de riesgo relevantes. ISO/IEC 23894 proporciona información más detallada sobre estos objetivos y fuentes de riesgo, y su relación con la gestión de riesgos. La evaluación de los sistemas de IA, inicialmente, regularmente y cuando sea necesario, proporciona evidencia de que un sistema de IA está siendo evaluado según los objetivos organizacionales.
C.2 Objetivos
C.2.1 Responsabilidad
El uso de la IA puede cambiar los marcos de responsabilidad existentes. Donde anteriormente las personas serían responsables de sus acciones, ahora sus acciones pueden estar respaldadas o basadas en el uso de un sistema de IA.
C.2.2 Experiencia en IA
Se necesita una selección de especialistas dedicados con conjuntos de habilidades interdisciplinarias y experiencia en evaluar, desarrollar e implementar sistemas de IA.
C.2.3 Disponibilidad y calidad de los datos de entrenamiento y prueba
Los sistemas de IA basados en ML necesitan datos de entrenamiento, validación y prueba para entrenar y verificar los sistemas para el comportamiento previsto.
C.2.4 Impacto ambiental
El uso de la IA puede tener impactos positivos y negativos en el medio ambiente.
C.2.5 Equidad
La aplicación inapropiada de sistemas de IA para la toma de decisiones automatizada puede ser injusta para personas específicas o grupos de personas.
C.2.6 Mantenibilidad
La mantenibilidad está relacionada con la capacidad de la organización para manejar modificaciones del sistema de IA con el fin de corregir defectos o ajustarse a nuevos requisitos.
C.2.7 Privacidad
El uso indebido o la divulgación de datos personales y sensibles (por ejemplo, registros de salud) puede tener efectos perjudiciales en los sujetos de datos.
C.2.8 Robustez
En IA, las propiedades de robustez demuestran la capacidad (o incapacidad) del sistema para tener un rendimiento comparable en nuevos datos como en los datos con los que fue entrenado o los datos de operaciones típicas.
C.2.9 Seguridad
La seguridad se refiere a la expectativa de que un sistema no conduzca, bajo condiciones definidas, a un estado en el que la vida humana, la salud, la propiedad o el medio ambiente estén en peligro.
C.2.10 Seguridad
En el contexto de la IA y en particular con respecto a los sistemas de IA basados en enfoques de ML, se deben considerar nuevos problemas de seguridad más allá de las preocupaciones clásicas de seguridad de la información y del sistema.
C.2.11 Transparencia y explicabilidad
La transparencia se relaciona tanto con las características de una organización que opera sistemas de IA como con esos mismos sistemas. La explicabilidad se refiere a explicaciones de factores importantes que influyen en los resultados del sistema de IA que se proporcionan a las partes interesadas de una manera comprensible para los humanos.
C.3 Fuentes de riesgo
C.3.1 Complejidad del entorno
Cuando los sistemas de IA operan en entornos complejos, donde el rango de situaciones es amplio, puede haber incertidumbre sobre el rendimiento y, por lo tanto, una fuente de riesgo (por ejemplo, el entorno complejo de la conducción autónoma).
C.3.2 Falta de transparencia y explicabilidad
La incapacidad para informar adecuadamente a los interesados puede ser una fuente de riesgo (confiabilidad y responsabilidad de la organización).
C.3.3 Nivel de automatización
El nivel de automatización puede tener un impacto en varias áreas de preocupación, como la seguridad, la equidad o la seguridad.
C.3.4 Fuentes de riesgo relacionadas con el aprendizaje automático
La calidad de los datos usados para el aprendizaje automático y el proceso para recopilar datos pueden ser fuentes de riesgo, ya que pueden afectar objetivos como la seguridad y la robustez (por problemas en la calidad de los datos o envenenamiento de datos).
C.3.5 Problemas de hardware del sistema
Las fuentes de riesgo relacionadas con el hardware incluyen errores de hardware basados en componentes defectuosos o en la transferencia de modelos de ML entrenados entre diferentes sistemas.
C.3.6 Problemas del ciclo de vida del sistema
Las fuentes de riesgo pueden aparecer a lo largo de todo el ciclo de vida del sistema de IA (por ejemplo, fallas en el diseño, implementación inadecuada, falta de mantenimiento, problemas con el desmantelamiento).
C.3.7 Preparación de la tecnología
Las fuentes de riesgo pueden relacionarse con una tecnología menos madura por factores desconocidos (por ejemplo, limitaciones y condiciones de contorno del sistema, desviación del rendimiento), pero también por una tecnología más madura por la complacencia tecnológica.
