ISO 42001 - Anexo B. Guía de implementación para los controles de IA

B.1 General

La guía de implementación documentada en este anexo se relaciona con los controles enumerados en la Tabla A.1. Proporciona información para respaldar la implementación de los controles enumerados en la Tabla A.1 y para cumplir con el objetivo del control, pero las organizaciones no tienen que documentar o justificar la inclusión o exclusión de la guía de implementación en la declaración de aplicabilidad (ver 6.1.3).

La guía de implementación no siempre es adecuada o suficiente en todas las situaciones y no siempre cumple con los requisitos específicos de control de la organización. La organización puede ampliar o modificar la guía de implementación o definir su propia implementación de un control de acuerdo con sus requisitos específicos y necesidades de tratamiento de riesgos.

Este anexo se utiliza como orientación para determinar e implementar controles para el tratamiento de riesgos de IA en el sistema de gestión de IA definido en este documento. Se pueden determinar controles organizativos y técnicos adicionales distintos de los incluidos en este anexo (ver tratamiento de riesgos de gestión de sistemas de IA en 6.1.3). Este anexo puede considerarse como un punto de partida para desarrollar una implementación específica de controles para la organización.

B.2 Políticas relacionadas con la IA

B.2.1 Objetivo

Proporcionar dirección y apoyo de gestión para sistemas de IA según los requisitos empresariales.

B.2.2 Política de IA

Control

La organización debería documentar una política para el desarrollo o uso de sistemas de IA.

Guía de implementación

La política de IA debería estar informada por:

• estrategia empresarial;
• valores y cultura organizativos y la cantidad de riesgo que la organización está dispuesta a asumir o retener;
• el nivel de riesgo que representan los sistemas de IA;
• requisitos legales, incluidos los contratos;
• el entorno de riesgo de la organización;
• impacto en partes interesadas relevantes (ver 6.1.4).

La política de IA debería incluir (además de los requisitos en 5.2): 

• principios que guíen todas las actividades de la organización relacionadas con la IA; 
• procesos para manejar desviaciones y excepciones a la política. 

La política de IA debe considerar aspectos específicos del tema cuando sea necesario para proporcionar orientación adicional o hacer referencias cruzadas a otras políticas que traten estos aspectos. Ejemplos de tales temas incluyen:

• recursos y activos de IA;
• evaluaciones de impacto del sistema de IA (ver 6.1.4);
• desarrollo del sistema de IA.

Las políticas relevantes deben guiar el desarrollo, la compra, la operación y el uso de los sistemas de IA.

B.2.3 Alineación con otras políticas organizacionales

Control

La organización debería determinar dónde otras políticas pueden ser afectadas por, o aplicables a, los objetivos de la organización con respecto a los sistemas de IA.

Guía de implementación

Muchos dominios se cruzan con la IA, incluyendo calidad, seguridad, protección y privacidad. La organización debería considerar un análisis exhaustivo para determinar si y dónde las políticas actuales pueden necesariamente actualizar esas políticas si se requieren actualizaciones, o incluir disposiciones en la política de IA.

Otra información

Las políticas que el cuerpo gobernante establece en nombre de la organización deberían informar la política de IA. ISO/IEC 38507 proporciona orientación para los miembros del cuerpo gobernante de una organización para habilitar y gobernar el sistema de IA a lo largo de su ciclo de vida.

B.2.4 Revisión de la política de IA

Control

La política de IA debería ser revisada en intervalos planificados o adicionalmente según sea necesario para asegurar su continua idoneidad, adecuación y efectividad.

Guía de implementación

Un rol aprobado por la dirección debería ser responsable del desarrollo, revisión y evaluación de la política de IA, o los componentes dentro de ella. La revisión debería incluir evaluar oportunidades de mejora de las políticas de la organización y su enfoque para gestionar sistemas de IA en respuesta a cambios en el entorno organizacional, circunstancias comerciales, condiciones legales o entorno técnico.

La revisión de la política de IA debería tener en cuenta los resultados de las revisiones de la dirección.

B.3 Organización interna

B.3.1 Objetivo

Establecer responsabilidad dentro de la organización para mantener su enfoque responsable para la implementación, operación y gestión de sistemas de IA.

B.3.2 Roles y responsabilidades de IA

Control

Los roles y responsabilidades para IA deberían ser definidos y asignados de acuerdo a las necesidades de la organización.

Guía de implementación

La definición de roles y responsabilidades es fundamental para garantizar la responsabilidad en toda la organización con respecto al sistema de IA a lo largo de su ciclo de vida. La organización debería considerar las políticas de IA, los objetivos de IA y los riesgos identificados al asignar roles y responsabilidades, para asegurar que todas las áreas relevantes estén cubiertas. La organización puede priorizar cómo se asignan los roles y responsabilidades. Ejemplos de áreas que pueden requerir roles y responsabilidades definidos pueden incluir:

• gestión de riesgos;
• evaluaciones de impacto del sistema de IA;
• gestión de activos y recursos;
• seguridad;
• privacidad;
• desarrollo;
• rendimiento;
• supervisión humana;
• relaciones con proveedores;
• demostrar su capacidad para cumplir consistentemente con los requisitos legales;
• gestión de la calidad de los datos (durante todo el ciclo de vida).

Las responsabilidades de los diferentes roles deberían estar definidas al nivel adecuado para que los individuos puedan desempeñar sus funciones.

B.3.3 Reporte de preocupaciones

Control

La organización debería definir e implementar un proceso para reportar preocupaciones sobre el rol de la organización con respecto a un sistema de IA a lo largo de su ciclo de vida.

Guía de implementación

El mecanismo de reporte debería cumplir las siguientes funciones:

a) opciones para confidencialidad o anonimato o ambos;

b) disponible y promovido para personas empleadas y contratadas;

c) con personal calificado;

d) estipula poderes de investigación y resolución apropiados para las personas mencionadas en c);

e) proporciona mecanismos para reportar y para escalar a la dirección de manera oportuna;

f) proporciona protección efectiva contra represalias tanto para las personas involucradas en el reporte como en la investigación (por ejemplo, permitiendo que los reportes se realicen de manera anónima y confidencial);

g) proporciona informes de acuerdo con 4.4 y, si corresponde, e); manteniendo la confidencialidad y el anonimato en a), y respetando las consideraciones generales de confidencialidad comercial;

h) proporciona mecanismos de respuesta dentro de un marco de tiempo adecuado.

NOTA: La organización puede utilizar mecanismos de reporte existentes como parte de este proceso.

Otra información

Además de la guía de implementación proporcionada en esta cláusula, la organización debería considerar ISO 370

B.4 Recursos para sistemas de IA

B.4.1 Objetivo

Asegurar que la organización tenga en cuenta los recursos (incluidos los componentes y activos del sistema de IA) del sistema de IA para comprender y abordar completamente los riesgos e impactos.

B.4.2 Documentación de recursos

Control

La organización debería identificar y documentar los recursos relevantes requeridos para las actividades en etapas del ciclo de vida del sistema de IA y otras actividades relacionadas con la IA relevantes para la organización.

Guía de implementación

La documentación de los recursos del sistema de IA es fundamental para comprender los riesgos, así como los posibles impactos del sistema de IA (tanto positivos como negativos) para individuos o grupos de individuos, o ambos, y para las sociedades. La documentación de tales recursos (que puede utilizar, por ejemplo, diagramas de flujo de datos o diagramas de arquitectura del sistema) puede informar las evaluaciones de impacto del sistema de IA (ver B.5).

Los recursos pueden incluir, entre otros:

• Componentes del sistema de IA;
• Recursos de datos, es decir, datos utilizados en cualquier etapa del ciclo de vida del sistema de IA;
• Recursos de herramientas (por ejemplo, algoritmos de IA, modelos o herramientas);
• Recursos de sistema y cómputo (por ejemplo, hardware para desarrollar y ejecutar modelos de IA, almacenamiento para datos y recursos de herramientas);
• Recursos humanos, personas con experiencia necesaria (por ejemplo, para desarrollar, vender, entrenar, operar y mantener el sistema de IA) en relación con el papel de organización en el ciclo de vida del sistema de IA.

Los recursos pueden ser proporcionados por la propia organización, por sus clientes o por terceros.

Otra información

La documentación de recursos también puede ayudar a determinar si los recursos están disponibles y, si no lo están, la organización debería revisar la especificación de diseño del sistema de IA o sus requisitos de implementación.

B.4.3 Recursos de datos

Control

Como parte de la identificación de recursos, la organización debería documentar información sobre los recursos de datos utilizados para el sistema de IA.02.

Guía de implementación

La documentación sobre datos debería incluir, pero no limitarse a, los siguientes temas:

• La procedencia de los datos;
• La fecha en que los datos fueron actualizados o modificados por última vez (por ejemplo, etiqueta de fecha en los metadatos);
• Para el aprendizaje automático, las categorías de datos (por ejemplo, datos de entrenamiento, validación, prueba y producción);
• Categorías de datos (por ejemplo, como se define en ISO/IEC 19944-1);
• Proceso de etiquetado de datos;
• Uso previsto de los datos;
• Calidad de los datos (por ejemplo, como se describe en la serie ISO/IEC 5259);
• Políticas aplicables de retención y disposición de datos;
• Problemas de sesgo conocidos o potenciales en los datos;
• Preparación de datos.

B.4.4 Recursos de herramientas

Control

Como parte de la identificación de recursos, la organización debería documentar información sobre los recursos de herramientas utilizados para el sistema de IA.

Guía de implementación

Los recursos de herramientas para un sistema de IA y especialmente para el aprendizaje automático, pueden incluir, pero no limitarse a:

• Tipos de algoritmos y modelos de aprendizaje automático;
• Herramientas o procesos de acondicionamiento de datos;
• Métodos de optimización;
• Métodos de evaluación;
• Herramientas de aprovisionamiento para recursos;
• Herramientas para ayudar al desarrollo de modelos;
• Software y hardware para el diseño, desarrollo y implementación del sistema de IA.

Otra información

ISO/IEC 23053 proporciona una orientación detallada sobre los tipos, métodos y enfoques para varios recursos de herramientas para el aprendizaje automático.

B.4.5 Recursos del sistema y de cómputo

Control

Como parte de la identificación de recursos, la organización debería documentar información sobre los recursos del sistema y de cómputo utilizados para el sistema de IA.

—————————-

2.En proceso de elaboración. Etapa en el momento de la publicación: ISO/IEC DIS 5259-1:2023, ISO/IEC DIS 5259-2:2023, ISO/IEC DIS 5259-3:2023, ISO/IEC DIS 5259-4:2023, ISO/IEC CD 5259-5:2023.

Guía de implementación:

La información sobre los recursos del sistema y la informática para un sistema de IA puede incluir, pero no se limita a:

• Requisitos de recursos del sistema de IA (es decir, para garantizar que el sistema pueda ejecutarse en dispositivos con recursos limitados);
• Dónde se encuentran los recursos del sistema y la informática (por ejemplo, en instalaciones locales, computación en la nube o computación perimetral);
• Recursos de procesamiento (incluidas la red y el almacenamiento);
• El impacto del hardware utilizado para ejecutar las cargas de trabajo del sistema de IA (por ejemplo, el impacto en el medio ambiente tanto por el uso como por la fabricación del hardware o el costo de usar el hardware).

La organización debe considerar que se pueden requerir diferentes recursos para permitir la mejora continua de los sistemas de IA. El desarrollo, la implementación y el funcionamiento del sistema pueden tener diferentes necesidades y requisitos del sistema.

NOTA: ISO/IEC 22989 describe diversas consideraciones sobre los recursos del sistema.

B.4.6 Recursos humanos

Control

Como parte de la identificación de recursos, la organización debe documentar información sobre los recursos humanos y sus competencias utilizadas para el desarrollo, implementación, operación, gestión del cambio, mantenimiento, transferencia y desmantelamiento, así como para la verificación e integración del sistema de IA.

Guía de implementación

La organización debe considerar la necesidad de experiencia diversa e incluir los tipos de roles necesarios para el sistema. Por ejemplo, la organización puede incluir grupos demográficos específicos relacionados con los conjuntos de datos utilizados para entrenar modelos de aprendizaje automático, si su inclusión es un componente necesario del diseño del sistema. Los recursos humanos necesarios pueden incluir, pero no se limitan a:

• Científicos de datos;
• Roles relacionados con la supervisión humana de los sistemas de IA;
• Expertos en temas de confiabilidad como seguridad y privacidad;
• Investigadores y especialistas en IA, y expertos en dominios relevantes para los sistemas de IA.

Se pueden necesitar diferentes recursos en diferentes etapas del ciclo de vida del sistema de IA.

B.5 Evaluar los impactos de los sistemas de IA

B.5.1 Objetivo

Evaluar los impactos de los sistemas de IA en individuos o grupos de individuos, o ambos, así como en las sociedades afectadas por el sistema de IA a lo largo de su ciclo de vida.

B.5.2 Proceso de evaluación de impacto del sistema de IA

Control

La organización debe establecer un proceso para evaluar las posibles consecuencias para individuos o grupos de individuos, o ambos, y las sociedades que pueden resultar del sistema de IA a lo largo de su ciclo de vida.

Guía de implementación

Dado que los sistemas de IA potencialmente generan un impacto significativo en individuos, grupos de individuos, o ambos, así como en sociedades, la organización que proporciona y utiliza dichos sistemas debería, basándose en el propósito y uso previstos de estos sistemas, evaluar los impactos potenciales de estos sistemas en estos grupos.

• La organización debería considerar si un sistema de IA afecta:
• la posición legal o las oportunidades de vida de los individuos;
• el bienestar físico o psicológico de los individuos;
• los derechos humanos universales;
• las sociedades.

Los procedimientos de la organización deberían incluir, pero no limitarse a:

a) circunstancias bajo las cuales se debería realizar una evaluación de impacto del sistema de IA, que pueden incluir, pero no limitarse a:

la criticidad del propósito previsto y el contexto en el que se utiliza el sistema de IA o cualquier cambio significativo en estos;

la complejidad de la tecnología de IA y el nivel de automatización de los sistemas de IA o cualquier cambio significativo en eso;

la sensibilidad de los tipos y fuentes de datos procesados por el sistema de IA o cualquier cambio significativo en eso;

b) elementos que forman parte del proceso de evaluación de impacto del sistema de IA, que pueden incluir:

• identificación (por ejemplo, fuentes, eventos y resultados);
• análisis (por ejemplo, consecuencias y probabilidad);
• evaluación (por ejemplo, decisiones de aceptación y priorización);
• tratamiento (por ejemplo, medidas de mitigación);
• documentación, informes y comunicación (ver 7.4, 7.5 y B.3.3);

c) quién realiza la evaluación de impacto del sistema de IA;

d) cómo se puede utilizar la evaluación de impacto del sistema de IA [por ejemplo, cómo puede informar el diseño o uso del sistema (ver B.6 y B.9), si puede desencadenar revisiones y aprobaciones];

e) individuos y sociedades que potencialmente se ven afectados según el propósito, uso y características del sistema (por ejemplo, evaluación para individuos, grupos de individuos o sociedades).

La evaluación de impacto debería considerar aspectos del sistema de IA, incluidos los datos utilizados para desarrollarlo, las tecnologías de IA utilizadas y su funcionalidad.

Los procesos pueden variar según el rol de la organización y el dominio de aplicación de la IA y dependiendo de las disciplinas específicas para las cuales se evalúa el impacto (por ejemplo, seguridad, privacidad y seguridad).

Otra información

Para algunas disciplinas u organizaciones, la consideración detallada del impacto en individuos o grupos de individuos, o ambos, y en sociedades forma parte de la gestión de riesgos, particularmente en disciplinas como la seguridad de la información, la seguridad y la gestión ambiental. La organización debería determinar.

Si las evaluaciones de impacto específicas de la disciplina, realizadas como parte de un proceso de gestión de riesgos, integran suficientemente las consideraciones de AI para esos aspectos específicos (por ejemplo, privacidad).

NOTA: ISO/IEC 23894 describe cómo una organización puede realizar análisis de impacto para la organización herself, junto con individuos o grupos de individuos, o tanto, y sociedades, como parte de un proceso de gestión de riesgos general.

B.5.3 Documentación de las evaluaciones de impacto del sistema AI

Control

La organización debe documentar los resultados de las evaluaciones de impacto del sistema AI y conservar los resultados durante un período definido.

Guía de implementación

La documentación puede ser útil para determinar la información que debe comunicarse a los usuarios y a otras partes interesadas pertinentes.

Las evaluaciones de impacto del sistema AI deben retenerse y actualizarse, si es necesario, en alineación con los elementos de una evaluación de impacto del sistema AI documentados en B.5.2. Los períodos de retención pueden seguir los programas de retención de la organización o estar informados por requisitos legales u otros requisitos.

Los elementos que la organización debería considerar documentar pueden incluir, entre otros, pero no limitados a:

• el uso previsto del sistema AI y cualquier uso razonablemente previsible del sistema AI;
• los impactos positivos y negativos del sistema AI en las personas relevantes o grupos de personas, o en ambos, y en las sociedades;
• fallas predecibles, sus posibles impactos y medidas tomadas para mitigarlos;
• grupos demográficos relevantes del sistema;
• complejidad del sistema;
• el papel de los humanos en las relaciones con el sistema, incluidas las capacidades de supervisión humana, procesos y herramientas, disponibles para evitar impactos negativos;
• empleo y capacitación del personal.

B.5.4 Evaluación del impacto del sistema AI en individuos o grupos de individuos

Control

La organización debe evaluar y documentar los posibles impactos de los sistemas AI en individuos o grupos de individuos a lo largo del ciclo de vida del sistema.

Guía de implementación

Al evaluar los impactos en individuos o grupos de individuos, o en ambos, y en las sociedades, la organización debe considerar sus principios de gobernanza, políticas y objetivos de AI. Los individuos que utilizan el sistema AI o cuyas PII son procesadas por el sistema AI, pueden tener expectativas relacionadas con la confiabilidad del sistema AI. Las necesidades de protección específicas de los grupos, como los niños, las personas con discapacidad, las personas mayores y los trabajadores, deben tenerse en cuenta. La organización debe evaluar estas expectativas y considerar los medios para abordarlas como parte de la evaluación de impacto del sistema.

Dependiendo del alcance del propósito y el uso del sistema AI, las áreas de impacto para considerar como parte de la evaluación pueden incluir, entre otras, pero no limitadas a:

• equidad;
• rendición de cuentas;
• transparencia y explicabilidad;
• seguridad y privacidad;
• seguridad y salud;
• consecuencias financieras;
• accesibilidad;
• derechos humanos.

Otra información

Cuando sea necesario, la organización debe consultar a expertos (por ejemplo, investigadores, expertos en materia y usuarios) para obtener un conocimiento completo de los posibles impactos del sistema AI en individuos o grupos de individuos, o en ambos, y en las sociedades.

B.5.5 Evaluación de los impactos sociales de los sistemas AI

Control

La organización debe evaluar y documentar los posibles impactos sociales de sus sistemas AI a lo largo de su ciclo de vida.

Guía de implementación

Los impactos sociales pueden variar ampliamente según el contexto de la organización y los tipos de sistemas AI. Los impactos sociales de los sistemas AI pueden ser tanto beneficiosos como perjudiciales. Ejemplos de estos posibles impactos sociales pueden incluir:

• sostenibilidad ambiental (incluidos los impactos en los recursos naturales y las emisiones de gases de efecto invernadero);
• económico (incluyendo el acceso a los servicios financieros, oportunidades de empleo, impuestos, comercio y comercio);
• gobierno (incluyendo procesos legislativos, desinformación con fines políticos, sistemas de seguridad nacional y justicia criminal);
• salud y seguridad (incluyendo el acceso a la atención médica, el diagnóstico y el tratamiento médico, y los posibles daños físicos y psicológicos);
• normas, tradiciones, cultura y valores (incluyendo la desinformación que conduce a sesgos o daños a individuos o grupos de individuos, o a ambos, y a las sociedades).

Otra información

El desarrollo y uso de sistemas AI puede ser computacionalmente intensivo con impactos relacionados en la sostenibilidad ambiental (por ejemplo, las emisiones de gases de efecto invernadero debido al aumento del consumo de energía, impactos en el agua, la tierra, la flora y la fauna). Del mismo modo, los sistemas AI pueden utilizarse para mejorar la sostenibilidad ambiental de otros sistemas (por ejemplo, reducir las emisiones de gases de efecto invernadero relacionadas con edificios y transporte). La organización debe considerar los impactos de sus sistemas AI en el contexto de sus objetivos y estrategias generales de sostenibilidad ambiental.

La organización debe considerar cómo sus sistemas AI pueden ser mal utilizados para crear daños sociales y cómo pueden utilizarse para abordar los daños históricos. Por ejemplo, ¿pueden los sistemas AI impedir el acceso a los servicios financieros como préstamos, subvenciones, seguros y inversiones y, así mismo, ¿pueden los sistemas AI mejorar el acceso a estos instrumentos?

Los sistemas AI se han utilizado para influir en los resultados de las elecciones y crear desinformación (por ejemplo, deepfakes en los medios digitales) que pueden conducir a inquietud política y social. El gobierno usa sistemas AI para fines de justicia criminal ha expuesto el riesgo de sesgos a sociedades, individuos o grupos de la organización para analizar cómo los actores pueden mal usarlos y cómo los sistemas AI pueden reforzar los sesgos sociales no deseados de la historia.

Los sistemas AI se utilizan para diagnosticar y tratar enfermedades y determinar la elegibilidad para los beneficios de salud. También se implementan sistemas AI en escenarios en los que las fallas pueden resultar en la muerte o lesiones a los humanos (por ejemplo, automóviles sin conductor, equipo humano-máquina). La organización debe considerar tanto los resultados positivos como negativos al utilizar sistemas AI, como en escenarios relacionados con la salud y la seguridad.

NOTA ISO/IEC TR 24368 proporciona una descripción general de alto nivel de las preocupaciones éticas y sociales relacionadas con los sistemas AI y aplicaciones.

B.6 Ciclo de vida del sistema AI

B.6.1 Directrices de gestión para el desarrollo de sistemas AI

B.6.1.1 Objetivo

Garantizar que la organización identifique y documente los objetivos e implemente procesos para el diseño y desarrollo responsable de sistemas AI.

B.6.1.2 Objetivos para el desarrollo responsable de sistemas AI

Control

La organización debe identificar y documentar objetivos para guiar el desarrollo responsable de sistemas AI y tener en cuenta y integrar medidas para lograr dichos objetivos en el ciclo de vida de desarrollo.

Guía de implementación

La organización debe identificar objetivos (consulte 6.2) que afecten los procesos de diseño y desarrollo del sistema AI. Estos objetivos deben tenerse en cuenta en los procesos de diseño y desarrollo. Por ejemplo, si una organización define “equidad” como un objetivo, esto debe incorporarse en la especificación de requisitos, adquisición de datos, preparación de datos, entrenamiento de modelos, verificación y validación, etc. La organización debe proporcionar requisitos y pautas según sea necesario para garantizar que se integren medidas en las diversas etapas (por ejemplo, el requisito de usar una herramienta o método de prueba específico para abordar la falta de equidad o sesgo no deseado) para lograr tales objetivos.

Otra información

Se están utilizando técnicas de AI para mejorar las medidas de seguridad, como la detección y prevención de amenazas. Esta es una aplicación de técnicas de AI que puede utilizarse para reforzar las medidas de seguridad para proteger tanto los sistemas AI como los sistemas de software basados en tecnología no AI convencionales. El anexo C proporciona ejemplos de objetivos organizacionales para la gestión de riesgos, que pueden ser útiles al determinar los objetivos para el desarrollo de sistemas AI.

B.6.1.3 Procesos para el diseño y desarrollo responsable de sistemas AI

Control

La organización debe definir y documentar los procesos específicos para el diseño y desarrollo responsable de sistemas AI.

Guía de implementación

El desarrollo responsable de procesos de sistemas AI debe considerar, entre otras cosas, lo siguiente:

• etapas del ciclo de vida (se proporciona un modelo genérico de ciclo de vida del sistema AI en ISO/IEC 22989, pero la organización puede especificar sus propias etapas del ciclo de vida);
• requisitos de prueba y medios de prueba planificados;
• requisitos de supervisión humana, incluidos procesos y herramientas, especialmente cuando el sistema AI puede afectar a personas físicas;
• en qué etapas se deben realizar las evaluaciones de impacto del sistema AI;
• expectativas y reglas de datos de entrenamiento (por ejemplo, qué datos se pueden usar, proveedores de datos aprobados y etiquetado);
• requisito de experiencia (dominio de materia u otra) o capacitación para los desarrolladores de sistemas AI o ambos;
• criterios de lanzamiento;
• aprobaciones y firmas necesarias en varias etapas;
• control de cambios;
• usabilidad y controlabilidad;
• participación de las partes interesadas.

Los procesos de diseño y desarrollo específicos dependen de la funcionalidad y de las tecnologías de AI que se pretende utilizar para el sistema AI.

B.6.2 Ciclo de vida del sistema AI

B.6.2.1 Objetivo

Definir los criterios y requisitos para cada etapa del ciclo de vida del sistema AI.

B.6.2.2 Requisitos y especificación del sistema AI

Control

La organización debe especificar y documentar los requisitos para nuevos sistemas AI o mejoras importantes de sistemas existentes.

Guía de implementación

La organización debe documentar la justificación para el desarrollo de un sistema AI y sus objetivos. Algunos de los factores que deben considerarse, documentarse y entenderse pueden incluir:

a) por qué se debe desarrollar un sistema AI, por ejemplo, ¿está impulsado por un caso de negocio, una solicitud de cliente o por la política gubernamental?;

b) cómo puede entrenarse el modelo y cómo puede lograrse los requisitos de datos.

Los requisitos del sistema AI deben especificarse y abarcar todo el ciclo de vida del sistema AI. Esos requisitos deben revisarse si el sistema AI desarrollado no puede operar como se pretendía o surge nueva información que pueda usarse para cambiar y mejorar los requisitos. Por ejemplo, puede volverse inviable desde el punto de vista financiero desarrollar el sistema AI.

Otra información

Los procesos para describir el ciclo de vida del sistema AI se proporcionan en ISO/IEC 5338. Para obtener más información sobre el diseño centrado en el ser humano para sistemas interactivos, consulte ISO 9241-210.

B.6.2.3 Documentación del diseño y desarrollo del sistema AI

Control

La organización debe documentar el diseño y desarrollo del sistema AI basado en objetivos organizacionales, requisitos documentados y criterios de especificación.

Guía de implementación

Existen muchas opciones de diseño necesarias para un sistema AI, incluyendo, pero no limitado a:

• enfoque de aprendizaje de máquina (por ejemplo, supervisado vs. no supervisado);
• algoritmo de aprendizaje y tipo de modelo de aprendizaje de máquina utilizado;
• cómo se pretende entrenar el modelo y qué calidad de datos (consulte B.7);
• evaluación y refinamiento de modelos;
• componentes de hardware y software;
• amenazas de seguridad consideradas a lo largo del ciclo de vida del sistema AI; Las amenazas de seguridad específicas de los sistemas AI incluyen envenenamiento de datos, robo de modelos o ataques de inversión de modelos;
• interfaz y presentación de los resultados;
• cómo los humanos pueden interactuar con el sistema;
• consideraciones de interoperabilidad y portabilidad.

Puede haber múltiples iteraciones entre el diseño y el desarrollo, pero se debe mantener la documentación en cada etapa y debe estar disponible una documentación de arquitectura de sistema final.

Otra información

Para obtener más información sobre el diseño centrado en el ser humano para sistemas interactivos, consulte ISO 9241-210.

B.6.2.4 Verificación y validación del sistema AI

Control

La organización debe definir y documentar medidas de verificación y validación para el sistema AI y especificar criterios para su uso.

Guía de implementación

Las medidas de verificación y validación pueden incluir, pero no están limitadas a:

• metodologías y herramientas de prueba;
• selección de datos de prueba y su representación del dominio de uso previsto;
•  requisitos de criterios de lanzamiento.

La organización debe definir y documentar criterios de evaluación, como, pero no limitados a:

• un plan para evaluar los componentes del sistema AI y todo el sistema AI para los riesgos relacionados con los impactos en individuos o grupos de individuos, o en ambos, y en la sociedad. El plan de evaluación puede basarse, por ejemplo, en:
• requisitos de confiabilidad y seguridad del sistema AI, incluidas las tasas de error aceptables para el rendimiento del sistema AI;
• objetivos de desarrollo y uso de sistemas AI responsables, como los de B.6.1.2 y B.9.3;
• factores operativos, como la calidad de los datos, el uso previsto, incluidos los rangos aceptables de cada factor operativo;
• usos previstos que pueden requerir la definición de factores operativos más rigurosos, incluidos diferentes rangos aceptables para los factores operativos o tasas de error más bajas;
• los métodos, la orientación o las métricas que se utilizarán para evaluar si las partes interesadas relevantes que toman decisiones o están sujetas a decisiones basadas en las salidas del sistema AI pueden interpretar adecuadamente las salidas del sistema AI. La frecuencia de evaluación debe determinarse y puede basarse en los resultados de una evaluación de impacto del sistema AI;
• Cualquier factor aceptable que pueda considerar la incapacidad de alcanzar un nivel de rendimiento mínimo objetivo, especialmente cuando el sistema AI se evalúa para impactos en personas o grupos de personas, y en sociedades (por ejemplo, resolución deficiente de imágenes para sistemas de visión por computadora o ruido de fondo que afecta a los sistemas de reconocimiento de voz). También se deben documentar mecanismos para abordar el rendimiento deficiente del sistema AI como resultado de estos factores.

El sistema AI debe evaluarse en función de los criterios documentados de evaluación.

Cuando el sistema AI no pueda cumplir con los criterios documentados de evaluación, especialmente contra los objetivos de desarrollo y uso de sistemas AI responsables (consulte B.6.1.2 y B.9.3), la organización debe reconsiderar o gestionar las deficiencias del uso previsto del sistema AI, sus requisitos de rendimiento y cómo la organización puede abordar efectivamente los impactos en individuos o grupos de individuos, o en ambos, y en las sociedades.

NOTA Para obtener información adicional sobre cómo abordar la robustez de las redes neuronales, consulte ISO/IEC TR 24029-1.

B.6.2.5 Implementación del sistema AI

Control

La organización debe documentar un plan de implementación y garantizar que se cumplan los requisitos adecuados antes de la implementación.

Guía de implementación

Los sistemas AI pueden desarrollarse en diferentes entornos y desplegarse en otros (por ejemplo, desarrollados in situ y desplegados utilizando computación en la nube) y la organización debe tener en cuenta estas diferencias para el plan de implementación. La organización también debe considerar si los componentes se implementan por separado (por ejemplo, software y modelo se pueden implementar de forma independiente). Además, la organización debe tener un conjunto de requisitos que deben cumplirse antes del lanzamiento y la implementación (a veces denominados “criterios de lanzamiento”). Esto puede incluir medidas de verificación y validación que deben superarse, métricas de rendimiento que deben cumplirse, pruebas de usuario que deben completarse, así como aprobaciones y firmas de gestión que deben obtenerse. El plan de implementación debe considerar las perspectivas e impactos de las partes interesadas relevantes.

B.6.2.6 Operación y monitoreo del sistema AI

Control

La organización debe definir y documentar los elementos necesarios para la operación continua del sistema AI. Como mínimo, esto debe incluir la supervisión del sistema y el rendimiento, las reparaciones, las actualizaciones y el soporte.

Guía de implementación

Cada actividad mínima para la operación y el monitoreo puede considerar various consideraciones. Por ejemplo:

El monitoreo del sistema y del rendimiento puede incluir la supervisión de errores y fallos generales, así como la verificación de si el sistema está funcionando como se esperaba con datos de producción. Los criterios de rendimiento técnico pueden incluir tasas de éxito en la resolución de problemas o en la realización de tareas, o tasas de confianza. Otros criterios pueden relacionarse con el cumplimiento de compromisos o expectativas y necesidades de las partes interesadas, incluyendo, por ejemplo, el monitoreo continuo para asegurar el cumplimiento de los requisitos del cliente o los legales aplicables.

Algunos sistemas de IA desplegados evolucionan su rendimiento como resultado del aprendizaje automático, donde los datos de producción y los datos de salida se utilizan para entrenar aún más el modelo de aprendizaje automático. Donde se utiliza el aprendizaje continuo, la organización debe monitorear el rendimiento del sistema de IA para asegurarse de que sigue cumpliendo con sus objetivos de diseño y funciona con datos de producción como se espera.

El rendimiento de algunos sistemas de IA puede cambiar incluso si no usan aprendizaje continuo, por la deriva de conceptos o datos en la producción. En tales casos, el monitoreo puede identificar la necesidad de reentrenamiento para asegurarse de que el sistema de IA sigue cumpliendo con sus objetivos de diseño y funciona con datos de producción como se espera. Más información puede encontrarse en la norma ISO/IEC 23053.

Las reparaciones pueden incluir respuestas a errores y fallos en el sistema. La organización debe tener procesos en lugar para la respuesta y reparación de estos problemas. Además, las actualizaciones pueden ser necesarias cuando el sistema evoluciona o se identifican problemas críticos, o como resultado de problemas identificados externamente (por ejemplo, no cumplimiento con las expectativas del cliente o los requisitos legales). Debe haber procesos en lugar para actualizar el sistema, incluyendo los componentes afectados, el calendario de actualizaciones, la información a los usuarios sobre lo que se incluye en la actualización.

Las actualizaciones del sistema también pueden incluir cambios en las operaciones del sistema, nuevos o modificados usos previstos, o otros cambios en la funcionalidad del sistema. La organización debe tener procedimientos en lugar para abordar cambios operativos, incluyendo la comunicación con los usuarios.

El apoyo al sistema puede ser interno, externo o ambos, dependiendo de las necesidades de la organización y cómo se adquirió el sistema. Los procesos de apoyo deben considerar cómo los usuarios pueden contactar la ayuda adecuada, cómo se reportan los problemas e incidentes, acuerdos de nivel de servicio y métricas de apoyo.

Cuando los sistemas de IA se utilizan para propósitos diferentes a los que se diseñaron o de manera no anticipada, la organización debe considerar la adecuación de tales usos.

La organización debe identificar amenazas específicas de seguridad de la información relacionadas con los sistemas de IA aplicados y desarrollados por la organización, incluyendo, pero no limitado a, envenenamiento de datos, robo de modelos y ataques de inversión de modelos.

Otra información

La organización debe considerar el rendimiento operativo que puede afectar a las partes interesadas y considerar esto al diseñar y determinar los criterios de rendimiento.

Los criterios de rendimiento para los sistemas de IA en operación deben ser determinados por la tarea bajo consideración, como la clasificación, regresión, ranking, clustering o reducción de dimensionalidad.

Los criterios de rendimiento pueden incluir aspectos estadísticos como tasas de error y duración de procesamiento. Para cada criterio, la organización debe identificar todas las métricas relevantes, así como las interdependencias entre métricas. Para cada métrica, la organización debe considerar valores aceptables basados en, por ejemplo, recomendaciones de expertos en el dominio y análisis de las expectativas de las partes interesadas en relación con las prácticas existentes no relacionadas con IA.

Por ejemplo, una organización puede determinar que la puntuación F1 es una métrica de rendimiento adecuada basada en su evaluación del impacto de falsos positivos y falsos negativos, como se describe en la norma ISO/IEC TS 4213. Luego, la organización puede establecer un valor de F1 que el sistema de IA debe cumplir. Debe evaluarse si estos problemas pueden ser manejados por medidas existentes. Si no es así, se deben considerar cambios en las medidas existentes o definir medidas adicionales para detectar y manejar estos problemas.

La organización debe considerar el rendimiento de los sistemas no relacionados con IA o procesos en operación y utilizarlos como contexto potencialmente relevante al establecer los criterios de rendimiento.

La organización debe asegurarse de que los medios y procesos utilizados para evaluar el sistema de IA, incluyendo, cuando sea aplicable, la selección y gestión de los datos de evaluación, mejoren la compleción y la confiabilidad en la evaluación del rendimiento del sistema con respecto a los criterios definidos.

El desarrollo de metodologías de evaluación del rendimiento puede basarse en criterios, métricas y valores. Estos deberían informar sobre la cantidad de datos y los tipos de procesos utilizados en la evaluación, así como los roles y la experiencia del personal que realiza la evaluación.

Las metodologías de evaluación del rendimiento deben reflejar los atributos y características de la operación y el uso lo más cerca posible para asegurarse de que los resultados de la evaluación sean útiles y relevantes. Algunos aspectos de la evaluación del rendimiento pueden requerir la introducción controlada de datos o procesos erróneos o espurios para evaluar el impacto en el rendimiento.

El modelo de calidad en la norma ISO/IEC 25059 puede usarse para definir los criterios de rendimiento.

B.6.2.7 Documentación técnica del sistema de inteligencia artificial (IA)

Control

La organización debe determinar qué documentación técnica del sistema de IA se necesita para cada categoría relevante de partes interesadas, como usuarios, socios, autoridades supervisoras, y proporcionarles la documentación técnica en la forma apropiada.

Guía de implementación

La documentación técnica del sistema de IA puede incluir, pero no se limita a, los siguientes elementos:

Una descripción general del sistema de IA, incluyendo su propósito previsto;

Instrucciones de uso;

Suposiciones técnicas sobre su implementación y operación (entorno de ejecución, capacidades de software y hardware relacionadas, suposiciones sobre datos, etc.);

Limitaciones técnicas (por ejemplo, tasas de error aceptables, precisión, confiabilidad, robustez);

Capacidades de monitoreo y funciones que permitan a los usuarios u operadores influir en la operación del sistema.

Los elementos de documentación relacionados con todas las etapas del ciclo de vida del sistema de IA (según se define en ISO/IEC 22989) pueden incluir, pero no se limitan a:

• Especificación de diseño y arquitectura del sistema;
• Decisiones de diseño tomadas y medidas de calidad adoptadas durante el proceso de desarrollo del sistema;
• Información sobre los datos utilizados durante el desarrollo del sistema;
• Suposiciones y medidas de calidad adoptadas sobre la calidad de los datos (por ejemplo, distribuciones estadísticas asumidas);
• Actividades de gestión (por ejemplo, gestión de riesgos) tomadas durante el desarrollo u operación del sistema de IA;
• Registros de verificación y valida Cambios realizados al sistema de IA cuando está en funcionamiento;
• Documentación de evaluación de impacto como se describe en B.5.

La organización debe documentar información técnica relacionada con la operación responsable del sistema de IA. Esto puede incluir, pero no se limita a:

• Documentar un plan para gestionar fallos. Esto puede incluir, por ejemplo, la necesidad de describir un plan de reversión para el sistema de IA, desactivar funciones del sistema de IA, un proceso de actualización o un plan para notificar a clientes, usuarios, etc. de cambios en el sistema de IA, información actualizada sobre fallos del sistema y cómo pueden mitigarse;
• Documentar procesos para monitorear la salud del sistema de IA (es decir, que el sistema de IA opere como se pretende y dentro de sus márgenes de operación normales, también conocido como observabilidad) y procesos para abordar fallos del sistema de IA;
• Documentar procedimientos operativos estándar para el sistema de IA, incluyendo qué eventos deben ser monitoreados y cómo se priorizan y revisan los registros de eventos. También puede incluir cómo investigar fallos y la prevención de fallos;
• Documentar los roles del personal responsable de la operación del sistema de IA, así como aquellos responsables de la rendición de cuentas del uso del sistema, especialmente en relación con el manejo de los efectos de los fallos del sistema de IA o la gestión de actualizaciones del sistema de IA;
• Documentar actualizaciones del sistema como cambios en las operaciones del sistema, nuevos usos previstos o modificados, u otros cambios en la funcionalidad del sistema.

La organización debe tener procedimientos para abordar cambios operativos, incluida la comunicación a los usuarios y evaluaciones internas sobre el tipo de cambio.

La documentación debe estar actualizada y ser precisa. La documentación debe ser aprobada por la dirección relevante dentro de la organización.

Cuando se proporciona como parte de la documentación del usuario, se deben tener en cuenta los controles proporcionados en la Tabla A.1.

B.6.2.8 Registro del sistema de IA de los registros de eventos

Control

La organización debe determinar en qué fases del ciclo de vida del sistema de IA, se debe habilitar el registro de eventos, pero como mínimo cuando el sistema de IA esté en uso.

Guía de implementación

La organización debe asegurarse de que el registro para los sistemas de IA que despliega recoja automáticamente y registre los registros de eventos relacionados con ciertos eventos que ocurran durante la operación. Este registro puede incluir, pero no se limita a:

• Trazabilidad de la funcionalidad del sistema de IA para garantizar que el sistema de IA esté funcionando según lo previsto;
• Detección del rendimiento del sistema de IA fuera de las condiciones de operación previstas del sistema de IA que puedan resultar en un rendimiento no deseado en datos de producción o impactos en partes interesadas relevantes a través del monitoreo de la operación del sistema de IA.

Los registros de eventos del sistema de IA pueden incluir información, como la hora y fecha cada vez que se usa el sistema de IA, los datos de producción en los que opera el sistema de IA, las salidas que caen fuera del rango de operación previsto del sistema de IA, etc.

Los registros de eventos deben mantenerse durante el tiempo necesario para el uso previsto del sistema de IA y dentro de las políticas de retención de datos de la organización. Pueden aplicarse requisitos legales relacionados con la retención de datos.

Otra información

Algunos sistemas de IA, como los sistemas de identificación biométrica, pueden tener requisitos adicionales de registro dependiendo de la jurisdicción. Las organizaciones deben estar al tanto de estos requisitos.

B.7 Datos para sistemas de IA

B.7.1 Objetivo

Hay que asegurar que la organización comprenda el papel e impacto de los datos en los sistemas de IA en la aplicación y desarrollo, provisión o uso de sistemas de IA a lo largo de su ciclo de vida.

B.7.2 Datos para el desarrollo y mejora del sistema de IA

Control

La organización debe definir, documentar e implementar procesos de gestión de datos relacionados con el desarrollo de sistemas de IA.

Guía de implementación

La gestión de datos puede incluir varios temas, como, pero no limitados a:

Implicaciones de privacidad y seguridad debido al uso de datos, algunos de los cuales pueden ser sensibles por naturaleza;

Amenazas de seguridad y seguridad que pueden surgir del desarrollo de sistemas de IA dependientes de datos;

Aspectos de transparencia y explicabilidad, incluida la procedencia de los datos y la capacidad de proporcionar una explicación de cómo se utilizan los datos para determinar la salida de un sistema de IA si el sistema requiere transparencia y explicabilidad;

Representatividad de los datos de entrenamiento en comparación con el dominio operativo de uso;

Precisión e integridad de los datos.

NOTA Se proporciona información detallada sobre el ciclo de vida del sistema de IA y los conceptos de gestión de datos en ISO/IEC 22989.

B.7.3 Adquisición de datos

Control

La organización debe determinar y documentar detalles sobre la adquisición y selección de los datos utilizados en los sistemas de IA.

Guía de implementación

La organización puede necesitar diferentes categorías de datos de diferentes fuentes dependiendo del alcance y uso de sus sistemas de IA. Los detalles para la adquisición de datos pueden incluir:

• Categorías de datos necesarios para el sistema de IA;
• Cantidad de datos necesarios;
• Fuentes de datos (por ejemplo, internas, compradas, compartidas, datos abiertos, sintéticos);
• Características de la fuente de datos (por ejemplo, estática, transmitida en tiempo real, recopilada, generada por máquina);
• Demografía y características de los sujetos de datos (por ejemplo, sesgos conocidos o potenciales u otros errores sistemáticos);
• Manipulación previa de los datos (usos anteriores, conformidad con requisitos de privacidad y seguridad).
• derechos de los datos (por ejemplo, PII, derechos de autor);
• metadatos asociados (por ejemplo, detalles de etiquetado y mejora de datos);
• procedencia de los datos.

Otra información

Las categorías de datos y una estructura para el uso de datos en ISO/IEC 19944-1 pueden utilizarse para documentar detalles sobre la adquisición y uso de datos.

B.7.4 Calidad de datos para sistemas de IA

Control

La organización debe definir y documentar los requisitos de calidad de datos y asegurarse de que los datos utilizados para desarrollar y operar el sistema de IA cumplan con esos requisitos.

Guía de implementación

La calidad de los datos utilizados para desarrollar y operar sistemas de IA potencialmente tiene impactos significativos en la validez de las salidas del sistema. ISO/IEC 25024 define la calidad de datos como el grado en que las características de los datos satisfacen las necesidades declaradas e implícitas cuando se utilizan en condiciones especificadas. Para los sistemas de IA que utilizan aprendizaje automático supervisado o semi-supervisado, es importante que la calidad de los datos de entrenamiento, validación, prueba y producción estén definidos, medidos y mejorados en la medida de lo posible, y la organización debe asegurarse de que los datos sean adecuados para su propósito previsto. La organización debe considerar el impacto del sesgo en el rendimiento del sistema y la equidad del sistema y realizar los ajustes necesarios en el modelo y los datos utilizados para mejorar el rendimiento y la equidad de manera que sean aceptables para el caso de uso.

Otra información

Información adicional sobre la calidad de datos está disponible en la serie ISO/IEC 5259 sobre calidad de datos para análisis y aprendizaje automático. Información adicional sobre diferentes formas de sesgo en los datos utilizados en sistemas de IA está disponible en ISO/IEC TR 24027.

B.7.5 Procedencia de datos

Control

La organización debe definir y documentar un proceso para registrar la procedencia de los datos utilizados en sus sistemas de IA a lo largo del ciclo de vida de los datos y del sistema de IA.

Guía de implementación

Según ISO 8000-2, un registro de procedencia de datos puede incluir información sobre la creación, actualización, transcripción, abstracción, validación y transferencia del control de los datos. Además, el intercambio de datos (sin transferencia de control) y las transformaciones de datos pueden considerarse dentro de la procedencia de datos. Dependiendo de factores como la fuente de los datos, su contenido y el contexto de su uso, las organizaciones deben considerar si se necesitan medidas para verificar la procedencia de los datos.

B.7.6 Preparación de datos

Control

La organización debe definir y documentar sus criterios para seleccionar preparaciones de datos y los métodos de preparación de datos a utilizar.

Guía de implementación

Los datos utilizados en un sistema de IA normalmente necesitan preparación para hacerlos utilizables para una tarea de IA dada. Por ejemplo, los algoritmos de aprendizaje automático a veces son intolerantes con las entradas faltantes o incorrectas, distribución no normal y escalas muy variables. Los métodos de preparación y transformaciones pueden ser utilizados para aumentar la calidad de los datos. La falta de preparación adecuada de los datos puede potencialmente conducir a errores en el sistema de IA. Métodos comunes de preparación y transformaciones para datos utilizados en sistemas de IA incluyen:

• Exploración estadística de los datos (por ejemplo, distribución, media, mediana, desviación estándar, rango, estratificación, muestreo) y metadatos estadísticos (por ejemplo, especificación de la Iniciativa de Documentación de Datos (DDI));
• Limpieza (es decir, corrección de entradas, manejo de entradas faltantes);
• Imputación (es decir, métodos para completar entradas faltantes);
• Normalización;
• Escalado;
• Etiquetado de las variables objetivo;
• Codificación (por ejemplo, conversión de variables categóricas a números).

Para una tarea de IA dada, la organización debe documentar sus criterios para seleccionar métodos específicos de preparación de datos y transformaciones, así como los métodos y transformaciones específicos utilizados en la tarea de IA.

NOTA: Para información adicional sobre la preparación de datos específica para el aprendizaje automático, consulte las series ISO/IEC 5259 y ISO/IEC 23053.

B.8 Información para las partes interesadas

B.8.1 Objetivo

Hay que asegurar que las partes interesadas relevantes tengan la información necesaria para comprender y evaluar los riesgos y sus impactos (tanto positivos como negativos).

B.8.2 Documentación del sistema e información para los usuarios

Control

La organización debe determinar y proporcionar la información necesaria a los usuarios del sistema.

Guía de implementación

La información sobre el sistema de IA puede incluir tanto detalles técnicos e instrucciones, como notificaciones generales a los usuarios de que están interactuando con un sistema de IA, dependiendo del contexto. Esto también puede incluir el sistema en sí, así como posibles salidas del sistema (por ejemplo, notificar a los usuarios que una imagen fue creada por IA).

Aunque los sistemas de IA pueden ser complejos, es fundamental que los usuarios puedan comprender cuándo están interactuando con un sistema de IA, cómo funciona el sistema. Los usuarios también necesitan comprender su propósito y usos previstos, su potencial para causar daño o beneficiar al usuario. Algunos documentos del sistema pueden ser necesariamente dirigidos a usos más técnicos (por ejemplo, administradores de sistemas), y la organización debe comprender las necesidades de diferentes partes interesadas y qué significa entendibilidad para ellas. La información debe ser accesible, tanto en cuanto a facilidad de uso para encontrarla como para usuarios que necesiten características de accesibilidad adicionales.

La información que se puede proporcionar a los usuarios incluye, pero no se limita a:

• Propósito del sistema;
• Que el usuario está interactuando con un sistema de IA;
• Cómo interactuar con el sistema.
• cómo y cuándo anular el sistema;
• requisitos técnicos para la operación del sistema, incluidos los recursos computacionales necesarios y las limitaciones del sistema, así como su tiempo de vida esperado;
• necesidades de supervisión humana;
• información sobre precisión y rendimiento;
• información relevante del análisis de impacto, incluidos los posibles beneficios y daños, especialmente si son aplicables en contextos específicos o ciertos grupos demográficos (ver B.5.2 y B.5.4);
• revisiones a las afirmaciones sobre los beneficios del sistema;
• actualizaciones y cambios en el funcionamiento del sistema, así como cualquier medida de mantenimiento necesaria, incluida su frecuencia;
• información de contacto;
• materiales educativos para el uso del sistema.

Los criterios utilizados por la organización para determinar si y qué información se debe proporcionar deben ser documentados. Los criterios relevantes incluyen, pero no se limitan a, el uso previsto y el uso previsible razonable del sistema de IA, la experiencia del usuario y el impacto específico del sistema de IA.

La información puede ser proporcionada a los usuarios de numerosas formas, incluidas instrucciones documentadas de uso, alertas y otras notificaciones incorporadas en el propio sistema, información en una página web, etc. Dependiendo de los métodos que la organización utilice para proporcionar información, debe validar que los usuarios tengan acceso a esta información, y que la información proporcionada sea completa, esté actualizada y sea precisa.

B.8.3 Reporte externo

Control

La organización debe proporcionar capacidades para que las partes interesadas reporten impactos adversos del sistema.

Guía de implementación

Si bien la operación del sistema debe ser monitoreada en busca de problemas y fallas informadas, la organización también debe proporcionar capacidades para que los usuarios u otras partes externas informen sobre impactos adversos (por ejemplo, injusticia).

B.8.4 Comunicación de incidentes

Control

La organización debe determinar y documentar un plan para comunicar incidentes a los usuarios del sistema.

Guía de implementación

Los incidentes relacionados con el sistema de IA pueden ser específicos del propio sistema de IA, o relacionados con la seguridad de la información o la privacidad (por ejemplo, una violación de datos). La organización debe comprender sus obligaciones en torno a la notificación de incidentes a los usuarios y otras partes interesadas, dependiendo del contexto en el que opera el sistema. Por ejemplo, un incidente con un componente de IA que forma parte de un producto que afecta a la seguridad puede tener requisitos de notificación diferentes a otros tipos de sistemas. Pueden aplicarse requisitos legales (como contratos) y actividad regulatoria, que pueden especificar requisitos para:

• tipos de incidentes que deben comunicarse;
• el cronograma para la notificación;
• sí y qué autoridades deben ser notificadas;
• los detalles requeridos a comunicar.

La organización puede integrar las actividades de respuesta e informe de incidentes para la IA en sus actividades más amplias de gestión de incidentes organizacionales, pero debe estar al tanto de los requisitos únicos relacionados con los sistemas de IA, o componentes individuales de los sistemas de IA (por ejemplo, una violación de datos PII en los datos de entrenamiento del sistema puede tener diferentes requisitos de informe relacionados con la privacidad).

Otra información

ISO/IEC 27001 e ISO/IEC 27701 proporcionan detalles adicionales sobre la gestión de incidentes para la seguridad y la privacidad, respectivamente.

B.8.5 Información para las partes interesadas

Control

La organización debe determinar y documentar sus obligaciones para informar información sobre el sistema de IA a las partes interesadas.

Guía de implementación

En algunos casos, una jurisdicción puede requerir que se comparta información sobre el sistema con autoridades como reguladores. La información puede reportarse a partes interesadas como clientes o autoridades regulatorias en el plazo apropiado. La información compartida puede incluir, por ejemplo:

• documentación técnica del sistema, que incluye, entre otros, conjuntos de datos para entrenamiento, validación y pruebas, así como justificaciones de elecciones algorítmicas y registros de verificación y validación;
• riesgos relacionados con el sistema;
• resultados de evaluaciones de impacto;
• registros y otros registros del sistema.

La organización debe comprender sus obligaciones en este sentido y asegurarse de que la información adecuada se comparta con las autoridades correctas. Además, se presupone que la organización está al tanto de los requisitos jurisdiccionales relacionados con la información compartida con las autoridades encargadas de hacer cumplir la ley.

B.9 Uso de sistemas de IA

B.9.1 Objetivo

Hay que asegurar que la organización utilice los sistemas de IA de manera responsable y de acuerdo con las políticas organizacionales.

B.9.2 Procesos para el uso responsable de los sistemas de IA

Control

La organización debe definir y documentar los procesos para el uso responsable de los sistemas de IA.

Guía de implementación

Dependiendo de su contexto, la organización puede tener muchas consideraciones para determinar si utilizar un sistema de IA en particular. Si el sistema de IA lo desarrolle la organización o provenga de un tercero, la organización debe tener claro cuáles son estas consideraciones y desarrollar políticas para abordarlas. Algunos ejemplos son:

• aprobaciones requeridas;
• costo (incluyendo monitoreo y mantenimiento continuos);
• requisitos de obtención aprobados;
• requisitos legales aplicables a la organización.

Donde la organización haya aceptado políticas para el uso de otros sistemas, activos, etc., estas políticas pueden ser incorporadas si así se desea.

B.9.3 Objetivos para el uso responsable del sistema de IA

Control

La organización debe identificar y documentar objetivos para orientar el uso responsable de los sistemas de IA.

Guía de implementación

La organización que opera en diferentes contextos puede tener diferentes expectativas y objetivos sobre lo que constituye el desarrollo responsable de los sistemas de IA. Dependiendo de su contexto, la organización debe identificar sus objetivos relacionados con el uso responsable. Algunos objetivos incluyen:

• equidad;
• responsabilidad;
• transparencia;
• explicabilidad;
• fiabilidad;
• seguridad;
• robustez y redundancia;
• privacidad y seguridad;
• accesibilidad.

Una vez definidos, la organización debe implementar mecanismos para alcanzar sus objetivos dentro de la organización. Esto puede incluir determinar si una solución de terceros cumple con los objetivos de la organización o si una solución desarrollada internamente es aplicable para el uso previsto. La organización debe determinar en qué etapas del ciclo de vida del sistema de IA deben incorporarse objetivos de supervisión humana significativos. Esto puede incluir:

• involucrar a revisores humanos para verificar las salidas del sistema de IA, incluida la autoridad para anular decisiones tomadas por el sistema de IA;
• asegurarse de que la supervisión humana se incluya si es necesario para el uso aceptable del sistema de IA según las instrucciones u otra documentación asociada con el despliegue previsto del sistema de IA;
• monitorear el rendimiento del sistema de IA, incluida la precisión de las salidas del sistema de IA;
• informar preocupaciones relacionadas con las salidas del sistema de IA y su impacto a partes interesadas relevantes;
• informar preocupaciones con cambios en el rendimiento o capacidad del sistema de IA para hacer salidas correctas en los datos de producción;
• considerar si la toma de decisiones automatizada es apropiada para un enfoque responsable para el uso de un sistema de IA y el uso previsto del sistema de IA.

La necesidad de supervisión humana puede ser informada por las evaluaciones de impacto del sistema de IA (ver B.5). El personal involucrado en actividades de supervisión humana relacionadas con el sistema de IA debe estar informado de, entrenado y comprendan las instrucciones y otra documentación del sistema de IA y las tareas que llevan a cabo para cumplir con los objetivos de supervisión humana. Al informar problemas de rendimiento, la supervisión humana puede complementar el monitoreo automatizado.

Otra información

El Anexo C da ejemplos de objetivos organizativos para gestionar el riesgo, que pueden determinar los objetivos para el uso del sistema de IA.

B.9.4 Uso previsto del sistema de IA

Control

La organización debe asegurarse de que el sistema de IA se use según los usos previstos y su documentación asociada.

Guía de implementación

El sistema de IA debe desplegarse según las instrucciones y otra documentación asociada al sistema de IA (ver B.8.2). El despliegue puede requerir recursos específicos para respaldar el despliegue, incluida la necesidad de garantizar que la supervisión humana se aplique según sea necesario (ver B.9.3). Puede ser necesario que, para el uso aceptable del sistema de IA, los datos en los que se utiliza el sistema de IA se alineen con la documentación asociada con el sistema de IA para garantizar que el rendimiento del sistema de IA sea preciso.

La operación del sistema de IA debe ser monitoreada (ver B.6.2.6). Cuando el despliegue correcto del sistema de IA según sus instrucciones asociadas genera preocupaciones sobre el impacto en las partes interesadas relevantes o los requisitos legales de la organización, debe comunicar sus preocupaciones al personal relevante dentro de la organización, y a cualquier proveedor de terceros del sistema de IA.

La organización debe mantener registros de eventos u otra documentación relacionada con el despliegue y operación del sistema de IA que puedan ser utilizados para demostrar que el sistema de IA se está utilizando según lo previsto o para ayudar a comunicar preocupaciones relacionadas con el uso previsto del sistema de IA. El período de tiempo durante el cual se mantienen los registros de eventos y otra documentación depende del uso previsto del sistema de IA, las políticas de retención de datos de la organización y los requisitos legales relevantes para la retención de datos.

B.10 Relaciones con terceros y clientes

B.10.1 Objetivo

Hay que asegurar que la organización comprenda sus responsabilidades y permanezca responsable, y que los riesgos se asignen adecuadamente cuando terceros estén involucrados en cualquier etapa del ciclo de vida del sistema de IA.

B.10.2 Asignación de responsabilidades

Control

La organización debe asegurar que las responsabilidades dentro de su ciclo de vida del sistema de IA se asignen entre la organización, sus socios, proveedores, clientes y terceros.

Guía de implementación

En un ciclo de vida del sistema de IA, las responsabilidades pueden dividirse entre las partes que proporcionan datos, las partes que proporcionan algoritmos y modelos, las partes que desarrollan o utilizan el sistema de IA y son responsables con respecto a algunas o todas las partes interesadas. La organización debe documentar todas las partes que intervienen en el ciclo de vida del sistema de IA y sus roles, y determinar sus responsabilidades.

Cuando la organización suministra un sistema de IA a un tercero, la organización debe asegurarse de que adopta un enfoque responsable para desarrollar el sistema de IA. Consulte los controles y la orientación en B.6. La organización debe poder proporcionar la documentación necesaria (ver B.6.2.7 y B.8.2) para el sistema a las partes interesadas relevantes y al tercero al que la organización está suministrando el sistema de IA.

Cuando los datos procesados incluyen PII, las responsabilidades suelen dividirse entre procesadores y controladores de PII. ISO/IEC 29100 proporciona información adicional sobre controladores y procesadores de PII. Cuando se debe preservar la privacidad de PII, se deben considerar controles como los descritos en ISO/IEC 27701. Según las actividades de procesamiento de datos de la organización y del sistema de IA en PII y el rol de la organización en aplicar y desarrollar el sistema de IA en su ciclo de vida, la organización puede asumir el papel de controlador de PII (o controlador conjunto de PII), procesador de PII o ambos.

B.10.3 Proveedores

Control

La organización debe establecer un proceso para garantizar que su uso de servicios, productos o materiales proporcionados por proveedores se alinee con el enfoque de la organización para el desarrollo y uso responsable de los sistemas de IA.

Guía de implementación

Las organizaciones que desarrollan o utilizan un sistema de IA pueden utilizar proveedores de varias maneras, desde la obtención de conjuntos de datos, algoritmos o modelos de aprendizaje automático, u otros componentes de un sistema como bibliotecas de software, hasta un sistema de IA completo para su uso propio o como parte de otro producto (por ejemplo, un vehículo).

Las organizaciones deben considerar diferentes tipos de proveedores, lo que suministran y el nivel variable de riesgo que esto puede representar para el sistema y la organización en su conjunto al determinar la selección de proveedores, los requisitos establecidos para esos proveedores y los niveles de monitoreo y evaluación continuos necesarios para los proveedores.

Las organizaciones deben documentar cómo se integran el sistema de IA y los componentes del sistema de IA en los sistemas de IA desarrollados o utilizados por la organización.

Cuando la organización considere que el sistema de IA o los componentes del sistema de IA de un proveedor no funcionan como se espera o pueden afectar a individuos o sociedades, que no se alinean con el enfoque responsable hacia los sistemas de IA adoptados por la organización, debe exigir al proveedor medidas correctivas. La organización puede decidir trabajar con el proveedor para lograr este objetivo.

La organización debe asegurarse de que el proveedor de un sistema de IA entregue documentación adecuada y apropiada relacionada con el sistema de IA (ver B.6.2.7 y B.8.2).

B.10.4 Clientes

Control

La organización debe asegurarse de que su enfoque responsable para el desarrollo y uso de sistemas de IA considere las expectativas y necesidades de sus clientes.

Guía de implementación

La organización debe comprender las expectativas de los clientes cuando suministra un producto o servicio relacionado con un sistema de IA (cuando es ella misma proveedora). Estas pueden presentarse en forma de requisitos para el producto o servicio durante una fase de diseño o ingeniería, o en forma de requisitos contractuales o acuerdos de uso general. Una organización puede tener muchos tipos diferentes de relaciones con los clientes, y todas estas pueden tener necesidades y expectativas diferentes.

La organización debe entender especialmente la naturaleza compleja de las relaciones con proveedores y clientes y comprender dónde reside la responsabilidad con el proveedor del sistema de IA y dónde reside con el cliente, al mismo tiempo que se satisfacen las necesidades y expectativas.

Por ejemplo, la organización puede identificar riesgos relacionados con el uso de sus productos y servicios de IA por parte del cliente y puede decidir tratar los riesgos identificados proporcionando información adecuada a su cliente, para que luego el cliente pueda abordar los riesgos correspondientes.

Como ejemplo de información adecuada, cuando un sistema de IA es válido para un cierto dominio de uso, se deben comunicar los límites del dominio al cliente. Consulte B.6.2.7 y B.8.2.