La adopción de IA en las organizaciones se ha acelerado mucho más rápido que la gobernanza que la acompaña. En una encuesta a 250 responsables de finanzas de medianas empresas, descubrimos que el 83% de los equipos ya usaban IA, pero solo el 53% contaban con un marco formal para su uso seguro.

Si en finanzas —una función que exige altos estándares de precisión de datos y cumplimiento— se opera con esa brecha de gobernanza, es razonable preguntarse si otros departamentos siguen la misma pauta. Esa brecha representa un riesgo complejo que recae sobre el negocio y su liderazgo. Entonces, ¿cómo fomentar la innovación en IA sin perder el control de los riesgos que conlleva?

Existe un estándar internacional diseñado específicamente para abordar esto: ISO/IEC 42001. No se trata de una simple métrica de cumplimiento; es un marco práctico para gobernar la IA de forma responsable, con implicaciones directas para cómo los líderes evalúan el software que utilizan.

Para las empresas SaaS, ISO 27001, la norma de sistemas de gestión de seguridad de la información, se ha convertido en la norma. Es un requisito clave que proporciona seguridad a los clientes sobre cómo la empresa garantiza la Confidencialidad, Integridad y Disponibilidad de los datos que hospeda y procesa en su nombre.

ISO/IEC 42001, publicada en 2023, es su contraparte para IA: la primera norma internacional que regula cómo las organizaciones desarrollan, despliegan y supervisan sistemas de IA. Ya sea que persigas o no una certificación, debe ser un punto de referencia clave al evaluar cualquier software impulsado por IA que utilices.

Por qué necesitamos un estándar para la seguridad de la IA

No han pasado ni cuatro años desde el lanzamiento público de ChatGPT, que marcó el estallido del uso de IA generativa. La tecnología ha avanzado a un ritmo vertiginoso y su adopción en los negocios también. Se ha dicho que la IA transformará la productividad y cambiará para siempre el mundo del trabajo. Por ello, muchas organizaciones han estado adquiriendo licencias y haciendo que la gente la use; en las que no lo han hecho, es probable que el personal ya la esté usando de forma informal, lo que genera el fenómeno de “Shadow IT”.

El uso “shadow” de IA parece ser general. Entre los responsables de finanzas encuestados, casi la mitad (46%) de las organizaciones en las que la IA no se ha adoptado oficialmente utilizaban asistentes de IA de todas maneras y un 30% empleaban IA para pronósticos y análisis. Sería sorprendente que la situación fuera mucho mejor en el resto de la empresa.

Por eso vale la pena preguntar: ¿a dónde va el dato que hemos protegido con tanto esfuerzo a través de normas ISO como ISO 27001? ¿Tengo visibilidad y control sobre él?

La escala del uso no gobernado de IA importa en cualquier organización. ISO 42001 ofrece una forma estructurada de hacer las preguntas correctas, ya sea que revises el uso interno de IA o evalúes a un proveedor de software.

Cómo ayuda ISO 42001 a los líderes empresariales

Partes de la organización que exigen altos estándares de precisión e integridad de datos —equipos de finanzas que elaboran informes regulatorios, equipos legales que gestionan expedientes, funciones de RR.HH. que manejan datos sensibles de empleados—, ISO 42001 ayuda a garantizar que esos estándares se reflejen en las herramientas y procesos de IA que utilizas, independientemente del contexto.

Transparencia: ISO 42001 exige que las salidas de IA puedan explicarse y rastrearse. Ya sean informes, flujos de trabajo automatizados o alertas de anomalías, tú, como humano en el bucle, debes poder explicar qué hizo el sistema y por qué. Ese humano en el bucle es un componente clave de la norma.

Responsabilidad: ISO 42001 enfatiza una propiedad clara de los sistemas de IA y sus salidas. Esto implica que cualquier uso de IA en procesos críticos debe tener un propietario definido responsable de su rendimiento y gobernanza.

Gestión de riesgos: ISO 42001 requiere una evaluación de riesgos continua para los sistemas de IA, además de las que ya existen para ISO 27001. Esto no sustituye lo existente; lo complementa al centrarse en la IA y en la implementación de controles para mitigar los riesgos identificados.

Esto implica identificar qué podría salir mal, con qué probabilidad y asegurar que los controles adecuados estén en su lugar para mitigarlo. Entre esos riesgos pueden figurar la exactitud de los datos, la degradación del rendimiento del modelo, la seguridad de datos sensibles y el riesgo de que la IA actúe sobre salidas que no han sido verificadas adecuadamente.

Las preguntas que debes hacer

ISO 42001 ofrece una vía útil para conversaciones importantes con proveedores de software, con independencia de si han obtenido o no certificación formal. Impulsa preguntas clave:

– ¿Cómo se desarrollan, prueban y monitorizan los sistemas de IA del proveedor? La respuesta ideal debe mostrar procesos documentados para mantener la exactitud y la confiabilidad, con un humano en el bucle claramente integrado en los procesos.

– ¿Cómo produce la IA sus salidas? ¿Qué ocurre cuando una salida es incorrecta o inesperada? Es importante entender si las salidas provienen de una capa añadida a un sistema central y si se basan en datos verificados de ese sistema, o si se generan de forma predictiva, como lo haría un gran modelo de lenguaje.

– ¿Cómo gestiona el proveedor el riesgo de cambios en el rendimiento del modelo con el tiempo? Una de las frustraciones de la IA es que los modelos pueden dejar de ser tan útiles para una tarea que antes hacían bien. Debes saber si tu proveedor está al tanto de este tema.

– ¿Qué responsabilidad existe dentro de la organización del proveedor para estas capacidades de IA? Necesitas una relación con un proveedor dispuesto a asumir la responsabilidad por su producto y los datos que fluyen desde él.

– ¿El proveedor utiliza tus datos para entrenar o mejorar sus modelos de IA? Esta es una pregunta cada vez más frecuente. Tus datos no deben usarse para mejorar un modelo de terceros. Busca proveedores que adopten una política de retención cero, lo que significa que tus datos se utilizan solo en un estado vivo, de lectura y nunca se alimentan para entrenamiento de IA.

Por más capaz que sea la IA, no reemplazará la toma de decisiones humana y la rendición de cuentas en las organizaciones en un futuro próximo. Esa sigue siendo tarea de los líderes que deben saber que están respaldando decisiones basadas en datos completos, exactos y confiables de sus propios sistemas.

ISO 42001 es el mecanismo para exigir a la IA los mismos estándares de exactitud, transparencia y responsabilidad que las organizaciones rigurosas siempre han requerido. No frenará la adopción de IA, pero sí garantizará que esa adopción no se haga a costa de los controles que protegen a tu organización y tu reputación.

Este artículo se publicó como parte de TechRadar Pro Perspectives, nuestro canal para mostrar las mentes más brillantes de la industria tecnológica de hoy.

Las opiniones expresadas aquí son del autor y no necesariamente las de TechRadarPro o Future plc. Si te interesa contribuir, encuentra más información aquí: https://ift.tt/Ek4XnKr