Coerced Insider: Riesgos de los agentes de IA y la necesidad de una gobernanza sólida



En la era de los agentes de Inteligencia Artificial, las organizaciones se apoyan cada vez más en herramientas que operan dentro de límites de confianza para realizar tareas complejas, desde la gestión de correo hasta la manipulación de documentos y la ejecución de código. Un análisis reciente de Check Point Research (CPR) revela una falla crítica que, si se explota, podría permitir a un atacante acceder a información sensible de una cuenta a través de una ruta indirecta entre contenedores que, en apariencia, deberían estar aislados. Este hallazgo subraya la preocupación de que los patrones arquitectónicos de los sistemas de IA puedan incorporar vectores de ataque que, con la persuasión adecuada, conviertan a cualquier asistente en una posible puerta de acceso no autorizada.

La investigación identifica un fallo denominado coerced insider, que se origina cuando los agentes de IA deben ejecutar código en contenedores aislados. Para facilitar la instalación de software sin exponer Internet directamente a cada contenedor, OpenAI utiliza una instancia interna de Artifactory. Aunque, en teoría, los contenedores de cuentas distintas no pueden comunicarse entre sí, comparten un servicio interno común que gestiona metadatos de ítems y permite adjuntar propiedades de texto o binario a un registro. Esto significa que cualquier contenedor podría leer las propiedades escritas por otros contenedores, generando un canal de información compartido no deseado entre entornos supuestamente separados.

Los investigadores señalan que la brecha de aislamiento fue comprobada de manera directa: una propiedad escrita desde el contenedor de una cuenta era legible desde el contenedor de otra cuenta minutos después, incluso cuando el dato excedía el tamaño de una sola propiedad y debía dividirse en fragmentos para su reconstrucción. En palabras de CPR, los metadatos de entrega de paquetes se convirtieron en un portapapeles compartido entre contenedores que debían permanecer aislados.

A partir de este punto, el riesgo se transforma en una clásica inyección de prompts: el atacante no entrega directamente el prompt malicioso al objetivo, sino que lo coloca en los pasillos compartidos. El agente, en su siguiente respuesta habitual, consulta ese almacenamiento para revisar instrucciones maliciosas, ejecutándolas sin que la víctima perciba la sustracción de datos que ocurre en segundo plano.

Qué tipo de información puede ser robada es la pregunta clave. La cantidad de datos expuestos depende del alcance del entorno de integración: desde el propio chat hasta aplicaciones conectadas como Gmail, Google Drive, Microsoft Teams, GitHub y otras. En la demostración de CPR, ChatGPT obtuvo datos de correo electrónico a través de una cuenta de Gmail vinculada y los entregó en la sesión del atacante, todo dentro de una única interacción.

La buena noticia es que, en este momento, la vulnerabilidad específica descrita por CPR está cerrada en OpenAI: la ruta a través de la instancia Artifactory interna identificada ha sido desactivada y el camino ha sido clausurado. Sin embargo, esto no implica una seguridad absoluta: el patrón arquitectónico subyacente podría existir en otras plataformas. CPR advierte que cualquier asistente de IA que opere dentro del perímetro de confianza de una organización, posea credenciales, ejecute código y alcance servicios conectados, podría convertirse en lo que llaman un coerced insider. El modelo no tiene por qué ser intrínsecamente malicioso; basta con ser persuadido mediante un texto que no estaba diseñado para confiar para usar accesos autorizados con fines legítimos.

Mirando hacia el futuro, las empresas deben abordar la gobernanza de herramientas y agentes de IA: identificar qué herramientas usan los empleados, a qué servicios se conectan y qué permisos tienen. Es crucial monitorear todas las acciones de los agentes, no solo el resultado de sus respuestas, para detectar posibles vectores de mitigación y evitar la exposición de datos sensibles. En un entorno donde la colaboración entre IA y servicios empresariales es cada vez más común, una estrategia de seguridad centrada en el control de permisos, la visibilidad de integraciones y la vigilancia de flujos de datos se vuelve indispensable para prevenir incidentes y proteger la confidencialidad de la información.

from Latest from TechRadar https://ift.tt/XOfF6Ch
via IFTTT IA