En julio, dos de los modelos de investigación de OpenAI se sentaron a hacer una prueba. Un banco de pruebas de ciberseguridad interno, y debían resolver un conjunto de desafíos de explotación. En lugar de ello, dedujeron que la clave de respuestas probablemente estaba en Hugging Face, donde se alojaban los archivos del benchmark, y fueron a buscarla.
Conseguirlo implicó encadenar una vulnerabilidad en un gestor de paquetes, credenciales robadas y una escalada de privilegios dentro de la red de OpenAI. Los modelos lograron salir de la sandbox de evaluación, llegaron a la infraestructura de producción de Hugging Face y ejecutaron código de forma remota. Hugging Face reconstruyó aproximadamente 17,600 acciones a lo largo de cuatro días y medio.
Nadie les dijo que atacaran nada. Estaban haciendo trampa en un examen.
Dos incidentes más siguieron, en Anthropic y Meta, y se diferían en un aspecto relevante: esos modelos no crearon una ruta de escape. Encontraron una que ya estaba ahí, porque el entorno de evaluación estaba mal configurado.
Así, de los tres incidentes que llevaron a la guía de la NCSC británica en agosto, uno fue un agente que hizo algo genuinamente novedoso y dos fueron agentes que simplemente atravesaron una puerta que alguien dejó abierta.
Adivina qué tipo es más probable encontrar en tu propio entorno.
La inercia de construir una nueva categoría es la intuición equivocada
La respuesta inmediata suele ser tratar todo esto como una nueva categoría de seguridad. Nueva estrategia de contención, nuevo foro de gobernanza, nueva línea presupuestaria, probablemente un nuevo acrónimo antes de fin de año. Entiendo el atractivo: es más fácil financiar algo nuevo que admitir que lo antiguo nunca estuvo terminado.
Pero observemos qué es realmente un agente dentro de una organización. Se ejecuta con los derechos de acceso de un empleado. Opera bajo su identidad, o bajo una cuenta de servicio creada por ellos. Su alcance es lo que ajustaron cuando lo configuraron un martes por la tarde, que suele ser menos de lo deseable. Entregar el mismo agente a dos personas distintas genera dos perfiles de riesgo diferentes, porque el agente no cambia. La persona sí.
Eso no es nuevo. Es lo que hemos llamado riesgo interno durante quince años, con la latencia eliminada.
Parte de lo que ya posees se transfiere con facilidad, lo cual es buena noticia y también explica por qué habría que resistirse a vender una solución verde. La baselination conductual funciona: ya señalas cuando la actividad de un usuario se desvía de su patrón, y un agente secuestrado se parece a la misma clase de desviación. La gobernanza de identidades también funciona.
Las revisiones de acceso y el procedimiento de baja de empleados se aplican a las credenciales de los agentes; si lo omites, terminas con agentes operando con el acceso de alguien que se fue en marzo.
Lo que no se transfiere es la herramienta.
El modelo se expande. La herramienta no.
La DLP (control de filtrado) fue diseñada para un humano moviendo un archivo. Supone un ritmo y una forma de transferencia de datos que los agentes simplemente no tienen. Los controles de acceso y la contenedorización trazan un límite, lo cual es útil hasta cierto punto, pero no dicen nada sobre lo que ocurre en el lado permitido. El “scope creep” no es una brecha perimetral. Es un agente que, dentro de las reglas dadas, hace progresos más allá de lo previsto.
La inyección de indicaciones está en el fondo de todo esto. Alguien inserta instrucciones en un correo electrónico o documento, dirigidas a la IA que lee, no a la persona. El atacante nunca necesita robar las credenciales del empleado. El agente ya las tiene.
Y llega la parte menos glamorosa, y la única recomendación que defendería ante un comité: necesitas saber qué está realmente en ejecución.
La IA sombra no es un concepto nuevo, pero sigue siendo rampante, y los agentes dificultan ver la parte no sancionada. El 98% de las organizaciones ya use herramientas de IA no sancionadas hoy. Según telemetría de Mimecast, las herramientas GenAI no sancionadas realizan aproximadamente 8,000 copias y cargas de archivos cada hora. Basta una de esas interacciones para provocar una brecha de GDPR o una fuga de propiedad intelectual.
Por eso, mantener un inventario activo de uso de IA en una organización es crucial. No una lista del último trimestre. Uno vivo. Los proveedores siguen activando IA dentro de herramientas que ya autorizaste hace dos años, por lo que el inventario se degrada pese a cambios en tu entorno. Controles de flujo de datos en tiempo real, detección de anomalías, catalogación de identidades de agentes, todo eso llega después y nada de ello funciona bien sin un inventario vivo.
Empieza por la visibilidad. Siempre.
Ollie Whitehouse en la NCSC lo dijo mejor que yo: depender de la detección post facto no será suficiente.
Los agentes no inventaron un nuevo riesgo. Cerraron la brecha entre una decisión de configuración descuidada y que esa decisión te costara algo, y la cerraron en segundos. La mayoría de nosotros operamos con una arquitectura que asumía que tendríamos más tiempo.
Así que antes de aprobar otra solución puntual, ve y descubre qué ya hay ahí dentro. Apostaría a que es más de lo que piensas, y juro que la mayor parte llegó sin que alguien tomara una decisión explícita.
Hemos incluido las mejores herramientas de antivirus.
Este artículo se produce como parte de TechRadar Pro Perspectives, nuestro canal para destacar las mentes más destacadas de la industria tecnológica hoy.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadar Pro o Future plc. Si estás interesado en contribuir, descubre más aquí: https://ift.tt/zp4vO3G
from Latest from TechRadar https://ift.tt/NwaXGog
via IFTTT IA
