Los avances en IA permiten a las empresas automatizar respuestas, seguimiento de vulnerabilidades y gestión de consultas de clientes mediante agentes personalizados. Sin embargo, un fallo reciente en el ChatGPT Agent Builder ha puesto de manifiesto un riesgo crítico: la posibilidad de desplegar agentes de forma maliciosa sin intervención del usuario, con potencial para exfiltrar datos sensibles y ejecutar acciones no autorizadas dentro de la infraestructura de una organización.

Resumen del hallazgo
– Zenity Labs identificó una vulnerabilidad en el Agent Builder de OpenAI, apodada por los investigadores como “AgentForger”. El problema provino de un parámetro de URL excesivamente permisivo que permitía incluir instrucciones prácticamente arbitrarias en los enlaces del agente.
– Con un solo clic en un enlace malicioso, el usuario enviaba instrucciones al Agent Builder, que las ejecutaba de inmediato sin pedir confirmación ni notificar al usuario. Este comportamiento representa una falla de confianza entre el agente y su entorno, y no estaba cubierto por controles de seguridad existentes.
– En teoría, un solo correo phishing podría engañar a un empleado para desplegar un agente malicioso que exfiltra datos sensibles o realice acciones dentro de los permisos habilitados para los agentes de la empresa, y el agente podría permanecer activo indefinidamente hasta ser detectado.
– El análisis de Zenity destacó que la vulnerabilidad se basaba en una discrepancia de confianza entre el usuario y el agente: “esta es una falla de confianza del agente, y los controles de seguridad existentes nunca fueron diseñados para verla”, según comentó Michael Bargury, cofundador y CTO de Zenity.

Respuesta y mitigación
– OpenAI notificó el hallazgo a principios de junio de 2026 y publicó una corrección unos días después.
– La solución consistió en eliminar el parámetro de URL que permitía la instrucción arbitraria, eliminando así la vía de ataque. No hay indicios de que la vulnerabilidad fuera conocida o explotada previamente por actores maliciosos.

Lecciones para la seguridad de IA en la empresa
– Evaluación de confianza de ruta: los sistemas que permiten desplegar agentes deben exigir confirmación, registrar acciones y verificar instrucciones antes de ejecutarlas, especialmente cuando las acciones pueden afectar datos sensibles o entornos productivos.
– Limitación de privilegios por diseño: los agentes deben operar con el mínimo privilegio necesario y con límites claros en lo que pueden leer, modificar o transmitir.
– Vigilancia y respuesta ante cambios de comportamiento: establecer mecanismos de detección temprana para comportamientos inesperados de agentes, con alertas y capacidades de apagado rápido.
– Pruebas de resistencia de la cadena de suministro de IA: incluir evaluaciones de seguridad para componentes como constructores de agentes y herramientas de automatización, considerando escenarios de abuso potencial.

Concluding thought
La experiencia subraya que, a medida que las empresas adoptan soluciones automatizadas basadas en IA, la seguridad debe ser un componente intrínseco del diseño. Un fallo de confianza entre un agente y su entorno puede tener consecuencias significativas si no se mitiga con controles adecuados, supervisión continua y respuestas rápidas ante incidentes.

from Latest from TechRadar https://ift.tt/492rszG
via IFTTT IA