OpenAI ha dado a conocer un nuevo modelo de inteligencia artificial llamado GPT-Red, diseñado para poner a prueba la seguridad de sus propios sistemas. La compañía lo describe como un ‘red teamer’ automatizado, capaz de encontrar fallos de seguridad en otros modelos de IA sin intervención humana. El objetivo es adelantarse a posibles ataques reales y reforzar las defensas antes de que los modelos lleguen al público.
La iniciativa responde a un problema creciente: a medida que los modelos de lenguaje se vuelven más complejos y se usan como agentes autónomos capaces de navegar por la web, leer correos o ejecutar código, la superficie de ataque se amplía. Los equipos humanos de seguridad no pueden seguir el ritmo de todas las variantes de ataque posibles. GPT-Red pretende cubrir ese vacío con un enfoque escalable.
¿Qué es GPT-Red y cómo funciona?
GPT-Red es un modelo entrenado específicamente para realizar inyecciones de comandos (prompt injection), una técnica en la que un atacante introduce instrucciones ocultas en un texto que el modelo procesa, logrando que ejecute acciones no deseadas, como filtrar datos confidenciales o modificar sistemas. El modelo actúa como un atacante virtual que lanza intentos una y otra vez, ajustando su estrategia según la respuesta del defensor.
Para entrenarlo, los investigadores de OpenAI utilizaron un bucle de autojuego (self-play) con varios modelos defensores. GPT-Red recibe una recompensa cuando consigue un ataque válido, mientras que los defensores son recompensados por resistir y completar su tarea original. Este proceso iterativo obliga al atacante a descubrir métodos cada vez más sofisticados a medida que las defensas mejoran, generando un ciclo de mejora continua.
Resultados frente a humanos y en entornos reales
En una prueba comparativa contra un equipo de expertos humanos, GPT-Red logró ataques exitosos en el 84% de los escenarios frente a un 13% de los humanos, ambos contra el modelo GPT-5.1. La diferencia refleja la capacidad del sistema para explorar muchas más rutas de ataque en menos tiempo. Además, en pruebas con agentes reales, GPT-Red consiguió hackear una máquina expendedora autónoma operada por IA en las oficinas de OpenAI, modificando precios y cancelando pedidos de otros clientes.
También se enfrentó a un agente de línea de comandos Codex, logrando extraer datos sensibles en más ocasiones que un modelo base. Estos experimentos demuestran que los riesgos no se limitan a los chatbots, sino que afectan a cualquier sistema que interactúe con herramientas y contenido externo, similar a cómo opera el ransomware con inteligencia artificial para vulnerar sistemas.
Impacto en GPT-5.6 Sol
OpenAI ha integrado los ataques descubiertos por GPT-Red en el entrenamiento de sus modelos de producción desde GPT-5.3. El último modelo, GPT-5.6 Sol, es el más robusto hasta la fecha. Según la compañía, reduce seis veces los fallos en el benchmark más difícil de inyección directa de comandos en comparación con el mejor modelo de hace cuatro meses. Una clase de ataque denominada ‘cadena de pensamiento falsa’, que funcionaba en más del 95% de los casos contra GPT-5.1, ahora tiene una tasa de éxito inferior al 10%.
Las evaluaciones internas muestran que las capacidades generales del modelo no se han visto afectadas; la mejora se debe a una mayor resistencia a instrucciones maliciosas, no a un rechazo indiscriminado de peticiones legítimas. OpenAI afirma que solo el 0,05% de los ataques directos de GPT-Red logran vulnerar GPT-5.6 Sol.
Limitaciones de GPT-Red y papel de los humanos
A pesar de su eficacia, GPT-Red no es perfecto. Tiene dificultades para detectar ataques que requieren conversaciones de ida y vuelta entre atacante y objetivo, así como aquellos basados en imágenes. Por eso, OpenAI subraya que el trabajo de los red-teamers humanos sigue siendo esencial para cubrir esos vacíos. La compañía planea combinar ambos enfoques: usar GPT-Red para explorar grandes volúmenes de variantes y dejar a los humanos los casos más complejos.
OpenAI no tiene previsto lanzar GPT-Red al público. El modelo se mantiene como una herramienta interna, separada de los sistemas desplegados, para evitar que sus capacidades ofensivas caigan en manos equivocadas. Los investigadores creen que replicar un sistema así requeriría recursos computacionales y tiempo de los que pocos disponen.
La empresa ya ha anunciado que seguirá escalando la computación y los datos destinados a entrenar futuras versiones de GPT-Red, con el objetivo de que cada nuevo modelo de la familia GPT sea más seguro que el anterior. La seguridad de la inteligencia artificial avanza, pero el pulso entre atacantes y defensores no se detiene.
from Linux Adictos https://ift.tt/JfGosw5
via IFTTT
Pacosite's Blog 