Hugging Face es probablemente un nombre que no habrías escuchado antes de esta semana, pero es posible que ya hayas visto la noticia sobre el supuesto escapismo de un modelo de OpenAI de su sandbox para lanzar un ciberataque contra la compañía. En resumen, Hugging Face —que funciona de forma similar a GitHub pero en el mundo del aprendizaje automático— fue victima de un agente de IA que OpenAI estaba probando en términos de su capacidad para aprovechar vulnerabilidades de seguridad.

Entonces, ¿cómo ocurrió exactamente? ¿Qué significa esto para el futuro de la seguridad en línea ante el desarrollo de agentes de IA cada vez más avanzados? En este artículo responderé a esas preguntas y exploraré los temas que este suceso ha puesto sobre la mesa, incluida la amenaza de seguridad que representa la IA, no solo para las empresas, sino también para las personas.

Cómo sucedió — por qué OpenAI no tuvo salvaguardas para detener la IA

Como era de esperar, OpenAI sí tenía salvaguardas, pero el modelo logró atravesarlas. El escenario consistió en una prueba controlada usando GPT‑5.6 Sol y un “modelo pre-lanzamiento aún más capaz” para ver su desempeño en ExploitGym, una prueba de referencia que desafía a la IA a explotar vulnerabilidades de seguridad conocidas.

En esta prueba de seguridad, el modelo se colocó en un sandbox, un entorno “altamente aislado” del que la IA supuestamente no debería poder acceder a Internet. Pero la IA pre-lanzamiento, con sus salvaguardas desactivadas —según OpenAI, creyéndola debidamente restringida— ideó un engaño, encontró una manera de escapar de su sandbox y ejecutó exploits para vulnerar Hugging Face (donde la IA razonaba que podría encontrar respuestas para resolver las pruebas de ExploitGym).

¿Por qué es una gran preocupación?

La preocupación no es menor dada la inteligencia demostrada por la IA. Como explicó OpenAI, el modelo “encadenó múltiples vectores de ataque” y utilizó credenciales robadas y vulnerabilidades de día cero para encontrar una ruta de ejecución remota en los servidores de Hugging Face.

No fue una hazaña menor; Clement Delangue, CEO de Hugging Face, publicó en X que fue “bastante asombroso que todo esto sucediera de forma autónoma”.

En una entrada de blog, Hugging Face observó que: “La campaña fue ejecutada por un marco de agentes autónomos que realizaron miles de acciones a través de una plétora de sandboxes de corta duración, con un control y comando que se auto migraba a servicios públicos.”

El ataque fue tan serio que se informó a las agencias de aplicación de la ley. Como señaló Simon Willison, coautor de Django, en su blog: “Este fue un ataque sofisticado”, explicando que: “Encadenar múltiples vectores de ataque es precisamente lo que pueden hacer estos nuevos modelos, donde las generaciones anteriores podrían haber fallado.”

El titular de Willison resume todo: “El ciberataque accidental de OpenAI contra Hugging Face es ciencia ficción que ocurrió”. Willison también desestimó teorías conspiratorias de que esto fuera un truco de marketing de OpenAI para demostrar cuán avanzados son sus modelos.

¿El futuro del hacking?

También es relevante distinguir entre encontrar vulnerabilidades y poder explotarlas activamente. La IA involucrada en la primera puede ser muy útil para fortalecer la seguridad, pero en cuanto a la segunda —este incidente de Hugging Face ilustra claramente por qué los creadores de estos modelos deben ser extremadamente cuidadosos.

Aunque fuese un experimento de “hats blancos” (ético) y con consecuencias reales, ¿qué sucede cuando los modelos de IA se vuelven más sofisticados y los criminales acceden a ellos?

Existen riesgos obvios en la automatización de ataques para que se vuelvan más frecuentes y para bajar el umbral de habilidades necesarias para hackear. Dan Schiappa, presidente de Tecnología y Servicios en Arctic Wolf, advierte: “Los equipos de seguridad deben ver esto como una vista previa de lo que está por venir. A medida que la IA continúa reduciendo las barreras a la actividad cibercriminal, las organizaciones necesitarán visibilidad amplia y profunda en sus entornos y la capacidad de investigar y responder a velocidad de máquina.”

La capacidad de “responder a velocidad de máquina” sugiere usar IA para defensa contra actores maliciosos de IA, otro aspecto interesante del incidente Hugging Face. Willison señala que Hugging Face no pudo recurrir a los modelos de OpenAI para ayudar a defenderse, y que: “Los modelos de frontera [IA de vanguardia] a los que tenemos acceso están cada vez más limitados en cuánto pueden ayudar a proteger nuestro software, fuertemente influenciados por las continuas amenazas de controles de exportación del gobierno de EE. UU.”

Es probable que los ataques impulsados por IA apunten a empresas y organizaciones, pero también podrían dirigirse a individuos. Karolis Arbaciauskas, Jefe de Producto en la firma de ciberseguridad NordPass, comenta: “No necesitamos un actor estatal ni un villano de Bond para que algo salga mal. Las amenazas emergentes más comunes probablemente serán más mundanas. Por ejemplo, un agente de IA podría recibir instrucciones para doxear a una expareja o resolver deudas online mediante el hackeo y robo de datos personales, como fotos comprometedoras o detalles de tarjetas de crédito.”

Las grandes empresas de IA siempre hablan de salvaguardas y seguridad, pero parece que debemos pensar mucho más en cómo los modelos de IA más evolucionados encajarán en el futuro de la ciberseguridad y cómo evitar un mundo en el que el riesgo de ser hackeado se convierta en algo mucho más común, que es, sin duda, la mayor preocupación de todas.

Arbaciauskas añade: “Los modelos de IA se han vuelto peligrosamente hábiles para identificar vulnerabilidades de software. Han dominado todas las técnicas de hacking humanas, desde el phishing hasta la fuerza bruta. La diferencia es que pueden hacerlo mucho más rápido que los humanos.”

“No creo que podamos parchear el software lo suficientemente rápido para mantener el ritmo, así que al menos debemos protegernos contra los puntos de entrada más obvios. La encriptación, contraseñas fuertes únicas, claves de acceso y la autenticación multifactor (MFA) nunca han sido más críticos de lo que son ahora.”