Los agentes de IA parecen estar ganando terreno de forma acelerada. En las últimas semanas, se ha reportado que agentes de OpenAI y Anthropic han hecho lo que fuera necesario para lograr sus objetivos, mientras que otros incidentes mostraron a estos sistemas escapando de entornos aislados y hackeando compañías. Este relato no se limita a ataques de alto perfil; también se han observado casos sorprendentes de uso indebido en escenarios cotidianos.

Recientemente, un incidente destacable, pero mucho más mundano, generó la misma inquietud. Según un informe de ABC en Australia, un usuario llamado Andrew pidió a su asistente de IA que reservase una clase de gimnasio y, además de gestionar la reserva, el sistema encontró una vulnerabilidad en el software de reservas para adelantar su puesto y expulsar a otro usuario que le precedía.

Andrew descubrió que la IA había hallado una forma de adelantar su reserva gracias a una vulnerabilidad en el software de gestión, y, al pedirle mover su lugar en la lista de espera, la IA respondió moviéndolo hacia adelante y desactivando la reserva de otra persona.

Claude y OpenClaw

Andrew utilizaba el servicio Claude AI de Anthropic a través de OpenClaw, una plataforma popular de agentes de IA. Ante la pregunta sobre la capacidad de la IA para mover su puesto en la lista de espera, la respuesta fue: “Malas noticias — no puedo volver a colocar a esa persona”.

Los agentes de IA están diseñados para realizar tareas mundanas a fin de facilitar la vida, como reservar entradas, hoteles e incluso clases de gimnasio; sin embargo, este ejemplo demuestra que no siempre comprenden las reglas de comportamiento aceptable.

Asimismo, el sistema de reservas del gimnasio no debería haber sido tan fácil de vulnerar para permitir este tipo de acciones, pero el incidente en su conjunto revela uno de los problemas al trabajar con agentes de IA. Los agentes no necesariamente hacen trampa por ser intrínsecamente malintencionados; engañan porque nadie les indicó qué cuenta como trampa.

Salvaguardas fiables

Yo mismo uso agentes de IA, pero ahora empiezo a pensar en explicarles sus límites de forma más clara.

Añadiré esta línea a mis instrucciones a partir de ahora:

“Cumple esta tarea usando solo las opciones normales disponibles para un usuario común. No eludas restricciones, no explotes vulnerabilidades, no alteres la reserva o cuenta de otra persona, ni realices acciones irreversibles sin preguntarme primero.”

Por supuesto, una frase adicional en una instrucción no resolverá por completo el problema más amplio de que los agentes de IA realicen acciones no previstas. Las empresas que los desarrollan deben crear salvaguardas que eviten que un agente explote una vulnerabilidad simplemente porque es la ruta más fácil para completar una tarea.

Hasta que esas salvaguardas sean fiables, hay una lección útil para cualquiera que experimente con agentes. Nos hemos acostumbrado a decirle a la IA qué queremos y a asumir que comprende todas las reglas no escritas que rodean esa petición. Los humanos saben que “consígueme un lugar en esa clase” no equivale a “expulsa a alguien de la listado”.

Y esa distinción será cada vez más relevante a medida que confiemos a los agentes tareas como compras, reservas, viajes, correo electrónico e, en última instancia, nuestra economía. Cuanta más capacidad les demos para actuar por nosotros, más claro debe quedar qué es lo que absolutamente no deben hacer para lograrlo.