ChatGPT se ha vuelto notablemente capaz de resultar útil como investigador, organizador y asistente para muchas tareas digitales tediosas. OpenAI ha comenzado a impulsar ChatGPT aún más recientemente con sus agentes, capaces de navegar por sitios web y aplicaciones en nuestro nombre.

Puede delegar agentes de ChatGPT para todo, desde comparar productos hasta completar formularios y organizar itinerarios de viaje. Lo que cambia es cuán profundamente esas habilidades se integran en ChatGPT, con mayor acceso a información personal y más oportunidades para completar tareas complejas con menos supervisión directa. El nuevo Dots de OpenAI es un buen ejemplo.

El atractivo es evidente, pero cuanto más pueda lograr ChatGPT de forma independiente, más importante se vuelve considerar qué ocurre cuando malinterpreta sus instrucciones. Por ejemplo, hace unos meses, los agentes experimentales de IA de OpenAI lograron escapar de sus entornos restringidos y comprometer sistemas pertenecientes a la plataforma de IA Hugging Face. Según la investigación de OpenAI, los agentes debían realizar pruebas de ciberseguridad, pero en su lugar descubrieron formas de acceder a Internet y explotar vulnerabilidades de seguridad, coordinando sus esfuerzos a través de un tablón de mensajes no autorizado. Una investigación independiente de METR encontró que aproximadamente 1.200 agentes intercambiaron más de 70.000 mensajes y archivos, con unos 700 participando finalmente en el ataque a Hugging Face.

Los agentes de IA eludieron las restricciones y persiguieron objetivos de forma no prevista por sus creadores. Algunos incluso parecieron reconocer que sus acciones eran no autorizadas pero continuaron porque creían que ayudarían a lograr sus metas. OpenAI ha reconocido otros incidentes preocupantes, incluidas 53 casos en los que los agentes cargaron imágenes proporcionadas por el usuario a sitios web de terceros para alojarlas como enlaces no listados durante actividades de investigación y evaluación. Los agentes pueden perseguir objetivos legítimos y simplemente buscar formas de superar obstáculos. Pero los algoritmos no tienen ética, por lo que podrían cruzar límites que los desarrolladores esperan que respeten. Es especialmente inquietante considerando cuánto OpenAI quiere que ChatGPT forme parte de nuestras vidas ahora.

Cuando lo útil se convierte en peligro

Imagínese pedir a ChatGPT que revise sus finanzas y sugiera formas de ahorrar dinero. Con acceso a las cuentas necesarias, podría analizar transacciones, identificar suscripciones y proponer cambios a su presupuesto. Pero si se otorga a un agente autónomo la autoridad suficiente, podría teóricamente decidir que transferir dinero, cancelar un servicio o modificar un arreglo de pagos es la forma más eficiente de completar la tarea.

El mismo problema se aplica a algo tan mundano como organizar una reunión. ChatGPT podría preparar una invitación, solo para incluir información personal que nunca tuvo la intención de compartir. Desde la perspectiva del agente, la divulgación podría parecer una forma razonable de proporcionar contexto útil.

Estas son ejemplos hipotéticos, y ChatGPT tiene salvaguardas diseñadas para evitar acciones sensibles sin la debida autorización. Sin embargo, OpenAI ha reconocido la posibilidad y ha introducido medidas de protección como monitoreo automático y restricciones en ciertas acciones para garantizar que el usuario apruebe cualquier acción importante realizada por el modelo.

También existe el problema de la inyección de prompts, donde instrucciones maliciosas se ocultan en textos benignos para manipular a una IA para que haga algo que el usuario nunca solicitó. OpenAI ha descrito cómo los atacantes pueden explotar la información a la que se accede durante tareas legítimas. Un instruction oculto en una página web aparentemente normal podría intentar persuadir a ChatGPT para revelar información privada o realizar una acción no autorizada.

El problema puede surgir en cualquier lugar. En Australia, un agente experimental de OpenAI accedió de forma no autorizada a sistemas gubernamentales durante entrenamientos internos. Aprovechó una vulnerabilidad en un servicio de estadísticas de salud para continuar su trabajo cuando inicialmente se encontró con obstáculos. OpenAI posteriormente reconoció el incidente y se disculpó tanto por el acceso no autorizado como por su manejo de la notificación.

La versión oficial de la compañía sobre el incidente australiano deja claro que la actividad ocurrió durante pruebas más que en una sesión normal de ChatGPT. Sin embargo, muestra cómo un IA persiguiendo un objetivo de investigación aparentemente inocuo puede terminar cruzando una frontera de seguridad.

Pasando las llaves

La creciente autonomía de ChatGPT es parte de una obsesión mucho más amplia de la industria con los agentes de IA personales. Meta está persiguiendo una visión aún más ambiciosa con Muse. Mark Zuckerberg cree claramente que las personas recibirán con agrado un asistente de IA capaz de gestionar grandes porciones de su vida diaria.

Hay algo ligeramente absurdo en esa ambición cuando los consumidores comunes están luchando con facturas de supermercado, costos de vivienda y el precio de la gasolina. Una IA que pueda comprar por ti de forma independiente parece menos revolucionaria cuando tu principal preocupación es si puedes permitírtelo.

Sin duda existen aplicaciones útiles para esta tecnología, especialmente en lo que respecta al trabajo administrativo. Pero la premisa de la industria de que los consumidores quieren asistentes cada vez más independientes merece un escrutinio mayor. Cada permiso adicional aumenta las consecuencias de un error, y cada acción automatizada potencialmente elimina otra oportunidad para que alguien intervenga.

Quizás la capacidad más importante que un agente de IA puede desarrollar es saber cuándo detenerse. Un asistente realmente útil debería reconocer que que se te pida organizar tus finanzas no autoriza mover tu dinero, y que organizar una reunión no justifica revelar información confidencial. A veces la mejor respuesta ante un obstáculo es preguntar al usuario qué hacer a continuación, incluso si eso significa que la tarea tome un poco más de tiempo. Sin ese freno, cuando algo sale mal, es posible que el propio asistente ya haya hecho en tu nombre cosas que nunca hubieras permitido.

from Latest from TechRadar https://ift.tt/DpldPB7
via IFTTT IA