El 6 de septiembre, el científico jefe de OpenAI, Jakub Pachocki, pareció lanzar una advertencia sobre el ritmo del avance de la inteligencia artificial. En su ensayo «An Alien Mind», sostuvo que las técnicas actuales de alineamiento y supervisión podrían quedarse cortas a medida que los sistemas se vuelvan más capaces. También describió un futuro en el que la IA participe cada vez más en la mejora de la propia IA, reduciendo el tiempo disponible para la supervisión humana y la respuesta institucional.

Buena parte de la investigación sobre seguridad de la IA se centra en el comportamiento: qué puede hacer un sistema, cómo se vigilan sus acciones y en qué momentos debe intervenir una persona. Pero antes de actuar, una IA debe decidir qué información considera fiable. Ese paso previo merece mucha más atención.

## La IA actúa a partir de información cuyo origen no siempre está claro

Antes de enviar un pago, modificar software o recomendar una decisión, un sistema de IA construye una representación del mundo. Para ello puede recurrir a resultados de búsqueda, registros empresariales, artículos de investigación y contenido generado por otros sistemas de IA.

Internet facilita la circulación de la información, pero no siempre conserva su historia. Una afirmación puede aparecer primero en un estudio, pasar a una noticia, resumirse en un blog y terminar meses después en un foro. Cuando una IA la encuentra, reconstruir el camino hasta la evidencia original puede ser difícil.

Además, fuentes de distinta calidad llegan al sistema en un formato parecido: texto. Un estudio revisado por pares, un comunicado empresarial y una publicación anónima pueden combinarse en una respuesta pulida, sin que el usuario perciba con claridad las diferencias entre evidencia, promoción y repetición.

El desacuerdo entre fuentes añade otra dificultad. En ámbitos como las finanzas, la medicina, la política y las tecnologías emergentes, incluso fuentes fiables pueden llegar a conclusiones distintas. Como los sistemas suelen estar optimizados para ofrecer respuestas útiles y directas, pueden condensar el conflicto en una sola afirmación. Así, la incertidumbre desaparece justo cuando convendría hacerla visible.

El riesgo aumenta cuando la IA puede actuar. Un agente puede ejecutar una operación financiera, aprobar una compra, modificar un programa o enviar un mensaje en nombre de una persona. En ese contexto, una afirmación incierta puede convertirse en la base de una acción difícil de revertir.

## La supervisión humana necesita mejores pruebas

La supervisión humana funciona cuando quien revisa dispone de información más completa o de medios fiables para verificar lo que utilizó la IA. Sin embargo, con frecuencia la persona encargada de aprobar una decisión consulta la misma web que el sistema, pero a una velocidad muy inferior. La IA puede analizar miles de páginas mientras el revisor examina un resumen y unos pocos enlaces.

A medida que aumentan las capacidades, la revisión corre el riesgo de convertirse en un trámite, en lugar de una evaluación independiente.

Pachocki señala que la posibilidad de confiar en el monitoreo de la cadena de pensamiento disminuye cuando el razonamiento se vuelve más complejo y los sistemas pueden manipular sus propios procesos de razonamiento. También propone establecer umbrales de seguridad que puedan aplicar auditores independientes, organismos gubernamentales o instituciones internacionales.

Esos mecanismos ayudan a gobernar las capacidades y el comportamiento. Pero la supervisión fiable también requiere un registro de evidencias: qué información sustentó la conclusión, de dónde procede cada afirmación, cuán confiable es la fuente y dónde persisten desacuerdos legítimos. Sin ese registro, el revisor evalúa la respuesta, pero no necesariamente sus fundamentos.

## La IA heredó uno de los hábitos más débiles de Internet

La IA se nutrió de una cultura informativa basada en la velocidad, el alcance y la reproducción de contenidos. Los buscadores, las redes sociales y los agregadores facilitaron el acceso a la información, pero también contribuyeron a que una misma afirmación aparezca cientos de veces y parezca ampliamente respaldada, aunque todas las repeticiones procedan de una única fuente dudosa.

La IA generativa amplifica el problema: los sistemas producen contenido que otros sistemas pueden incorporar después. Una afirmación débil puede generarse, recopilarse, resumirse y volver a publicarse hasta que la repetición le dé apariencia de consenso.

Cada nueva etapa puede alejar el contenido de la evidencia original. Y cuando un agente autónomo lo trata como fiable, la cadena de información pasa a formar parte de la cadena de decisiones. Para un consumidor, esto quizá termine en una recomendación deficiente. Para un banco, una aseguradora o una agencia pública, las consecuencias pueden afectar al dinero, el acceso a servicios, la seguridad o la vida cotidiana de las personas.

## La IA autónoma necesita un sistema de procedencia

Las operaciones financieras importantes dependen de registros que indiquen quién actuó, con qué autorización, bajo qué condiciones y con qué rastro de auditoría. Las instituciones invierten en esos mecanismos porque un resultado plausible no basta para generar confianza. La IA autónoma necesita una disciplina equivalente para la información.

Las afirmaciones deberían conservar su procedencia incluso al copiarse o transformarse. Tanto una persona como un agente deberían poder rastrearlas hasta su origen, examinar las pruebas y entender cómo cambiaron al circular. Los desacuerdos entre fuentes fiables también deberían mantenerse visibles.

Cuando fuentes reputadas discrepan, el sistema debería mostrar las distintas posturas y el nivel de confianza asociado a cada una. En un agente autónomo, la incertidumbre puede ser una señal para investigar más, solicitar aprobación humana o limitar el alcance de la acción.

La responsabilidad debe acompañar a la información. Una afirmación respaldada por una institución identificable y pruebas verificables no debería recibir el mismo trato que una aseveración anónima repetida en decenas de páginas. El objetivo es que la IA pueda evaluar mejor la calidad de la evidencia antes de comprometer recursos o actuar en nombre de alguien.

La gobernanza también debe ser compartida. Los estándares de procedencia, los métodos de verificación y las reglas de responsabilidad necesitan revisión independiente y participación de diversas instituciones, en lugar de depender de las preferencias de un único proveedor.

## Prepararse antes de que la IA actúe

Pachocki advierte que las técnicas actuales de alineamiento y monitoreo podrían limitar la capacidad de los laboratorios para ampliar sus sistemas de forma responsable. También prevé posibles pausas voluntarias mientras se desarrollan umbrales de seguridad compartidos y plantea que la IA podría asumir una parte creciente de su propio desarrollo.

Ante ese panorama, las empresas que construyen sistemas autónomos tienen una tarea fundamental: establecer qué sabe el agente antes de que actúe y hacer que ese conocimiento pueda auditarse.

Las salvaguardas de comportamiento siguen siendo esenciales, al igual que los permisos, las auditorías y la aprobación humana. Su eficacia aumenta cuando la información que sustenta cada decisión incluye procedencia, contexto y responsabilidad. Por eso, la próxima etapa de la seguridad de la IA comienza con la evidencia que recibe un agente, la autoridad que atribuye a cada fuente y la incertidumbre que conserva antes de actuar.

Una autonomía basada en información verificable ofrece a las personas una base más sólida para ejercer control. En cambio, cuando la información es opaca, quienes supervisan deben juzgar decisiones cuyos fundamentos son difíciles de examinar.

Pachocki tiene razón al advertir que el margen para prepararse podría ser limitado. La industria debería aprovecharlo para crear sistemas capaces de mostrar de dónde procede su conocimiento antes de confiarles decisiones que afectan al mundo real.

from Latest from TechRadar https://ift.tt/Uou9iWm
via IFTTT IA