Investigadores han mostrado que una modificación pequeña en las neuronas de un modelo de lenguaje puede crear una puerta trasera que permanezca inactiva hasta que aparezca una señal determinada. El hallazgo pone de relieve la importancia de verificar la integridad de los modelos y limitar cuidadosamente los permisos de los agentes de inteligencia artificial.
Dimitris Papailiopoulos, investigador de Microsoft, presentó una técnica denominada Lazarus. Según su demostración, basta con alterar unas pocas neuronas de un modelo para que este conserve su comportamiento habitual en la mayoría de las situaciones, pero responda de forma maliciosa cuando detecta un activador específico. Ese activador podría ser una palabra, una fecha o un mensaje de error.
Si el agente tiene acceso suficiente, la respuesta podría incluir acciones como descargar y ejecutar código externo o intentar extraer información sensible. El riesgo, por tanto, no depende únicamente del comportamiento del modelo: también está determinado por los permisos y las herramientas que tenga a su disposición.
## Neuronas, pesos y puertas traseras
Las redes neuronales procesan información mediante componentes matemáticos llamados neuronas. Sus cálculos dependen de valores numéricos conocidos como pesos, que ayudan a determinar cómo responde el modelo a distintas entradas. Durante el entrenamiento, esos pesos se ajustan para que el sistema aprenda patrones y desarrolle capacidades.
Los modelos actuales contienen enormes cantidades de parámetros. Algunas neuronas se activan con poca frecuencia durante el uso habitual. La demostración de Lazarus plantea que esas unidades menos activas podrían modificarse para reconocer una señal concreta y alterar la salida del modelo sin cambiar de manera evidente su desempeño cotidiano.
Papailiopoulos explicó que una neurona reprogramada puede contribuir a introducir un token específico en la respuesta. Al encadenar varias, según su planteamiento, sería posible producir una secuencia que forme un comando. En una prueba descrita por el investigador, se modificaron diez neuronas de Nemotron-Terminal-8B, un modelo de ocho mil millones de parámetros. El agente resolvió una tarea de programación durante varios turnos, pero reaccionó a un error de «conexión rechazada» emitiendo una instrucción para descargar y ejecutar un script externo.
## Un riesgo que requiere acceso a los pesos
La investigación también describe cómo surgió la idea: Papailiopoulos pidió a Claude que analizara si era posible introducir una puerta trasera en un modelo sin volver a entrenarlo. Según el investigador, el sistema ayudó a identificar neuronas poco activas y a explorar la técnica mediante experimentos.
La demostración no significa que cualquier modelo pueda comprometerse de forma remota con facilidad. El método descrito requiere acceso directo a los pesos del modelo y la capacidad de modificarlos. Sin embargo, como la alteración podría afectar solo a una parte diminuta de sus parámetros, detectarla mediante una revisión superficial puede resultar difícil.
## Medidas para reducir la exposición
La comparación de los pesos con una versión original y verificada puede ayudar a identificar cambios no autorizados. Por ello, las organizaciones deberían obtener modelos de fuentes confiables, comprobar su procedencia y conservar referencias íntegras con las que contrastar las versiones desplegadas.
También es esencial limitar los permisos de los agentes. Un modelo que no necesita ejecutar comandos, acceder a datos sensibles o conectarse a servicios externos no debería tener esas capacidades. Cuando tales funciones sean necesarias, conviene aplicar controles estrictos, supervisar la actividad y exigir autorización para operaciones de alto impacto.
Lazarus ilustra un principio importante para la seguridad de la IA: un comportamiento aparentemente normal no garantiza que un modelo esté libre de alteraciones. La verificación de integridad, la auditoría de pesos y el control del acceso a herramientas deben formar parte de la protección de cualquier sistema de IA con capacidad para actuar en entornos reales.
from Latest from TechRadar https://ift.tt/8yP2ejA
via IFTTT IA
