Un incidente reciente puso de manifiesto los peligros de depender de herramientas de inteligencia artificial sin una verificación humana estricta. Un bot de conversación fue utilizado para interpretar datos sobre un buque chino, y, a partir de esa interpretación, se elaboró una evaluación de inteligencia que describía un cargamento erróneo. La consecuencia fue casi una invasión militar, con tropas ya preparadas para abordar el buque y aeronaves militares en alerta, antes de que las autoridades revisaran la información subyacente.

El episodio circuló durante el conflicto en la región y llevó a preparativos de intercepción del buque antes de que surgieran problemas serios con la información esencial. Fuentes citan a CNN que indicaron que personal armado se encontraba listo para intervenir mientras el apoyo de aeronaves reforzaba los preparativos, creando una posible confrontación entre potencias.

El análisis asistido por IA produjo la evaluación errónea

La secuencia comenzó cuando un analista examinó inteligencia sobre el manifiesto del buque y utilizó un chatbot para interpretar la información. Las fuentes señalan que el sistema combinó material público con información de señales clasificadas, y de esa mezcla surgió una evaluación incorrecta sobre el cargamento del buque.

Posteriormente, el analista empleó de nuevo la IA para redactar los hallazgos en un formato de inteligencia estándar, que se distribuyó entre los responsables militares. Los oficiales solo revisaron la información subyacente poco antes de la operación planificada, descubriendo que la identificación del cargamento era incorrecta.

La fuente describió la evaluación como “totalmente falsa”, mientras que CNN reportó que otra fuente afirmó que casi se desata una guerra. El material exacto que el chatbot malidentificó no ha sido divulgado públicamente, dejando sin conocer detalles clave del error original.

El Pentágono y las autoridades de mando en el Pacífico no ofrecieron comentarios sobre el incidente.

Este episodio llega en un momento en que el ejército estadounidense ha ampliado el uso de herramientas de IA en inteligencia, operaciones, administración y toma de decisiones en el terreno.

En enero, el Secretario de Defensa, Pete Hegseth, anunció una estrategia de IA destinada a acelerar su despliegue en misiones y funciones organizativas. “Liberaremos la experimentación, eliminaremos barreras burocráticas, centraremos nuestras inversiones y mostraremos el enfoque de ejecución necesario para liderar en IA militar”, señaló.

La estrategia incluye programas para trabajo de inteligencia, planificación operativa, funciones empresariales y un mayor acceso a sistemas de IA generativa. El departamento afirmó posteriormente que más de 1,3 millones de personas habían utilizado GenAI.mil, generando decenas de millones de prompts en cinco meses.

La incidencia revela un problema de verificación difícil de resolver

El error reportado fue más allá de una respuesta incorrecta de un chatbot, ya que su resultado formó parte de un proceso utilizado para decisiones militares de gran impacto. Una vez que la información incorrecta apareció en un informe formal, los oficiales que recibieron el documento debían determinar si la evidencia subyacente sostenía la conclusión.

No hay información pública sobre qué procedimientos de verificación se aplicaron antes de que el informe llegara a quienes preparaban la operación marítima. Tampoco está claro si el analista sabía que la interpretación del chatbot era incorrecta antes de que el informe circulase. Según CNN, diferentes organismos militares utilizan sistemas de IA distintos, y existen prácticas variables para verificar la información producida por ellos.

Esa fragmentación dificulta identificar un único proceso de verificación que gobierne todos los productos de inteligencia asistidos por IA en las fuerzas armadas. Las herramientas de IA pueden acelerar y facilitar el análisis militar, pero su potencial de errores significativos exige una verificación humana estricta antes de tomar decisiones operativas. En el ámbito de la inteligencia sobre un país rival, una evaluación errónea relacionada con un buque militar podría desencadenar represalias y escaladas que deriven en conflictos armados o tensiones prolongadas.

Este caso subraya la necesidad de marcos robustos de verificación, gobernanza y responsabilidad en el uso de IA en operaciones sensibles. Las instituciones deben priorizar controles de calidad, revisión humana y transparencia operativa para reducir el riesgo de errores catastróficos que podrían afectar la seguridad internacional.