Tras la reciente renuncia de uno de los investigadores principales de Anthropic, varios directores ejecutivos de IA han pedido de manera repentina una desaceleración en el desarrollo de la tecnología para permitir que la regulación y la gobernanza alcancen a la innovación.

En una entrevista con la BBC tras su renuncia, Jacob Coxon advirtió: “Creo que si no frenamos a la velocidad actual, hay una alta probabilidad de que todos podamos morir en un futuro inmediato”.

Después de ello, Dario Amodei de Anthropic, Sam Altman de OpenAI y Elon Musk, fundador de Grok, habrían mostrado una alineación en la necesidad de ralentizar el progreso. Sin embargo, navegar por estas aguas resulta complicado, especialmente en torno a la presidencia de Estados Unidos, China y qué salvaguardas deberían implementarse.

¿Qué están diciendo los líderes de IA?

Durante el fin de semana, Amodei publicó un ensayo sobre “por qué la industria de IA debería ralentizarse”. En él afirma: “Creo que si una desaceleración nos comprara un año o dos más antes de que los modelos alcancen capacidades críticas, y utilizáramos ese tiempo para avanzar en el alineamiento, podríamos reducir en gran medida el riesgo de que algo salga gravemente mal.”

En el ensayo, Amodei planteó cómo podría “paced” la IA tanto en EE. UU. como a nivel global, junto con la recomendación de que las empresas de IA incorporaran equipos de ‘evaluadores’ para asegurar que los modelos se mantengan alineados con sus tareas. Elon Musk respondió al mensaje de Amodei diciéndole que estaba “en lo correcto”.

Sam Altman declaró a Fortune que las regulaciones y estándares para la IA estaban “todavía no en un lugar” adecuado para continuar avanzando.

Pero no todos están convencidos. El presidente de Estados Unidos, Donald Trump, ha señalado que ralentizar el desarrollo de IA es innegociable, pues permitiría a China ponerse al día rápidamente. A los periodistas les comentó que Estados Unidos “lidera a China en IA… y, francamente, quiero que siga siendo así”, añadiendo que “quien gane en IA, gana”.

Trump también afirmó que existen “fuertes fuerzas negativas” detrás de la creciente oposición a la IA y que los temores estaban siendo alimentados por “eso que no ocurrirá”.

China tampoco se muestra convencida por los llamados de las gigantes de IA. Beijing calificó las peticiones de desaceleración como “alarmismo” y una “ópera de la Guerra Fría”. En su ensayo, Amodei afirmó que “una supremacía china en IA significaría un grave peligro para Estados Unidos y el mundo”.

El portavoz del Ministerio de Relaciones Exteriores de China, Guo Jiakun, declaró: “El alarmismo, la confrontación y la competencia maliciosa solo perturbarán la gobernanza global de IA y no beneficiarán a nadie”.

Perspectivas de expertos sobre las llamadas a ralentizar la IA

• John Strand, Propietario, Black Hills Information Security:

Antes de este fin de semana, creía que las llamadas a desacelerar la IA eran puramente performativas. Luego leí las noticias y entendí que, en gran medida, no importan tanto.

Podemos hablar de ralentizar la IA hasta enrojecernos, pero cuando EE. UU. dice que no quiere detenerse por competir con China, y China impulsa agresivamente el desarrollo, hablamos de las dos potencias económicas y militares con incentivos enormes para seguir avanzando.

En ese punto, las llamadas a ralentizar no tienen mordida.

Me gustaría creer que Anthropic, OpenAI, xAI y otros laboratorios de frontera están trabajando en mejores controles. Pero a menos que los estados-nación y los grandes laboratorios de IA se pongan de acuerdo en la misma dirección, las restricciones adoptadas de forma unilateral no funcionan.

Este verdadero momento parece de una carrera armamentista.

Sigan conmigo.

En 1950, el físico Leó Szilárd habló públicamente sobre la idea de una bomba de cobalto, un arma de doomsday que podría generar suficiente fallout radiactivo para hacer inhabitable la Tierra. No estaba proponiendo construirla; estaba tratando de demostrar hacia dónde podría llevar la tecnología.

Esa es la clase de momento que creo que nos acercamos con la IA.

Durante la carrera de armamentos nucleares, las consecuencias fueron lo suficientemente graves como para que las naciones rivales al menos comenzaran a discutir límites, controles y vías para evitar que la competencia termine en desastre.

Creemos estar ante un problema similar con la IA. Hasta que China, Estados Unidos y los principales laboratorios de frontera se sienten a la misma mesa, las restricciones adoptadas por compañías o países por separado tendrán serias dificultades para funcionar.

Alguien que desacelere solo funciona si el otro también lo hace.

• Ryan McCurdy, VP, Liquibase:

Ralentizar el desarrollo de frontera podría dar a las empresas más tiempo para entender y abordar los riesgos descritos por Amodei. Pero las empresas no pueden basar su estrategia en la suposición de que la IA se va a ralentizar.

La IA ya está pasando de generar contenido y código a tomar acciones en sistemas de entrega de software y de producción. La pregunta para las empresas es cómo adoptar esa capacidad sin ceder el control.

Eso implica colocar gobernanza en donde las decisiones de IA se convierten en acciones reales. Las organizaciones deben definir qué puede acceder un agente, qué puede cambiar, qué puede decidir por sí mismo y qué políticas deben cumplirse antes de que un cambio alcance un sistema crítico. Esos controles deben funcionar tanto si la acción proviene de un desarrollador, de la automatización o de un agente de IA.

Podemos debatir qué tan rápido debe avanzar la frontera. Las empresas siguen teniendo que prepararse para dónde va.

• Tristan Watkins, director de servicios e innovación, Advania UK:

Hasta hace poco, los laboratorios de IA principales mostraban cierta renuencia a ralentizar sus esfuerzos de desarrollo de forma unilateral. En la última semana eso cambió, con nuevos compromisos de OpenAI y Anthropic para priorizar el alineamiento y la interpretabilidad, hacerse verificables externamente y establecer precedentes de seguridad que los gobiernos podrían adaptar.

Dado que estos dos organismos ya asignan mucho más a la Seguridad de IA que sus competidores, es una bienvenida bilateral. Parece que otros laboratorios estadounidenses podrían seguir el ejemplo, pero dadas las diferencias en gasto de Seguridad de IA fuera de Anthropic y OpenAI, requerirá más inversión que palabras.

• Oleksandr Yaremchuk, CTO y cofundador, Manifold Security:

Ralentizar la frontera es el tema correcto, pero no puede sustituir la seguridad de la IA ya desplegada. La realidad incómoda es que estamos debatiendo cómo construir agentes aún más potentes mientras luchamos por controlar los ya operando con credenciales reales, accesos y consecuencias en el mundo real.

Los incidentes detrás de este debate lo dejan claro. El ataque de Hugging Face no fue solo una falla de alineación del modelo. Los agentes corrieron durante días a través de un sistema sin supervisión, con credenciales que no habían sido rotadas, y la víctima detectó la actividad antes de que las personas que operaban los agentes se dieran cuenta. El problema no fue solo lo que el modelo era capaz de hacer. Fue que nadie estaba observando lo suficiente cuando actuó.

Una analogía adecuada es con materiales peligrosos. No esperamos a que se vuelvan más peligrosos para decidir cómo deben manejarse. Controlamos su custodia, monitoreamos a dónde van, limitamos quién puede acceder a ellos y establecemos una responsabilidad clara cuando algo sale mal. Los agentes de IA necesitan el mismo planteamiento.

La evaluación independiente de modelos de frontera es importante. Pero si un agente puede actuar de forma autónoma en tus sistemas hoy, ya deberías poder responder a tres preguntas básicas: ¿qué hizo?, ¿qué tuvo acceso?, ¿podrías haberlo detenido? Si no sabes qué hizo ni a qué pudo acceder, no puedes saber si podrías haberlo detenido. Ralentizar la próxima generación no resolverá el problema que tienes ahora.

• Heath Mullins, Chief Evangelist, ExtraHop:

Los líderes de IA que piden una desaceleración están confirmando lo que la industria de seguridad ya vive de primera mano. Este no es un riesgo hipotético; es el panorama de amenazas que defendemos ahora.

Aunque es preocupante ver la velocidad de la innovación detrás de estos modelos, el verdadero desafío es que las organizaciones no han tenido el tiempo para construir la infraestructura necesaria para defenderse frente a amenazas de velocidad de máquina.

Comprender la actividad de IA dentro de una organización es crucial, como hemos visto cuando los modelos escapan de los entornos controlados a pesar de las salvaguardas. Todas las organizaciones dependerán de agentes de IA para la defensa a velocidad de máquina, y necesitarán su propia gobernanza sobre cómo operan estos modelos y agentes dentro de su entorno, empezando por evidencia independiente de qué hacen, a qué acceden, a dónde mueven datos, con qué sistemas se comunican y qué acciones toman.

No puedes gobernar IA con base en lo que un modelo está diseñado o permitido a hacer. En cambio, necesitas evidencia en tiempo real de lo que realmente hacen los modelos y agentes, porque la brecha entre una IA cada vez más poderosa y la capacidad de los defensores para verla es exactamente donde ocurre el próximo incidente.

• Bri Frost, Directora de Gestión de Producto, Cloud Range:

La respuesta no es necesariamente detener la innovación de IA, sino dejar de pretender que la innovación y la seguridad avanzan a la misma velocidad.

Cuando ChatGPT estuvo disponible públicamente en 2022, los modelos eran muchísimo menos capaces y las salvaguardas eran fáciles de manipular. La diferencia es que los modelos detrás de esas salvaguardas ya no son los de 2022. Pueden razonar mejor, escribir y depurar código. Pueden operar como agentes. ¡Y cada vez pueden interactuar y afectar infraestructuras reales!

Mientras tanto, el ciclo de lanzamiento de modelos ha pasado de saltos de capacidad cada año o dos a saltos cada semanas. Eso crea una asimetría peligrosa: la capacidad de IA se acelera mientras la seguridad no lo hace al mismo ritmo.

La seguridad y la innovación siempre han estado en conflicto. Si cada problema de seguridad tuviera que resolverse antes de lanzar algo, nunca hubiéramos entregado nada. Pero el extremo opuesto es igual de imprudente: acelerar la capacidad confiando en arreglos de seguridad que se añadirán después y serán efectivos.

Cada nueva versión de la capacidad de IA amplía la superficie de ataque exponencialmente. Si das a un modelo una mejor capacidad de razonamiento, luego acceso a herramientas, luego memoria, luego autonomía, luego conectividad con sistemas de producción, y ayer la evasión ya no es solo un prompt ingenioso, sino una ruta de ejecución. Ese es el efecto bola de nieve que deberíamos temer.

La responsabilidad también recae en las empresas de IA. Si una empresa SaaS envía software con controles de seguridad débiles y los clientes resultan dañados, no justificaríamos con que estaban ‘innovando rápido’.

Entonces, ¿por qué se está tratando la IA de forma diferente?

No puedes apostar a construir sistemas cada vez más potentes, obtener beneficios y luego encogerte cuando fallos de seguridad previsibles causan daño.

La conversación no debería limitarse a: “¿Deberíamos ralentizar la IA?”

Debería preguntarse: ¿Nuestra capacidad para probar, validar, contener y asegurar la IA puede mantenerse al ritmo de nuestra capacidad para hacerla más poderosa? ¿Existe un interruptor de seguridad inequívoco?

A día de hoy, la respuesta es no.

Y si vamos a seguir acelerando —lo que creo que haremos— entonces la prueba independiente, la evaluación adversarial, entornos de prueba aislados, contención, validación continua y seguridad desde el diseño no pueden seguir siendo pasos opcionales que añadimos después de la innovación.

Cuanto más rápido construimos el motor, más importantes se vuelven los frenos.