Pacear la frontera de la IA: reflexiones sobre seguridad, regulación y responsabilidad corporativa


Tras años tratando la IA más rápida, más grande y más capaz como una especie de imperativo moral, los líderes de algunas de las empresas de IA más poderosas del mundo coinciden repentinamente en que quizá todos deberían aflojar el acelerador. El CEO de Anthropic, Dario Amodei, dio inicio a esta ronda con un ensayo titulado “We Must Pace the Frontier” (Debemos pacear la frontera), advirtiendo que las capacidades de la IA avanzan más rápido de lo que se necesitan para contener sus riesgos. El CEO de OpenAI, Sam Altman, y el de Google DeepMind, Demis Hassabis, respaldaron rápidamente la idea. Es extraordinario que los líderes de compañías inmersas en una de las guerras tecnológicas más costosas de la historia sean públicamente partidarios de frenar la carrera. Un detalle incómodo se esconde bajo la aparición repentina de cautela corporativa: nadie ha dicho qué modelo futuro llegaría más tarde como resultado de esta iniciativa.

“Pacear la frontera” puede significar casi cualquier cosa hasta que alguien le ponga una fecha. Ninguna de las compañías que respalda la propuesta de Anthropic ha identificado públicamente un modelo venidero que pretenda retrasar, ni se ha definido si disminuir el ritmo implica una semana extra de pruebas de seguridad, seis meses entre generaciones importantes o algo más drástico. Por ahora, los compromisos más concretos están relacionados con evaluadores independientes, supervisión, estándares de seguridad y coordinación, más que con una reducción anunciada en la cadencia de lanzamientos de modelos de frontera.

Ya de por sí resulta extraño incluso para los ajenos al sector. El vicepresidente de Estados Unidos, JD Vance, dijo sentirse “un poco raro” de ver a tantas empresas de tecnología de frontera acercándose al gobierno para pedírlle regulaciones, y que se percibía como “un poco de caballo de Troya”. Su escepticismo no decide si la regulación es necesaria, pero subraya la contradicción que recorre el debate actual.

¿Altruismo o exclusión?

Existen razones legítimas para la ansiedad repentina. Amodei ha advertido sobre AI que facilita ciberataques, bioterrorismo, disrupción económica y, eventualmente, sistemas que los humanos podrían tener dificultad para controlar. Su propuesta más reciente aboga por evaluadores de seguridad independientes con acceso profundo dentro de los laboratorios de frontera, coordinación entre compañías sobre estándares compartidos y cooperación internacional ante capacidades particularmente peligrosas.

Eso difiere bastante del significado literal de disminuir el ritmo de desarrollo. La propia historia reciente de Anthropic es ambigua: pausó evaluaciones externas de modelos prerelease y, brevemente, detuvo evaluaciones internas; también suspendió entornos de aprendizaje por refuerzo de mayor riesgo durante varias semanas.

Mientras tanto, la frontera ha seguido avanzando. Anthropic lanzó Claude Fable 5.1 y Mythos 5.1 este mes, mientras OpenAI presentó GPT-6 Astra. Esos lanzamientos precedieron la llamada de Amodei a una pausa de la industria, pero muestran el punto de partida particular de esta nueva era de autocontención. Las empresas que piden discutir una desaceleración han pasado el mes impulsando la frontera hacia adelante.

Si las compañías realmente creen que el desarrollo avanza de manera peligrosa, ya controlan sus propios calendarios de investigación y publicación, mientras que la regulación gubernamental plantea otra cuestión sobre si reglas diseñadas con las mayores compañías podrían dificultarle la vida a competidores más pequeños.

Distraer apocalípticamente

Existe también un problema con toda esta conversación sobre peligro existencial. Cuanto más Silicon Valley discute sobre una posible superinteligencia que podría destruir a la humanidad, más fácil resulta pasar por alto daños reales y menos cinematográficos que la IA está causando hoy en día.

Karolis Kaciulis, Ingeniero Principal de Surfshark, argumenta que las advertencias sobre que la IA amenaza a la humanidad pueden convertirse en un “movimiento de marketing” que desvia la atención de daños existentes. “La amenaza es ficticia, más cercana a un escenario estilo Skynet de ciencia ficción que a los problemas que la IA generativa ya está causando hoy, desde estafas automatizadas hasta coacción,” afirmó.

Esa escepticismo merece espacio junto a las advertencias de los ejecutivos de IA. La IA generativa ya facilita phishing, fraude con deepfakes y estafas a escala. Quedan cuestiones sobre privacidad, cómo se maneja la información ingresada a los chatbots y el costo ambiental de la infraestructura necesaria para ejecutar sistemas cada vez más grandes.

También existe un debate legítimo sobre cuánto progreso representa el interminable ciclo de lanzamientos de modelos de gran tamaño. Los números de referencia suben, pero determinar si cada nuevo modelo de lenguaje grande representa una capacidad verdaderamente novedosa es mucho más difícil que leer una gráfica de lanzamiento.

Empresas de IA advierten simultáneamente sobre el poder de la IA y, al mismo tiempo, empujan hacia adelante y relegan la seguridad a segundo plano; este comportamiento resulta extraño para la gente común. La propuesta de Amodei es novedosa, y juzgarla únicamente por si un modelo se retrasó cuatro días sería inapropiado. Pero sus ideas necesitan un sistema de evaluación independiente para tener fuerza. El siguiente paso debe ser medible, o será irrelevante.

from Latest from TechRadar https://ift.tt/SZODhfT
via IFTTT IA