En las conversaciones públicas sobre IA, muchos debates siguen girando en torno a las tablas de clasificación: qué modelo aparece en lo alto, qué proveedor parece estar ganando y qué puntuación de benchmark importa más. Sin embargo, para las organizaciones que despliegan IA en producción, esas preguntas empiezan a perder relevancia frente a la pregunta de fondo: ¿cómo se utiliza realmente la IA?

Una de las razones es la creciente controversia alrededor del “tokenmaxxing”: la práctica de maximizar el uso de IA impulsada por objetivos internos de adopción, incentivos o competencias al estilo de un tablero de líderes. Pero centrarse solo en el consumo de tokens puede fomentar la actividad por la actividad misma, en lugar de medir el valor real que la IA aporta al negocio.

Recientes ejemplos, como el supuesto cierre por parte de Amazon de un tablero interno de IA y Uber limitando el gasto en IA tras agotar rápidamente su presupuesto anual, destacan los riesgos de tratar el uso como la métrica de éxito principal.

Aun así, los datos más recientes apuntan a una narrativa más matizada. Según el informe de Vercel sobre la Puerta de Enlace de IA de julio, el volumen de tokens creció un 29% en junio mientras el gasto aumentó un 27%, y el precio medio por token se mantuvo estable. Lejos de consumir más IA por consumir, las organizaciones están comenzando a ser deliberadas sobre dónde desplegar diferentes modelos y cómo equilibrar costo y rendimiento.

Los equipos que construyen sistemas de IA reales están cada vez más dirigiendo tareas de forma dinámica entre varios modelos, dependiendo del costo, la fiabilidad y el razonamiento. Por ejemplo, un modelo de bajo costo puede ser útil para tareas de resumido, mientras que un modelo de razonamiento premium se reserva para decisiones de mayor impacto.

En la práctica, la IA se trata más de orquestar capas entre múltiples modelos que de construir sistemas alrededor de un único proveedor.

Los datos más recientes de la Puerta de Enlace de IA muestran que las organizaciones distribuyen cargas de trabajo entre diferentes clases de modelos en lugar de depender de un único proveedor. Los modelos de código abierto procesan ahora el 29% de los tokens de la puerta de enlace, representando menos del 4% del gasto, mientras que los modelos de frontera siguen dominando las cargas de trabajo de mayor valor en razonamiento.

En lugar de adoptar un enfoque único, las organizaciones seleccionan diferentes modelos según la tarea en cuestión.

Más allá de las tablas de líderes

En las primeras etapas de la adopción empresarial de IA, se fomentaba la experimentación agresiva, aprovechar al máximo los modelos y explorar nuevos casos de uso. Eso aceleró la adopción, pero también dejó una premisa simple: cuanto más IA, mejor valor.

Tanto el volumen de tokens como el gasto crecieron casi un 30% en junio, pero el precio medio por token se mantuvo estable. Las organizaciones siguen invirtiendo fuertemente en IA, pero ya distribuyen de forma más estratégica las cargas de trabajo entre modelos de menor costo y modelos premium.

Ese patrón recuerda a cambios tecnológicos anteriores, como la era temprana de la computación en la nube, cuando las empresas se expandían agresivamente antes de refinar la eficiencia. La adopción de IA sigue una trayectoria similar, pero a un ritmo mucho más rápido.

Para los equipos de IA, la métrica más útil no es el costo, sino el resultado. Un flujo de trabajo que automatice semanas de esfuerzo de ingeniería puede ser mucho más eficiente que uno de menor costo pero que produzca salidas poco confiables y genere costos operativos downstream que anulen el ahorro inicial.

La pregunta no es cuánta IA puede usar un equipo, sino cuán efectivamente puede desplegar IA para resolver problemas significativos.

La IA está cambiando las cargas de trabajo

Los flujos de trabajo tradicionales de chatbots son relativamente simples: entrada, salida. Los sistemas agentivos se comportan de forma muy distinta.

Los agentes de IA razonan, llaman herramientas, ejecutan código, recuperan información, consultan bases de datos e iteran en múltiples pasos para completar una tarea. Cada una de esas acciones consume tokens.

Como resultado, las cargas de trabajo de IA se están convirtiendo cada vez más en impulsadas por agentes. Una única solicitud puede involucrar cadenas de llamadas a herramientas, bucles de validación y cambios de proveedor que ocurren tras bambalinas, lo que cambia por completo la economía.

Los agentes de respaldo son la carga de trabajo más cara por token en la puerta de enlace: representan el 5% de los tokens totales, pero el 14% del gasto total. Las cargas de trabajo más complejas y críticas para el negocio requieren mayor capacidad de razonamiento que las tareas de IA más simples.

Eso significa que un aumento en el uso no es siempre síntoma de ineficiencia. En muchos casos, refleja la creciente complejidad y capacidad de los sistemas de IA.

La infraestructura como diferenciador

A medida que las organizaciones adoptan más modelos y proveedores, mantener la fiabilidad se vuelve más complejo. Las tareas de razonamiento, los flujos de trabajo multiagente y las cadenas de orquestación pueden tensar a los proveedores de modelos. Si un modelo falla a mitad de ejecución, todo el flujo de trabajo puede estropearse.

Por ello, el enrutamiento de respaldo se está convirtiendo en una infraestructura esencial para IA en producción. En mayo, el informe de AI Gateway de Vercel encontró que alrededor del 3,5% de las solicitudes requerían redirigir por fallo, tiempo de espera o limitación de tasa.

Sin una capacidad de enrutamiento dinámico entre proveedores, esas solicitudes solo fallarían. Para los usuarios finales, la inestabilidad del proveedor es invisible, ya que a ellos no les importa de dónde provino el problema; solo experimentan si la aplicación continúa funcionando.

A medida que los sistemas de IA se vuelven más agentivos, la resiliencia y la orquestación se vuelven tan importantes como la capacidad de los modelos.

El fin de la era de un solo modelo

Las estrategias de un solo proveedor se vuelven difíciles de sostener. Se lanzan constantemente nuevos modelos, los precios cambian y el liderazgo en rendimiento pasa de tarea a tarea.

Un modelo que hoy es el mejor para la codificación puede no serlo para la recuperación, el soporte al cliente o las cargas de trabajo de razonamiento mañana.

Nada de esto se trata de elegir a un ganador. Se trata de construir sistemas de IA que puedan adaptarse y absorber el modelo que sea el mejor en cada momento, porque esa respuesta cambia rápido y seguirá cambiando.

Los equipos que tratan la orquestación multi-modelo como infraestructura son los que no tendrán que reconstruir cuando llegue el próximo modelo.

Este texto se integra como parte de una exploración sobre perspectivas innovadoras en tecnología.

from Latest from TechRadar https://ift.tt/5mMILPH
via IFTTT IA