
En la conversación con numerosas compañías, una queja se repite, aunque se exponga con palabras diferentes: los costos de la IA suben más rápido de lo presupuestado. Sus facturas de modelos parecen razonables por sí solas, pero entre las aprobaciones del board y los estados de cuenta mensuales de la nube, hay dinero que desaparece de maneras que nadie puede explicar por completo.
Aquí está el tema central que la gente suele no entender: la parte más cara de la IA no siempre es el modelo en sí. Es la infraestructura, la orquestación, los reintentos, GPUs ociosas, ventanas de contexto sobredimensionadas y decisiones de enrutamiento ineficientes que se sitúan entre la consulta del usuario y la respuesta final.
Esto es lo que llamo el impuesto oculto a la adopción de IA, y está creciendo más rápido de lo que muchas organizaciones advierten.
Tres números que deberían cambiar tu forma de pensar
Recientemente, en FinOps X en San Diego, una proyección de Goldman Sachs apareció en el escenario principal. El consumo global de tokens de las empresas ronda los seis cuatrillones de tokens. La proyección a tres años: 120 cuatrillones. No es un error de redondeo… es una expansión de 20x, y llega más rápido de lo que los marcos de gobernanza pueden gestionarlo.
En la misma conferencia se presentó el lanzamiento de Tokenomics Foundation (conmigo como miembro de la junta directiva). Es un organismo neutral dentro de la Linux Foundation dedicado específicamente a la economía del consumo de tokens de IA.
La comunidad FinOps, profesionales que han pasado gran parte de la última década construyendo disciplina en el gasto de cloud computing, reconoció que los tokens representan un problema fundamentalmente diferente. No es una versión más difícil de la optimización de costos en la nube. Es un problema distinto.
Aquí está la razón. Cuando una organización ejecuta una carga de trabajo en la nube, el costo es relativamente legible. Provisionas compute, se ejecuta y recibes una factura. La relación entre acción y gasto es trazable. Con los tokens de IA, esa relación se fractura en tres capas, y la mayoría de las organizaciones solo tiene visibilidad de una.
Producción → consumo → valor: las tres capas que la mayoría ignora
La primera capa es la producción. Antes de que cualquier modelo de IA responda a un prompt, tu infraestructura tiene que generar los tokens: clústeres de GPU, nodos de inferencia, políticas de autoescalado, configuraciones de Kubernetes. Estos son tus fábricas de tokens. Su eficiencia, o su falta de ella, determina el costo base de todo lo que sigue. Un nodo GPU al 30% de utilización es una fábrica cara funcionando a un tercio de capacidad.
La segunda capa es el consumo. Aquí es donde reside la economía contraria a la intuición, y es en lo que paso la mayor parte de mi tiempo pensando. Dos organizaciones pueden enviar prompts idénticos a diferentes agentes de código y obtener costos radicalmente diferentes, dependiendo de cómo gestionen el contexto, la caché, los reintentos, el enrutamiento y la infraestructura que respalda la inferencia.
La longitud del prompt, el uso de la ventana de contexto, la estrategia de caché y las decisiones de enrutamiento del modelo se multiplican. La suposición común de que enrutar una tarea a un modelo más barato siempre ahorra tokens suele ser incorrecta con frecuencia suficiente como para importar. Una decisión de enrutamiento que invalida una caché cálida puede hacer que una llamada a un modelo “más barato” sea más cara que la opción frontier que se suponía reemplazar. Estos son efectos de segundo orden. No aparecen en los paneles estándar, pero sí en tu factura mensual.
La tercera capa es el valor. Es en la que los equipos FinOps se sienten cómodos, y es la que menos importa hasta que se controlen las dos anteriores. Mapear el gasto de tokens a los resultados del negocio es una disciplina legítima e importante. Pero no puedes gobernar en la capa de valor sin instrumentación en las capas de producción y consumo. Estás haciendo matemáticas con entradas incompletas.
¿Por qué el 85% del gasto en IA probablemente está mal asignado?
Un patrón que veo de forma constante: las organizaciones tratan a los modelos frontier, los más potentes y caros, como su infraestructura predeterminada. A todas las tareas se les asigna el mismo modelo. No hay lógica de enrutamiento, ni jerarquía, ni distinción arquitectónica entre trabajo que realmente requiere la capacidad total de un modelo frontier y trabajo que no.
Por mis observaciones en empresas que implementan IA a gran escala, aproximadamente el 15% de las tareas de desarrollo de software requieren capacidades de modelo frontier. El 85% restante de tareas rutinarias de desarrollo, resúmenes, clasificación y recuperación pueden ser manejadas por modelos más pequeños, más rápidos y menos costosos, si tienes la infraestructura para tomar esas decisiones de forma inteligente y automática.
La clave no es seleccionar manualmente mejores modelos. La selección manual no escala y degrada la experiencia del desarrollador al introducir fricción en el momento de avanzar rápido. La clave es construir infraestructura que tome decisiones de enrutamiento por ti: que entienda la tarea, la dirija a la capa de modelo adecuada, evalúe la calidad de la salida y escale si es necesario. Tú defines el resultado que necesitas. El sistema maneja la economía para alcanzarlo.
Este es la dirección en la que se mueve la industria, y las organizaciones que construyan esta capacidad primero tendrán una ventaja estructural de costos que se ampliará con el tiempo.
La factura llega al final. Y te das cuenta de que algo ha ido terriblemente mal
Hay una frase que he empezado a usar con los clientes para capturar el problema central: la factura llega al final.
Cuando ves la factura del proveedor de modelos, las decisiones de costo ya se tomaron semanas atrás en las configuraciones de infraestructura, políticas de autoescalado y arquitecturas de prompts que nadie ha revisado desde el despliegue inicial.
La lógica de reintentos se ejecuta en segundo plano cuando un servicio upstream se ralentiza. Los nodos de GPU se reservaron para tráfico pico que nunca llegó. El flujo accionable, donde una sola solicitud de usuario se desglosa en docenas de llamadas a modelos, cada una facturada por separado y no visible en la herramienta que generó la solicitud original.
Estos costos no viven en la factura del modelo. Viven en la capa de infraestructura, en la capa de consumo y en la brecha entre cómo el equipo piensa que funcionan los sistemas de IA y cómo se comportan en producción. No puedes gobernar lo que no puedes ver. Y ahora mismo, la mayoría de los equipos solo observa una capa de un problema de tres capas.
Cuando la IA pasa de copiloto a compañero, las apuestas se multiplican
Existe un cambio en curso que hace todo esto aún más urgente. Las implementaciones de IA más recientes en las empresas fueron diseñadas como asistentes que aceleran el trabajo individual al manejar el primer borrador, la siguiente sugerencia y el boilerplate. Un humano permanecía en el bucle en cada paso significativo. La economía estaba limitada por cuántas personas usaban la herramienta y con qué frecuencia.
Los agentes autónomos cambian por completo el perfil económico. Cuando un sistema de IA puede recibir un objetivo, elaborar un plan, ejecutar un trabajo de múltiples pasos, evaluar sus propias salidas y iterar hasta la finalización sin intervención humana en cada etapa, ya no operas con un asistente. Estás ejecutando algo más cercano a un compañero de trabajo, que opera de forma continua, escala horizontalmente y genera consumo de tokens a tasas que las interacciones individuales nunca alcanzaron.
La transición de copiloto a compañero ya ocurrió. Y las implicaciones de gobernanza son significativamente más serias. Un copiloto con una mala economía de tokens te cuesta algo de eficiencia. Un agente autónomo con mala economía de tokens ejecuta esa ineficiencia a gran escala, de forma continua, sin provocar la fricción natural que haría a un humano detenerse o cambiar de enfoque. La disciplina de infraestructura y la optimización de tokens deben estar en su lugar antes de que las cargas de trabajo autónomas escalen, en lugar de ser añadidas después cuando llega la factura.
El mandato para los equipos de infraestructura
La respuesta adecuada a este problema no es más tableros de mando. Tener más visibilidad sobre un sistema que no puedes controlar solo genera una factura más detallada; llega con el mismo retraso y no cambia las decisiones que ya se tomaron en la upstream.
Lo que realmente necesitan los equipos de infraestructura es control que opere en la capa donde se determinan los costos, no donde se reportan. Eso significa gestión autónoma de cargas de GPU e inferencia, dimensionamiento continuo para igualar la demanda real más que las suposiciones máximas, absorción de patrones de consumo irregulares que generan trabajos agentivos y mover la capacidad de cómputo entre proveedores cuando un entorno se convierte en cuello de botella.
Esto es especialmente urgente ahora, porque la transición de copiloto a compañero no da un periodo de gracia para retroalimentar disciplina. Los agentes autónomos no hacen pausas. No se irritan y eligen un enfoque distinto. Ejecutan la ineficiencia que construiste en ellos a escala, de forma continua, hasta que algo externo los detenga.
Así que la próxima fase de IA empresarial se define por quién puede desplegar modelos de forma eficiente. A medida que los sistemas de IA se vuelven más autónomos y el consumo de tokens acelera, la ventaja competitiva proviene de entender la economía completa de la IA, y no solo el precio de una llamada a un modelo.
Porque cuando llega la factura, las decisiones que la moldearon ya se tomaron.
Utiliza el mejor almacenamiento en la nube para gestionar tus datos.
Este artículo se produjo como parte de TechRadar Pro Perspectives, nuestro canal para presentar las mejores mentes de la industria tecnológica actual.
Las opiniones aquí expresadas son las del autor y no necesariamente las de TechRadarPro o Future plc. Si estás interesado en contribuir, descubre más aquí: https://www.techradar.com/pro/perspectives-how-to-submit
from Latest from TechRadar https://ift.tt/VAwCdsY
via IFTTT IA








