El investment en IA a escala global sigue creciendo y, según IDC, superó los 300 mil millones de dólares en 2025. En este contexto, el IT empresarial permanece centrado en apoyar el desarrollo de modelos de entrenamiento, con arquitecturas dominantes basadas en grandes clústeres de GPU y compute de alta densidad. Sin embargo, la inferencia de IA está emergiendo como la carga de trabajo dominante, y la arquitectura que respalda los modelos en producción, a escala y para usuarios y sistemas reales ha pasado a ser el futuro de la IA.
La demanda de inferencia ya existe: Deloitte señala que la inferencia representa aproximadamente dos tercios del cómputo, mientras que McKinsey proyecta que representará entre el 30% y el 40% de la demanda total de centros de datos para 2030. Sin embargo, la infraestructura dedicada todavía no está completa.
La inferencia es más que un entorno de entrenamiento reducido
Desde una perspectiva de TI, lo que requieren entrenamiento e inferencia es prácticamente opuesto. Las empresas han facilitado el entrenamiento de IA mediante data centers con clústeres de GPU de gran capacidad, para maximizar densidad de potencia y comunicaciones internas de alta velocidad dentro de una única sala.
La inferencia, por el contrario, se caracteriza por un flujo continuo de información y demanda impredecible de los usuarios, en lugar de una carga de trabajo predefinida. Una vez que llegan las solicitudes, se necesita compute geográficamente distribuido que responda y se escale ante demandas en tiempo real.
Debido a que la inferencia opera 24/7 y requiere respuestas en milisegundos para los usuarios finales, se apoya en ethernet de consumo, sitios edge distribuidos geográficamente y conexiones de red de baja latencia, en lugar de un rendimiento aislado dentro de un único data center. Las elecciones de diseño que optimizan un data center para entrenamiento pueden ser contraproducentes para la inferencia a gran escala.
La estructura de costos también es diferente. El entrenamiento es un gasto de capital único: una vez construido el modelo, ese costo queda amortizado. Las organizaciones que siguen optimizando para el entrenamiento deben enfrentar la realidad de que tienen una base incorrecta.
La inferencia, en cambio, representa un costo operativo recurrente que escala con cada usuario, consulta, interacción de agente y más. Es más parecido a un organismo vivo que debe crecer junto con la carga de trabajo que definirá la economía de la IA.
Los agentes crean una nueva tensión en la arquitectura
Los agentes de IA autónomos agravan el déficit de infraestructura. No generan una única respuesta y luego se detienen; planifican, ejecutan en múltiples pasos, llaman herramientas externas, coordinan otros agentes y transmiten salidas entre sistemas. El efecto en cascada de una carga de trabajo basada en agentes multiplica el tráfico de datos que atraviesa una red. A medida que crece la demanda de soluciones basadas en agentes, también lo hace la demanda de infraestructura de soporte.
Esta realidad ya tiene consecuencias. Gartner prevé que, para fines de 2026, el 40% de las aplicaciones empresariales estarán integradas con agentes específicos de tareas, mientras IDC proyecta que el uso de agentes se multiplicará por diez para 2027, con millones de llamadas token y API. La inferencia actúa como un multiplicador del tráfico norte-sur de la red, y las arquitecturas WAN y de centros de datos tradicionales no están diseñadas para ello. McKinsey señala que la mayoría de WANs empresariales no pueden soportar los patrones de tráfico de IA y deben evolucionar, ya que IA pasa a ser la segunda mayor prioridad de inversión en infraestructura.
El tráfico de ráfaga (burst) es otro desafío para la tensión arquitectural. Las cargas basadas en agentes no fluyen de manera constante; son picos que llegan y desaparecen. Un único evento de orquestación puede disparar decenas de llamadas API en paralelo.
Estas características provocan que redes dimensionadas para cargas promedias alcancen rendimientos máximos cuando los agentes coordinan a escala, generando problemas de latencia y confiabilidad que hacen fracasar pilotos de IA antes de llegar a producción. Para prosperar en la era de IA, las empresas deben construir la infraestructura adecuada desde cero.
La inferencia es ahora el caso de uso crítico de CPU
La arquitectura orientada a la inferencia debe empezar por la capa más básica: el hardware. Las CPUs son críticas para la planificación, programación, coordinación de llamadas a herramientas y bucles de razonamiento de múltiples pasos que definen las cargas basadas en agentes.
Aunque el énfasis histórico se centró en el mercado de GPU durante el auge del entrenamiento, la necesidad de CPUs en las cargas de inferencia crece a medida que éstas aumentan en escala. Las CPUs dejan de ser un soporte para convertirse en un filtro crucial de la capa de orquestación. Visto desde una perspectiva puramente de agentes, las CPUs de servidor con alto conteo de núcleos pueden gestionar la carga de manera más rentable que los aceleradores GPU. Pero no es posible prescindir de ninguno: la inferencia sigue necesitando la funcionalidad de la GPU; la capacidad de la CPU es el cuello de botella que muchas organizaciones no están considerando.
Alinear cómputo, red y almacenamiento es clave
La realidad es que los casos de uso de IA están generando ROI a menudo bajo en muchos escenarios. Una encuesta de Gartner entre líderes de infraestructura y operaciones mostró que solo el 28% de los casos de uso de IA logran plenamente sus objetivos de ROI, mientras el 20% falla por completo. La principal causa es esperar demasiado rápido de una infraestructura que no puede soportar la carga.
¿Cómo evitar esa trampa? Es crucial dedicar tiempo a establecer la infraestructura subyacente antes de lanzarse a construir sistemas que no se pueden soportar. Invertir en compute, red y almacenamiento dedicados que funcionen como recursos gestionados de forma independiente es la clave.
La inferencia en producción requiere que los tres elementos funcionen en conjunto, con compute ejecutando modelos, almacenamiento determinando la rapidez con que están disponibles el contexto, embeddings y datos de recuperación, y la red definiendo si compute y storage pueden comunicarse externamente con la latencia adecuada.
Las organizaciones que logren hacer esta distinción temprano estarán mejor preparadas para la siguiente fase de IA y dedicarán menos tiempo a gestionar fallos de infraestructura en producción, y más tiempo a generar valor mediante la inferencia de IA.
Este artículo forma parte de TechRadar Pro Perspectives, nuestra vía para presentar a las mentes más destacadas de la industria tecnológica actual.
Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadar Pro o Future plc. Si te interesa contribuir, obtén más información aquí: https://www.techradar.com/pro/perspectives-how-to-submit
from Latest from TechRadar https://ift.tt/aVz0pLX
via IFTTT IA
