El ritmo de la IA comenzó con una dirección bastante clara: ampliar tamaño y rendimiento. Las primeras oleadas se centraron en construir modelos más grandes, pero el mundo de la inteligencia artificial y su adopción por parte de empresas, pymes y consumidores ha cambiado el enfoque hacia la eficiencia. Hoy, las compañías de IA y los desarrolladores de modelos persiguen una meta mucho más exigente: la eficiencia. Costo por token, rendimiento por vatio, rendimiento por entrada; todo se mide para impulsar la máxima eficiencia.

Una frontera clara es la separación entre entrenamiento e inferencia. Mientras que el entrenamiento de modelos sigue demandando enormes recursos, la eficiencia en la inferencia empieza a mejorar, y una compañía llamada Rebellions propone que una orientación hacia la inferencia podría abrir un nuevo mercado. Sus racks consumen alrededor de 16-20 kW, frente a unos 120 kW de los sistemas líderes basados en GPU para inferencia, que en muchos casos resultan excesivos. Además, se afirma que el coste por rack de Rebellions ronda una tercera parte, haciendo la inferencia en IA más accesible y permitiendo una adopción más amplia en las empresas.

Este cambio de hardware podría marcar el inicio de una IA verdaderamente eficiente

La memoria es otro campo de batalla: modelos enormes de billones de parámetros ponen a prueba los límites del hardware actual y la dependencia entre memoria y cómputo. Rebellions afirma estar trabajando con SK Hynix y Samsung para alinear múltiples hojas de ruta, en lugar de responder a cambios en la arquitectura de forma reactiva. En última instancia, la realidad actual sobre el paisaje de fabricación de chips está evolucionando, y Rebellions identifica dos cambios clave que ocurren de forma simultánea. Primero, el hardware de entrenamiento y el de inferencia comienza a diferenciarse de manera más marcada. Segundo, alinear múltiples hojas de ruta de hardware en memoria, cómputo y más promoverá una mayor eficiencia no solo en implementaciones, sino también en el desarrollo de nuevos productos.

Conversé con Sunghyun Park, CEO de Rebellions, para entender por qué la inferencia y el entrenamiento se están separando y por qué la apertura a estándares abiertos y la colaboración resultan cruciales para una eficiencia global.

– El mercado de chips de IA parece dividirse entre arquitecturas centradas en el entrenamiento y en la inferencia. ¿Por qué ocurre y por qué ahora?
– Existe una separación porque entrenamiento e inferencia son problemas fundamentalmente distintos. El entrenamiento crea un modelo; sucede una vez, involucra a un reducido número de organizaciones y recompensa la flexibilidad computacional bruta porque la carga de trabajo evoluciona con la investigación. La inferencia, en cambio, es el uso real de un modelo: cada consulta, cada transacción, cada decisión que un sistema de IA toma en producción. Ocurre miles de millones de veces al día en casi todas las industrias y es donde la IA pasa de la investigación a la generación de ingresos. Estos dos trabajos requieren física distinta: el entrenamiento exige máximo FLOPS; la inferencia exige eficiencia, fiabilidad y una economía que soporte a escala.
– La industria impuso un chip de entrenamiento para esa segunda función por defecto. Ahora que la inferencia es el mercado más grande y urgente, ese compromiso ya no se sostiene. Las empresas y los gobiernos quieren saber cuán rápido pueden desplegar. Por eso la conversación se está partiendo.

– ¿Dónde encaja Rebellions en esa división y qué diferencia fundamental ofrece su enfoque de inferencia frente a la competencia?
– Diseñamos para la inferencia desde el inicio. La mayoría de las primeras compañías de chips IA surgieron durante el auge de entrenamiento 2016-2017 y luego adaptaron sus arquitecturas para la inferencia. Nosotros empezamos en 2020, tras esa ola, con la inferencia como único objetivo, diseñando en torno a lo que la IA de producción realmente necesita, en lugar de adaptar un chip de entrenamiento.
– Los números reflejan esa decisión: nuestros racks consumen 16-20 kW frente a ~120 kW de sistemas líderes de inferencia basados en GPU, aproximadamente un sexto de consumo en un mercado donde la energía es la restricción principal para la mayoría de operadores. El costo de adquisición ronda los 10 millones de dólares por rack frente a unos 30 millones, aproximadamente un tercio. Nuestra arquitectura basada en chiplets escala de forma horizontal en lugar de depender de un único dispositivo que soporte el tamaño total de un modelo, lo que importa hoy que las cargas de producción son modelos de mezcla de expertos de billones de parámetros, no los pocos cientos de millones de parámetros de la primera generación.
– También estamos enfocados en una arquitectura centrada en la memoria en lugar de en el cómputo. El enfoque por chiplet busca mantener la memoria junto a la lógica a medida que los modelos escalan, no solo añadir núcleos. Tenemos tres años de despliegues en producción detrás de esa arquitectura, no solo pilotos. Esa es la parte más difícil de replicar: cargas de trabajo reales, funcionando a escala, hoy.

– Hace un año, todos en IA hablaban de chiplets. Ahora la conversación se ha desplazado a la memoria. ¿Qué cambió?
– La conversación sobre chiplets se centraba en la arquitectura: dividir un chip en piezas modulares que escalan de forma independiente, en lugar de apostar todo a un único die monolítico. Eso importó porque permitió a la industria superar la premisa de que un único dispositivo siempre sería lo suficientemente grande para ejecutar cualquier modelo. Esa suposición se rompió con la llegada de la mezcla de expertos y de modelos de billones de parámetros. La memoria se convirtió en la capa subyacente. Una vez resuelta la cuestión arquitectónica, la restricción se volvió física: ¿es posible obtener suficiente memoria de alta velocidad (HBM) para materializar lo diseñado? La memoria HBM es memoria apilada en 3D y la cercanía física entre ella y la lógica es tan importante como el cómputo en sí.
– Todas las compañías de aceleradores IA compiten por la misma oferta de memoria en este momento, y la demanda supera la capacidad de los fabricantes de memoria. Es el problema de co-diseño memoria-lógica: la arquitectura y la oferta de memoria ya no son decisiones separables. Nosotros estamos en una posición distinta: nuestras relaciones con los inversores se basan en la oferta, no solo en el capital. Nuestros socios de memoria también son inversores, y co-diseñamos nuestra arquitectura de memoria directamente acorde a sus hojas de ruta, en lugar de comprar por diferimiento.
– Nuestro enfoque con chiplets también se desarrolla en función de la hoja de ruta del proceso de nuestro socio foundry. Mientras el resto de la industria luchaba por la asignación de recursos, ya teníamos un asiento en la mesa del diseño gracias a esas relaciones. Eso significa co-diseño de memoria y lógica, no solo suministro asegurado. El giro de chiplets a memoria ha movido la restricción real de la arquitectura a la oferta física.

– ¿Tu stack funciona sobre marcos abiertos como vLLM, PyTorch, Kubernetes y OpenShift? ¿Eso facilita la adopción o es una simplificación excesiva?
– En su mayor parte es cierto, pero “plug-and-play” subvalora lo deliberado que fue esa elección y simplifica en un aspecto específico. Construimos completamente sobre estándares abiertos: vLLM, PyTorch, Kubernetes y Red Hat OpenShift. Somos una de solo dos compañías de chips en la PyTorch Foundation y la única empresa aceleradora IA totalmente integrada con OpenShift. Un desarrollador que ya sabe ejecutar inferencia en infraestructuras existentes sabe ejecutarla también en nuestra plataforma; no hay runtime propietario que aprender y no hay proyecto de migración. Esa parte sí se acerca a un entorno plug-and-play. Los primeros jugadores de chips IA crearon pilas de software propietarias y millones de dólares se invirtieron en software que no sobrevivió; entramos al mercado cuando el ecosistema de código abierto ya estaba maduro y elegimos construir sobre él en lugar de bifurcarlo.
– Donde se simplifica demasiado es asumiendo que eso significa cero trabajo de integración. Las implementaciones de producción aún requieren validar el rendimiento en cargas de trabajo y escalas específicas, y eso exige ingeniería real, aunque la pila sea compatible. Lo que eliminan los estándares abiertos es el riesgo de bloqueo (lock-in) y los costes de reentrenamiento, no el trabajo de despliegue en sí.

– ¿Cuáles son los mayores retos para las organizaciones al intentar ejecutar inferencia de IA fuera de plataformas de hyperscale?
– La mayoría de las organizaciones no operan como hyperscales; gran parte de la infraestructura de inferencia disponible asume esa condición. El primer reto es físico: la mayoría de las empresas, operadores de telecomunicaciones y gobiernos ya tienen data centers; no pueden esperar dos o tres años ni invertir cientos de millones en nuevos centros ni reformar instalaciones para refrigeración líquida. La pregunta práctica es si la inferencia puede ejecutarse en lo que ya tienen: racks estándar, refrigeración por aire y presupuestos de energía existentes.
– El segundo reto es de soberanía: cada vez más, las organizaciones quieren traer el cómputo a donde ya reside su data, en lugar de mover datos sensibles a la nube. Eso introduce dependencia frente a grandes hyperscalers. Hemos construido específicamente para cubrir ese hueco: nuestros sistemas funcionan entre 4-5 kW por servidor en infraestructuras de aire, sin necesidad de rediseño de instalaciones. SK Telecom ha operado con nuestro hardware durante casi tres años, escalando de un clúster pequeño a cerca de 100 racks y gestionando 50 millones de API diarias, completamente dentro de su red existente. KT Cloud ejecuta inferencia en tiempo real en sistemas de CCTV a nivel nacional. Ambos ejemplos demuestran que no es necesario un centro de datos de hyperscale para alcanzar volúmenes relevantes de IA.

– Cerebras y otras IPOs en el espacio han puesto a la infraestructura de IA en el foco público. ¿Qué dicen estas OPV sobre el mercado y dónde podría haber un desajuste entre hype y despliegue real?
– Indican a los mercados públicos que la infraestructura IA es una clase de activos duradera e invertible, no solo una apuesta respaldada por capital. Esa validación beneficia a todo el sector, incluida nuestra empresa: demuestra que el silicio construido específicamente para IA es real, se distingue de GPUs de propósito general y merece capital independiente. El flujo de capital hacia el sector es necesario, pero no determina por sí solo quién gana. Las compañías que definan la próxima década no serán necesariamente las más financiadas, sino las que tengan fundamentos reales: clientes de producción, despliegue a escala, economía probada y relaciones de suministro duraderas. Eso es un filtro distinto del tamaño de la recaudación, y es el que importará cuando comience el escrutinio del mercado público. Hemos trabajado hacia ese filtro desde 2020, con despliegues de producción y relaciones de suministro con socios de foundry y memoria que aseguramos antes de que la competencia discutiera la misma asignación. El capital es un impulso para todos los actores serios en inferencia, pero la pregunta real es si se desplegará de forma eficiente en los próximos años.

– Mirando hacia el futuro, ¿qué tendencias estáis observando con mayor atención en infraestructura de IA e inferencia para los próximos 12-24 meses?
– La construcción dentro de infraestructuras existentes continúa acelerándose; la mayoría de las empresas, operadores de telecomunicaciones y gobiernos no esperan nuevos data centers. Están desplegando inferencia en instalaciones ya existentes, y eso probablemente se convierta en la historia mayor, aunque reciba menos titulares que las noticias sobre hyperscalers.
– La memoria sigue siendo la restricción física. La oferta de HBM no ha alcanzado la demanda, y a medida que los modelos evolucionan hacia arquitecturas de mezcla de expertos con billones de parámetros, esa presión aumenta en lugar de disminuir. Las compañías con relaciones de suministro aseguradas y estratégicas tendrán una ventaja real en los próximos dos años, no solo una ventaja de costo.
– Los chiplets son el camino para llegar allí. Ya hemos producido en masa una paquete de cuatro chiplets de avanzada—un nivel de integración con el que Nvidia ha tenido problemas para alcanzar. El siguiente nivel es la optimización de rendimiento de HBM3E (memoria 3D apilada) en estrecha colaboración con co-diseño de memoria y cómputo desde el inicio, no como un añadido posterior.
– También está en mi radar que, a medida que más empresas salen a bolsa en este espacio, el capital se valorará en función de fundamentos de producción más que de rondas de financiación. Y la eficiencia importa: a medida que la inferencia se abarata por token, la demanda no se reduce; al contrario, se expande, porque nuevos casos de uso se vuelven viables a menor costo. Eso ha sido cierto para todas las plataformas de cómputo en la historia, y no espero que la inferencia de IA sea una excepción.

[Imágenes adjuntas.xlsx / representación visual]

from Latest from TechRadar https://ift.tt/ZjPguEW
via IFTTT IA