Not everyone owns a Ferrari, but I’m sure those who do rarely use it to pick their children up from school. It is less energy-efficient, not as safe or spacious and may garner unwanted attention. The analogy is simple: in AI, you do not always need the most powerful tool for everyday tasks.

It is a trap many businesses have fallen into since the first wave of AI, when early adopters were trying to prove they could access the cutting edge of the technology. Everyone wanted to have the most powerful AI model, the most sought-after accelerators and the fastest route from the pilot stage to implementation.

But as AI moves from pilot into production, new costs are emerging, largely associated with usage. A proof-of-concept used by a handful of people can look cheap, but running the same application thousands of times a day, o por agentes que requieren múltiples modelos para una tarea, es una proposición completamente diferente.

The mistake is not owning a “Ferrari”, pero usar el mismo modelo, depender del mismo hardware o seguir la misma ruta de implementación para cada proyecto. Ahí es donde la próxima fase de la IA empresarial se vuelve interesante, con nuevas eficiencias que surgen al hacer coincidir cada carga de trabajo con el modelo y acelerador más adecuado, en lugar de echar mano del motor más grande.

Cada modelo tiene un papel distinto

Existe una idea popular entre algunas empresas de que la IA es un ejercicio de clasificación, donde se debe estandarizar lo más posible en el modelo más inteligente disponible. En teoría suena ordenado, pero ignora las diferencias complejas entre cada tarea y carga de trabajo de IA.

Por ejemplo, un copiloto de servicio al cliente debe responder lo suficientemente rápido como para que el usuario no note la maquinaria detrás. Un trabajo de resumén de documentos grande puede esperar más, con el usuario esperando que la IA “piense” con más cuidado. Las aplicaciones gubernamentales de IA probablemente priorizarán la soberanía y la propiedad, haciendo que dónde y cómo se ejecutan las cargas de trabajo sea tan importante como el rendimiento.

Esta lógica se aplica desde el tamaño del modelo hasta la infraestructura subyacente. Los modelos más pequeños pueden manejar con frecuencia tareas rutinarias de clasificación, extracción y enrutamiento de forma más rápida y a menor costo, mientras que los modelos de tamaño medio soportan una gran cantidad de razonamiento cotidiano. Los modelos más grandes y potentes son importantes, pero pueden usarse de forma más selectiva, cuando su capacidad y costo se justifican —por ejemplo, en razonamiento complejo, planificación estratégica profunda y tareas de alto riesgo donde la precisión y el matiz son críticos.

Asimismo, para maximizar la eficiencia de tokens, las empresas deberían considerar cómo se comportan las diferentes cargas de trabajo y por qué no todas requieren el mismo tipo de acelerador. Con una diversidad de silicio a disposición, se pueden seleccionar combinaciones de modelos y hardware para satisfacer diferentes requisitos, ya sea priorizando velocidad, rendimiento, costo o control.

Por tanto, en lugar de adaptar cada carga de trabajo a una preferencia asumida, los equipos empresariales deben partir del resultado deseado. Un minorista que ejecuta un asistente de servicio al cliente tendrá prioridades muy diferentes a un departamento gubernamental que maneja información sensible.

El primero probablemente priorizará el tiempo de respuesta, la experiencia del usuario y el costo a escala, mientras que el segundo otorga mayor peso a la soberanía, la seguridad y el lugar donde se ejecuta la carga de trabajo. La infraestructura debe dejar suficiente flexibilidad para adaptar diferentes cargas de trabajo y cambios en los requisitos sin quedar atada a una única ruta.

Construir sobre una diversidad de silicio

Si una organización invierte mucho en un único tipo de acelerador, puede ser tentador ejecutar todas las cargas de trabajo a través de él. Este es el terreno de las suposiciones erróneas a gran escala que pueden disparar costos. Usar la misma pieza de hardware para cada tarea puede significar pagar por rendimiento que una de ellas nunca utiliza.

Las aplicaciones de baja latencia requieren hardware optimizado para la capacidad de respuesta, mientras que las cargas de alto volumen pueden beneficiarse más de la eficiencia de rendimiento y costo. Ejecutarlas todas en la misma infraestructura puede significar pagar por rendimiento que una de ellas nunca utiliza.

En la mayoría de los casos, construir sobre una diversidad de silicio – aceleradores heterogéneos que pueden alinearse a cada carga de trabajo – permitirá a las empresas tomar decisiones de infraestructura más inteligentes. En algunos escenarios, las organizaciones pueden incluso preferir combinar hardware de diferentes proveedores que se complementen entre sí. Las GPU de NVIDIA tendrán sentido en muchos casos empresariales, pero la elección importa.

Poder seleccionar entre proveedores como AMD, Qualcomm, Microsoft, Cerebras y otros permite a las empresas alinear la infraestructura a sus necesidades específicas y mejorar la eficiencia. Cerebras, por ejemplo, ha ejecutado gpt-oss-120b de OpenAI a alrededor de 3,000 tokens por segundo, un nivel de velocidad especialmente valioso para aplicaciones donde el tiempo de respuesta es crítico.

El entorno de despliegue también importa, particularmente en grandes empresas o a nivel gubernamental, donde una gran cantidad de información sensible debe permanecer dentro de una jurisdicción específica. En Europa, hay una fuerte demanda de infraestructura desarrollada en el mercado local y operada conforme a requisitos locales.

Para empresas que operan en varios mercados, eso significa que las decisiones de infraestructura no pueden separarse de cuestiones de residencia de datos y control local. Cada vez más, la respuesta es una infraestructura que sea soberana, con aceleradores en el país, precios basados en consumo y sin necesidad de compromiso de capital inicial, en lugar de una única decisión de hardware tomada una vez y mantenida durante años. Quedarse atado a una única ruta deja poco margen para responder cuando esos requisitos cambian.

Entendiendo los tokens de IA y la eficiencia

Otra consideración es que el gasto en IA se comporta de manera diferente al software empresarial tradicional, donde una licencia tiene un costo relativamente predecible. Las empresas enfrentarán una factura de IA mayor cuando un agente realiza más pasos, o cuando un modelo potente se utiliza para más tareas de las necesarias, lo que convierte al uso en un mal indicador de valor.

Las empresas ya están reevaluando cuántos tokens pueden consumir los empleados, especialmente en roles de codificación. Uber, por ejemplo, supuestamente utilizó todo su presupuesto de IA 2026 en cuatro meses, principalmente en Claude Code. La lección es que dar más tokens a más personas no equivale necesariamente a más valor.

La IA agentiva ofrece otro ejemplo. A diferencia de un empleado que pregunta de forma ocasional, un agente de IA puede recorrer una larga secuencia de pasos, leer archivos, generar código, probarlo y revisar la salida en busca de errores. La IA agentiva, especialmente en codificación, puede ser costosa en comparación con el razonamiento y el chat, con un consumo de tokens altamente variable donde un mayor consumo no siempre mejora la precisión.

Como contar tokens no ofrece la imagen completa, las empresas deben medir el éxito en resultados y no solo en rendimiento o capacidad. Puede ser útil usar modelos más rápidos, hardware más potente o agentes de mayor duración, pero solo cuando el resultado justifica lo que consumen.

Para un agente de servicio al cliente, eso podría significar el costo de resolver un caso; para un copiloto de empleados, si los empleados humanos están avanzando más rápido o de forma más completa en trabajo significativo.

Sin embargo, el objetivo no es reducir el uso de tokens a cero. Los responsables de TI deben comprender exactamente por qué están pagando y si tiene un claro caso de negocio. Esa es la definición de eficiencia en IA hacia la que debemos avanzar. En lugar de buscar el uso máximo o el costo mínimo, CIOs y sus equipos deben asegurarse de que cada carga de trabajo aporte valor suficiente para justificar la inversión que implica ejecutarla.

Guardando el Ferrari para la pista

Siempre habrá cargas de trabajo de IA que requieren el modelo más grande y potente, el acelerador más rápido o la opción de despliegue más cara. El punto es dejar de elegir por defecto. La siguiente fase de producción generalizada de IA requiere un enfoque más deliberado para cada carga de trabajo.

Comience por la tarea, elija un modelo capaz de hacerla bien, ejecútelo en el acelerador que se ajuste a sus necesidades de rendimiento y asegúrese de que el entorno de despliegue cumpla con los requisitos de seguridad y soberanía. Luego mida si el resultado vale lo que cuesta.

Este enfoque puede no tener el mismo impacto en titulares, pero es lo que separa a las implementaciones empresariales y gubernamentales resilientes y a escala de las meras experimentaciones. A medida que la IA se integre en flujos de trabajo diarios, la eficiencia provendrá cada vez más de tomar decisiones más inteligentes sobre dónde se necesita cada capacidad, y de contar con la diversidad de modelos, silicio y opciones de despliegue para actuar en consecuencia.

Hemos destacado las mejores herramientas de IA.

Este artículo se produjo como parte de TechRadar Pro Perspectives, nuestro canal para presentar a las mentes más brillantes de la industria tecnológica actual.

Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, descubra más aquí: https://www.techradar.com/pro/perspectives-how-to-submit

from Latest from TechRadar https://ift.tt/Wxv47zi
via IFTTT IA