Deja de contar tokens: mide los resultados que realmente importan



Imagina un equipo de NASCAR cuyo liderazgo decide que ganará el coche que más combustible consuma. El jefe de mecánicos ajusta cada motor para que funcione de forma derrochadora. Los pilotos pisan el acelerador y el freno a la vez. La telemetría registra un consumo récord. El coche termina en último lugar.

Durante un tiempo, algunas empresas aplicaron una lógica parecida a la medición de la IA. Crearon clasificaciones internas que ordenaban a los empleados según la cantidad de tokens que consumían. Un empleado de Meta incluso elaboró una lista de los principales «campeones del token», que retiró discretamente después de que las cifras trascendieran. Para la primavera, la tendencia ya tenía nombre: *tokenmaxxing*, o maximizar el consumo de tokens.

Al comienzo del verano llegó la reacción previsible. Empresas como Uber reconocieron que habían agotado todo su presupuesto anual para IA en cuestión de meses.

Más recientemente, el péndulo se ha inclinado hacia el extremo opuesto: usar el mínimo posible de tokens, una práctica que podríamos llamar *tokenminning*. Pero el problema es el mismo. Si el liderazgo define el éxito como consumir la menor cantidad de combustible, el coche ganador nunca saldría de la línea de salida.

Quemar tokens o ahorrarlos nunca debería ser el objetivo final. La meta es lanzar más productos, con mayor calidad y con las mismas personas o incluso menos. La responsabilidad de los líderes es definir el camino estratégico hacia esa meta y diseñar métricas que ayuden a recorrerlo.

## Por qué las clasificaciones no dan en el blanco

Una métrica de vanidad es una cifra que luce bien en una presentación, una clasificación o un panel de control, pero que no cambia la manera de dirigir el negocio. En el ámbito de la IA, incluso las métricas técnicas y complejas pueden convertirse en métricas de vanidad.

He visto, por ejemplo, índices de utilización de GPU que presumen de la capacidad de procesamiento acumulada, sin demostrar si esta resuelve problemas reales. También he visto recuentos de funciones de IA lanzadas por trimestre, mientras se añade un resumen automático con un icono brillante a cada producto antiguo para engordar las notas de lanzamiento.

Estas métricas pueden parecer rigurosas, pero están desconectadas del trabajo y de sus resultados. Cuando los líderes no vinculan las cifras con los objetivos finales, los equipos de ingeniería pueden acabar persiguiendo aquello que resulta más fácil de contar.

## El mapa de carrera que falta

El trabajo completado solo importa si es el trabajo adecuado. Cuando la dirección celebra una «adopción del 95 %» de GitHub Copilot porque se han distribuido las licencias, puede confundir el acceso superficial con un uso efectivo. Y quizá concluya, sin pruebas suficientes, que la productividad se ha disparado. En realidad, está midiendo quién tiene acceso a la herramienta, no quién la utiliza para mejorar los resultados.

Los desarrolladores pueden generar código más rápido, pero si la herramienta no se integra en un proceso bien diseñado, las solicitudes de cambios pueden crecer y el cuello de botella trasladarse a la revisión humana. El tiempo de ciclo no mejora; incluso puede empeorar la tasa de errores si las personas aprueban sin suficiente revisión resultados incorrectos generados por la IA.

Para cerrar esa brecha, hay que relacionar la profundidad del uso con los resultados y los objetivos de negocio. Si la adopción declarada es del 95 %, pero el tiempo de ciclo no se reduce un 30 % ni disminuye el retrabajo, no se ha alcanzado un uso eficaz. Solo se ha distribuido software costoso.

## Cómo definir la línea de meta

Una sola cifra rara vez cuenta toda la historia. Si puedo producir el doble de código, pero tardo el doble en publicarlo, no he ganado eficiencia: he creado más trabajo. La pregunta correcta no es cuánta IA utilizamos, sino si el trabajo está mejorando.

En los equipos de ingeniería con procesos más maduros, conviene empezar por el resultado que se quiere mejorar y utilizar después marcos como DORA o SPACE para comprobar si se ha conseguido. El marco es un instrumento, no el objetivo. DORA ayuda a evaluar la salud del proceso de entrega: con qué frecuencia se implementan cambios, cuánto tardan, cuánto se demora la recuperación ante fallos y con qué frecuencia los cambios provocan incidentes.

SPACE aborda la productividad de los desarrolladores desde cinco dimensiones, entre ellas los resultados y la satisfacción. Ninguno de estos marcos se diseñó específicamente para la IA, y precisamente por eso pueden ser útiles: ayudan a medir si la IA mejora el trabajo, no simplemente si se utiliza.

Relaciona uno de estos marcos con el uso de herramientas de IA y con resultados de negocio como el tiempo de ciclo, la tasa de retrabajo o el coste por cambio. Un aumento del 25 % en la adopción de IA que coincide con una caída de la estabilidad de las entregas no es un triunfo. El informe DORA de 2025 observó precisamente que muchas organizaciones obtuvieron ese tipo de resultados al incorporar IA a sistemas poco preparados. Las herramientas amplificaron lo que ya existía: los buenos fundamentos de ingeniería mejoraron, mientras que los procesos frágiles se volvieron aún más frágiles.

En áreas ajenas a la ingeniería —como marketing, finanzas u operaciones—, lo mejor es partir de los principios básicos. Elige un resultado que ya quieras mejorar: el tiempo de respuesta, la conversión del embudo de ventas o la precisión de las previsiones. Define la meta antes de incorporar la IA al flujo de trabajo y mide después ese mismo resultado. Si cambia, averigua si la IA contribuyó a ello y si el avance puede repetirse. Si no cambia, también habrás aprendido algo.

Pensemos en un equipo de atención al cliente que quiere reducir el tiempo de primera respuesta. Primero establece una línea de base de nueve horas y luego permite que los agentes preparen borradores con un asistente de IA. Dos meses después, el tiempo de respuesta ha bajado a tres horas y la tasa de reapertura de casos no ha aumentado. La rapidez no ha sacrificado la calidad. Es un resultado concreto, medible y repetible. Para demostrarlo nunca hizo falta una clasificación de empleados.

## Mantén la vista en la línea de meta

El propósito de una métrica es ayudar a gestionar los resultados. Si dedicas más esfuerzo a mejorar la cifra que a mejorar el resultado, estás enfocando el trabajo al revés. Es como mirar el indicador de combustible en lugar de la línea de meta.

Antes de crear la próxima métrica de IA, hazte una pregunta: ¿qué resultado mejoraría si cambiara esta cifra? Si no puedes responder, no estás midiendo el progreso; estás observando el nivel de combustible. Define primero la línea de meta. Todo lo demás es telemetría.

from Latest from TechRadar https://www.techradar.com/pro/ai-success-depends-on-business-outcomes-not-usage-vanity-metrics
via IFTTT IA