Gestionar el gasto en IA generativa: conocimiento, gobernanza y valor empresarial


La IA generativa ha pasado rápidamente de la experimentación a un uso en producción temprana en muchas empresas. Sin embargo, muy pocas pueden prever con confianza cuánto les costará dentro de seis meses.

Para una tecnología que ha concentrado tanto la atención y el capital a nivel directivo, ello refleja una falta de certidumbre—una realidad que algunos líderes tecnológicos reconocen de forma privada en sus propias organizaciones.

El gasto es real y la dirección es clara, pero el número al final del año puede seguir siendo genuinamente incierto.

Para capturar un atisbo de la confianza que impulsa la carrera por la infraestructura, el CEO de Amazon ha indicado que espera gastar mucho en infraestructura de TI para respaldar la IA, estimando alrededor de 200 mil millones de dólares en inversión de capital en IA, afirmando que “no va a ser conservador” en su inversión en la tecnología.

En la práctica, lo que distingue a la IA de las inversiones en infraestructura anteriores no es la magnitud del compromiso, sino la naturaleza de su consumo.

La computación en la nube también fue impredecible cuando apareció, pero con el tiempo se consolidó en patrones que los equipos de finanzas aprendieron a modelar. La IA aún no se ha asentado de la misma forma, y gran parte de la razón radica en cómo se está utilizando.

Una gran parte del uso empresarial de IA sigue siendo exploratorio, lo que complica la previsión. Y a diferencia de la nube, que se mantuvo mayormente dentro de equipos técnicos durante años antes de difundirse, la IA se está expandiendo a toda la organización casi de inmediato. Eso cambia todo sobre cómo intentar gobernarla.

Los límites de la visibilidad financiera

En la superficie, algunas formas de IA parecen ofrecer lo que a principios de infraestructura le faltaba: datos limpios, granulares y en tiempo real, y saber cuánto cuestan. Pero en el panorama en rápida expansión de proveedores que aprovechan la IA de alguna manera, muchos no lo hacen.

En algunos casos, la tarificación basada en tokens es precisa de una manera que los primeros cobros en la nube nunca fueron, y para los equipos de finanzas acostumbrados a trabajar con estructuras mucho menos definidas, puede parecer un paso en la dirección correcta para resolver el problema de visibilidad.

Desafortunadamente, aún queda mucho por hacer, ya que entender simplemente lo gastado el mes pasado dice muy poco sobre lo que se gastará el próximo trimestre, especialmente cuando la adopción se desplaza más allá de los equipos que originalmente dieron forma al caso de negocio.

Hay que considerar que equipos de áreas como legal, RR.HH. y operaciones con clientes no están pensando en economía de tokens (tokenomics). Solo están evaluando si la herramienta funciona.

La exposición al costo se acumula no a través de una decisión única, sino por decenas de pequeñas expansiones, cada una razonada por separado y ninguna reflejada en una previsión integral. Cuando alguien junta las piezas, la curva de demanda ya se ha movido.

Extender las disciplinas que ya existen

Las organizaciones que gestionan mejor el gasto en IA cuentan con experiencia consolidada en la gestión de consumo de tecnología. Los equipos de IT asset management (ITAM), por ejemplo, suelen estar acostumbrados a estructuras más fijas como usuarios o asientos, lo que hace que el consumo de IA sea aún más desafiante.

Los equipos de FinOps, por otro lado, tienen experiencia en gestionar consumos originados en la nube pública. Los equipos de FinOps pueden estar mejor posicionados para afrontar la nueva oleada de consumo y gasto en IA, asegurando que se gobierne a medida que la adopción crece.

FinOps también ha ampliado su alcance más allá de las raíces iniciales en la nube pública, con la gestión de costos de IA sitrá firmemente dentro de ese mandato para muchos, un cambio reflejado en cómo la FinOps Foundation está incorporando cada vez más IA en su guía. Parte de esa expansión es la previsión de una demanda que se comporta de manera diferente a las cargas de trabajo convencionales.

También hay un interés creciente en si la IA misma puede apoyar prácticas de FinOps, especialmente en detección de anomalías, optimización y, con el tiempo, previsión, a medida que los patrones de consumo se vuelven más difíciles de modelar.

El desafío es aplicar prácticas de FinOps lo antes posible para que la gobernanza modele cómo escala la IA, antes de verse obligados a recuperar el control una vez que el gasto haya adelantado la supervisión.

La dificultad compuesta de entornos heredados

Para las organizaciones cuyo patrimonio tecnológico fue construido alrededor de la consistencia, extender la gobernanza a la IA es más difícil de lo que parece.

Las organizaciones “IA primero” diseñan con el costo en mente desde el inicio, tratando la inferencia como cualquier otro insumo de producto, con restricciones económicas que moldean las decisiones de arquitectura antes de comprometerse.

Incorporar IA en infraestructuras heredadas significa algo distinto. Los compromisos comerciales existentes y los modelos operativos no se adaptan rápidamente a un modelo de consumo inherentemente variable, y ese roce tiene un efecto directo en el costo.

La dificultad suele residir en que la IA se introduce en entornos construidos con supuestos muy diferentes sobre cómo se comporta la demanda, y eso es parte de lo que complica la previsión.

El reto no es solo un gasto nuevo, sino un gasto que se incrementa en entornos donde la supervisión y el control ya son difíciles de mantener.

Las organizaciones que navegan esto tenderán a realizar experimentos controlados antes de un despliegue amplio y serán deliberadas sobre cómo se difunde la adopción. En la práctica, suele tratarse de contener la adopción descontrolada temprano, antes de que los patrones de uso, costos y dependencias se vuelvan difíciles de revertir.

Esa misma exposición se extiende cada vez más más allá de la gobernanza interna. A medida que la IA aparece con más frecuencia en las conversaciones de adquisición de clientes, preguntas que antes eran principalmente internas comienzan a ser planteadas externamente también.

Para las organizaciones cuya gobernanza no ha evolucionado al mismo ritmo, esas preguntas pueden exigir un nivel de claridad que aún no están preparados para proporcionar.

De métricas de actividad a resultados empresariales

Más allá de la gobernanza y el control de costos, persiste una pregunta más difícil: ¿la inversión en IA está generando un valor empresarial significativo? La mayoría de los equipos directivos aún no puede responder con confianza, y las métricas que llegan al consejo no facilitan la interpretación.

Las métricas de uso del modelo, volúmenes de inferencia y el cómputo consumido describen la actividad sin explicar el valor. Es fácil construir una actualización convincente para el consejo a partir de datos de consumo sin abordar si alguno de ello está moviendo el negocio.

Lo que se acerca a una respuesta es entender si las inferencias individuales entregan algo por lo que un cliente pagaría, o algo que reduzca costos o riesgos de forma significativa.

El rendimiento incremental por cada unidad de AI spend es una medida más difícil de producir, pero se acerca más a la economía que importa porque requiere una posición más clara sobre lo que IA está entregando realmente.

Eso es exactamente donde muchas organizaciones siguen encontrando el trabajo más desafiante de lo que parece, especialmente cuando la implementación de IA avanza por delante de los modelos usados para entender costo y valor.

Esta desconexión importa más a medida que el mercado se expande, porque donde esas economías siguen siendo poco claras, la exposición al costo puede acumularse de maneras más difíciles de reconocer temprano y más difíciles de contener luego.

Para muchas empresas, el reto por delante es escalar la IA sin permitir que el gasto supere al valor que pretende generar.

Las mejores soluciones de almacenamiento en la nube: probadas, revisadas y valoradas por expertos.

Este artículo se ha producido como parte de TechRadar Pro Perspectives, nuestro canal para presentar las mentes más brillantes de la industria tecnológica hoy.

Las opiniones expresadas aquí son del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí: https://www.techradar.com/pro/perspectives-how-to-submit

from Latest from TechRadar https://ift.tt/g7VHiuv
via IFTTT IA