Medir el valor de la IA en flujos de trabajo: más allá de los “tokens”



A medida que las empresas de todos los tamaños adoptan tecnologías de IA, el siguiente paso es demostrar que la tecnología aporta beneficios medibles y mejoras. Sin embargo, conseguir una métrica única que evidencie estos beneficios resulta cada vez más complejo. Aunque es evidente cuánto cuesta la IA, medir su impacto en la producción es un desafío mayor. Tomando como referencia el concepto de “tokenmaxxing”, se ha mostrado que fijar objetivos arbitrarios de uso no es la mejor manera de cuantificar el aporte productivo de la IA.

Quizá exista una lección que proviene de la adopción de otras tecnologías más discretas que ya entregan beneficios medibles en industrias nuevas, y de cómo la IA puede encajar en los flujos de trabajo junto a esta infraestructura tecnológica emergente.

La IA no es la única tecnología con adopción generalizada. Un estudio de Perforce sobre el estado de los flujos de trabajo en tiempo real revela que no solo la IA está en expansión: motores de juego y motores de 3D en tiempo real han encontrado una adopción considerable en aeroespacial y defensa, sector público y educación, así como en medios y entretenimiento. Estas herramientas muestran mejoras de productividad ya antes de su adopción, porque están probadas y con décadas de retornos demostrados, sustentados por la industria del juego. En contrapartida, la IA aún debe demostrar un ROI sostenido y medible para muchas empresas, junto con varios retos inherentes a su uso.

La adopción de control de versiones también está creciendo en flujos de trabajo en tiempo real. La IA impulsa esta adopción porque las organizaciones manejan más activos y contenido por proyecto. La visibilidad de quién cambió qué, especialmente con agentes de IA involucrados, dejó de ser opcional para convertirse en una necesidad.

Entre las preocupaciones destacadas, la más persistente es el miedo a perder el empleo. En el informe de Perforce, el 50% de los empleados que ya usan IA temen ser reemplazados, y también hay inquietudes sobre la calidad y la ética de los contenidos generados por IA. Para entender estos desafíos, entrevisté al autor del informe, Brent Schiestl, líder de la unidad de Negocios de Creación Digital en Perforce y Director Senior de Gestión de Productos.

Preguntas y respuestas clave
– ¿Qué pasos están tomando las empresas para mantener la confianza de los empleados y de los consumidores cuando la IA facilita más productividad pero puede afectar la creatividad y la percepción de la marca?

La respuesta apunta a una distinción: la percepción varía entre IA utilizada para generar código fuente frente a activos binarios (imágenes, audio, video). Resolver problemas bien definidos como corrección de errores puede ser más aceptable para los consumidores, que cuando la IA genera activos creativos. La liberación de tareas mundanas para los ingenieros puede aumentar la creatividad; sin embargo, los activos binarios enfrentan mayor escrutinio debido a posibles sesgos o falta de consentimiento de los datos de entrenamiento.

Medidas para mantener la confianza incluyen políticas públicas claras de divulgación de uso de IA, garantizar que el ser humano siga en el proceso de creación final y mantener datos de procedencia sólidos sobre cómo se generó un activo. Con estas prácticas, el consumidor final puede decidir si el uso de IA satisface sus criterios éticos.

– ¿Existe un movimiento claro desde el “tokenmaxxing” hacia métricas que muestren la relación costo-beneficio de la IA? ¿Qué métricas están reemplazando a las simples métricas de uso y qué nuevos problemas surgen?

Esta es quizá la pregunta más frecuente. Las empresas usan IA cada vez más, pero les resulta difícil demostrar beneficios que justifiquen el gasto. Se observan métricas como la frecuencia de lanzamientos, la cantidad de contenido en cada entrega y telemetría para entender el uso de nuevas funciones. También se destacan métricas de la industria como DORA para comparar productividad de manera más amplia. Es crucial considerar la Ley de Goodhart: cuando una medición se convierte en objetivo, deja de ser una buena medida, lo que puede llevar a que los equipos “jueguen” con los indicadores en detrimento del producto final. Aislar la contribución de la IA respecto a otras actividades de lanzamiento es un nuevo reto para todas las compañías.

– ¿Qué impulsa la adopción de motores de juego en diversas industrias y qué obstáculos existían previamente? ¿Qué lecciones pueden aprender industrias menos técnicas?

Uno de los mayores bloqueos era el propio nombre: llamarles motores de juego restringía su uso a un contexto específico. Históricamente, su implementación fuera del gaming era difícil por licencias, herramientas para no artistas e integración con sistemas empresariales. Ejemplos como Unreal Engine muestran que la monetización fuera de juegos y la expansión a verticales industriales dependen de una adecuada posición de mercado y de ver el motor como un conjunto de renderizado, física, redes y pipelines de activos. A veces, la clave está en el posicionamiento más que en la tecnología en sí.

– ¿Qué efecto tiene la adopción de tecnologías como IA, motores de juego y software de modelado 3D en los costos de infraestructura de industrias que tradicionalmente no los utilizaban?

Los costos de infraestructura, incluidos compute GPU, almacenamiento para activos binarios/3D, ancho de banda, estaciones de trabajo especializadas y licencias, obligan a justificar la inversión con posibles aumentos de ingresos. Estos beneficios pueden tardar años en materializarse, por lo que la paciencia de los directivos, especialmente CFOs, es fundamental. Además, muchas industrias carecen de la capacidad IT adecuada para gestionar esta nueva infraestructura, por lo que el costo no es solo una línea de compute, sino la capacidad organizacional para operarla.

– ¿Qué herramientas están ayudando a gestionar la deuda técnica asociada a la productividad de la IA y cómo contribuyen a la calidad, cumplimiento y seguridad?

La deuda técnica proviene de código generado por IA sin revisión adecuada, dependencias introducidas por IA sin propiedad clara, contaminación por licencias y deriva de versiones de modelos. Herramientas emergentes como revisión de código con IA (CodeRabbit, Greptile, P4 Code Review, etc.), herramientas SAST/DAST adaptadas a salidas de IA, escáneres de licencias/proveniencia y prácticas de control de versiones que tratan las commits generados por IA como artefactos de primera clase, están empezando a llenar este vacío.

– ¿Cómo está cambiando IA el mercado de código abierto y qué impactos tendrá en los modelos de licenciamiento tradicionales?

La IA facilita el desarrollo y la posibilidad de abrir código propio. Al mismo tiempo, algunos repositorios de código abierto se vuelven privados ante el volumen de pull requests generados por IA y la dificultad de mantenerlas. El licenciamiento tradicional basado en asientos se ve desafiado por la posibilidad de escalar la adopción de IA, lo que sugiere que el componente build vs. buy podría estar cambiando, aunque la realidad no es concluyente aún (p. ej., un meme popular ilustra el coste relativo de construir frente a adquirir tokens para construir). Este fenómeno subraya la necesidad de contar con evaluaciones realistas de costes y beneficios al decidir entre construir soluciones propias o utilizar soluciones externas.

En resumen, la adopción de IA junto con otras tecnologías avanzadas está transformando infraestructuras, procesos y métricas de rendimiento. Para demostrar valor, las empresas deben ir más allá de medir la cantidad de uso y centrarse en métricas que conecten claramente con los resultados de negocio, preservando confianza y ética, y gestionando adecuadamente la deuda técnica y la infraestructura. El camino hacia una adopción sostenible de la IA en los flujos de trabajo pasa por transparencia, gobernanza y una comprensión real de qué métricas realmente importan para el éxito a largo plazo.

from Latest from TechRadar https://ift.tt/bzsgG9n
via IFTTT IA