Telemetría en la era de la IA: gobernanza, costo y el arte de lo suficiente


Con la telemetría volviéndose central para la forma en que se construyen, entrenan y automatizan las plataformas modernas, su utilidad futura percibida ha impulsado un aumento dramático en la recopilación y retención. Un estudio reciente muestra que los volúmenes de telemetría se triplican en muchas empresas durante el último año, y se espera que la IA con capacidad de agencia impulse casi 10x más crecimiento en los próximos dos años.

Claramente, la telemetría está dejando de verse como infraestructura y cada vez se parece más a capital. El error está en tratarla como un activo puro y pasar por alto el otro lado de la contabilidad. Los volúmenes explosivos de logs y los costos crecientes son las incomodidades más tangibles y, a menudo, los primeros desencadenantes de preocupación, pero son meros síntomas.

El problema mayor es que la telemetría gradualmente se convierte en un sistema de conocimiento que excede la capacidad de la organización para entenderla, gobernarla o explicarla, y, por lo tanto, para limitar de manera confiable su costo, su riesgo y su uso posterior.

Cuando los sistemas de IA producen telemetría y la consumen

La telemetría tradicional era en gran medida retrospectiva. Describía lo que ocurrió. En IA, empieza a alimentarse de vuelta en el sistema. Un registro de sesión capturado para resolver un fallo hoy puede convertirse en datos de entrenamiento mañana, evolucionar hacia una característica del modelo más tarde y, finalmente, impulsar decisiones automatizadas sin supervisión humana.

En esencia, los mismos datos cumplen múltiples funciones a lo largo de su ciclo de vida, muchas de las cuales tienen poco que ver con la razón original de su recopilación.

Esto pone en marcha un ciclo. El sistema genera telemetría, la IA la consume, lo que genera nuevos impulsos y predicciones, y éstos crean un apetito por aún más telemetría. Como resultado, el valor que las organizaciones asignan a los datos sigue creciendo, a menudo por delante de cualquier entendimiento claro de cómo se utilizarán.

Una vez que la telemetría se convierte en una forma de memoria organizacional con el tiempo, ya no basta con discutir observabilidad. Ahora se trata de gobernanza, costo y control.

La retención de telemetría está fundamentalmente sesgada por la asimetría

Es fácil justificar el aparentemente “pequeño costo” de almacenar otro terabyte cuando se contrasta con el costo hipotético de desecharlo, que puede parecer enorme, porque alguien siempre puede argumentar que los datos descartados podrían haber sido una llave de oro.

La perspectiva de arrepentirse de su eliminación parece potencialmente irreversible. ¿Podría haber resuelto un problema? ¿Podría haber entrenado un modelo o mostrado una oportunidad que se perdió? Cediendo ante la incertidumbre, la mayoría de las organizaciones simplemente mantiene todo.

El fallo de este razonamiento es un enfoque miope en el activo que ignora sus pasivos. Cada conjunto de datos retenido conlleva costos continuos de almacenamiento y gobernanza, obligaciones de seguridad y cumplimiento, y riesgos de descubrimiento si alguna vez hay litigios. Cada nuevo conjunto de datos también puede combinarse con los existentes, amplificando su valor informativo de formas no previstas.

¿Existe una garantía de que las organizaciones nunca lamentarán una eliminación? No, pero sí puede existir una justificación clara. Renuncias intencionadamente a cierto valor de opción porque los beneficios esperados de conservar los datos no superan los costos y riesgos de mantenerlos. Esa es una decisión de la que puedes estar en posición de respaldarte más tarde, incluso si resulta que los datos podrían haber sido útiles.

Preguntarse si algo podría ser útil algún día no es útil, porque casi cualquier cosa supera ese umbral. Es mejor preguntar para qué capacidad específica lo estás conservando. Si tienes una respuesta clara, retén los datos y góbérnalos en consecuencia.

Para los CTOs, el punto ciego es tratar el crecimiento de la telemetría como un problema de escalado

Por importante que sean las canalizaciones de ingesta, el almacenamiento, la velocidad de consulta y las herramientas, lo que a menudo sorprende es que la telemetría se convierte en un cuerpo de conocimiento que ninguna persona de la empresa entiende por completo. Si bien la mayoría de los equipos puede decirte dónde vive sus datos, muy pocos pueden explicar qué revela cuando se combinan.

Las matemáticas son implacables porque la exposición no crece una fuente a la vez. Cada nueva fuente puede compararse con todas las fuentes que ya tienes, por lo que el número de combinaciones posibles se eleva a una escala intractable.

Considera clics, duración de sesión, tickets de soporte, IDs de dispositivos, registros de inicio de sesión o ubicación aproximada: por sí solos, ninguno es sensible y nadie piensa mucho en recolectar alguno. Pero al combinarlos, puedes reconstruir la rutina diaria de alguien, señalar cambios en su comportamiento financiero o predecir eventos de vida próximos.

La sensibilidad no se atribuye a un único flujo, sino que nace de la correlación entre flujos. En realidad, la mayoría de las organizaciones nunca ha explorado completamente qué podrían habilitar esas correlaciones.

Para un CTO, lo que debe preocupar es no el tamaño de los datos, sino si aún puedes explicar qué sabe tu organización y de dónde proviene ese conocimiento. Da a cada flujo un dueño, un propósito declarado y una fecha de caducidad. Si un flujo no puede responder qué mejora, entonces no tiene negocio conservarlo indefinidamente. Una regla así hará más para reducir el riesgo que cualquier cantidad de ingeniería de almacenamiento.

Para los CFOs, el punto ciego es clasificar la telemetría como costo de infraestructura

Lo que hace a la telemetría diferente de otras infraestructuras es que se acumula. Más telemetría genera más análisis, lo que crea nuevos casos de uso, lo que amplía la retención y aumenta la demanda de más almacenamiento, procesamiento, herramientas y supervisión. Antes de que te des cuenta, lo que empezó como un gasto de almacenamiento pequeño se convierte en un compromiso continuo.

La factura del próximo año en la nube puede parecer lo que hay que prever, pero al menos puedes ponerle un número. Lo más preocupante es que la telemetría puede convertirse en un pasivo de costo, riesgo y duración impredecibles. Por humilde que parezca, la solución se reduce a lo mismo: enfocarte en los resultados comerciales bounded (con límites) que produce.

¿Puedes tomar cualquier categoría de telemetría que posees y decir claramente por qué existe, qué valor obtiene, cuánto debe vivir y qué sucede cuando deja de ser útil?

¿Cómo sería una arquitectura de telemetría acotada en un mundo impulsado por IA?

Empieza por refutar la suposición más básica de que tienes que recolectar y guardar todo hasta que resulte impráctico. En su lugar, asume que la mayoría de las cosas no deberían recogerse y que nada permanece para siempre a menos que exista una razón para ello.

El efecto es un cambio en el comportamiento por defecto. Cuando cada flujo se establece con un propósito claro, un dueño, una política de retención y un resultado esperado, los datos comienzan a seguir un ciclo de vida en lugar de acumularse. Los eventos sin formato podrían existir brevemente en detalle completo, condensarse en agregados después de eso y, una vez que ya no sean útiles para decisiones, desaparecer finalmente.

Pensar en términos de ciclo de vida vuelve a enmarcar los datos como algo que interactúa entre sistemas en lugar de existir como tiendas aisladas. Por eso, el límite que trazas no se marca alrededor de una única base de datos, sino alrededor de lo que el sistema combinado está permitido inferir y actuar. Lo que recolectas debe basarse en las decisiones que quieres mejorar.

La complicación en un entorno de IA es que estos sistemas requieren telemetría sustancial para funcionar, por lo que no es tan simple como recolectar menos. El desafío es recolectar lo suficiente manteniendo el control sobre lo que el sistema aprende y lo que finalmente genera.

Hemos destacado las mejores plataformas de inteligencia de negocio.

Este artículo se produce como parte de TechRadar Pro Perspectives, nuestro canal para presentar las mentes más brillantes de la industria tecnológica.

Las opiniones expresadas aquí son de la autora y no necesariamente las de TechRadarPro o Future plc. Si estás interesado en contribuir, descubre más aquí: https://www.techradar.com/pro/perspectives-how-to-submit

from Latest from TechRadar https://ift.tt/8LV6dlR
via IFTTT IA