• Reconfiguración de sistemas de almacenamiento para evitar cuellos de botella en GPUs costosas
• Cache SSD para reducir los tiempos de carga de conjuntos de datos de IA de horas a minutos
• Arquitectura unificada de almacenamiento para sustituir búsquedas metadata complejas

Meta afirma que los sistemas de almacenamiento no han sabido acompañar el incremento de la potencia de cómputo de IA, creando demoras que hacen que las GPUs costosas permanezcan ociosas en lugar de procesar las cargas de trabajo de manera eficiente.

Según los ingenieros de la empresa, los cuellos de botella en el almacenamiento continúan siendo una causa clave de retrasos en las GPUs, elevando los costos operativos y ralentizando la investigación y ampliación de los plazos de desarrollo.

Para abordar estas demoras, Meta rediseñó su arquitectura de almacenamiento, sosteniendo que un movimiento de datos más rápido puede desbloquear un mayor valor de las inversiones en hardware de IA.

Meta reinventa la arquitectura de almacenamiento para mantener las GPUs en funcionamiento

Los ingenieros explican que Meta opera cientos de clústeres de almacenamiento a escala exa, que respaldan Facebook, Instagram, Reality Labs, Meta AI, sistemas de publicidad, bases de datos y almacenes de datos internos.

Estos servicios dependen de una capa de almacenamiento fundamental llamada Tectonic, que gestiona almacenamiento de objetos, sistemas de archivos, dispositivos de bloque y la colocación de datos entre HDDs y SSDs.

La empresa ha ido moviéndose cada vez más de almacenamiento de archivos tradicional hacia el almacenamiento BLOB (Binary Large OBject) porque los conjuntos de datos masivos de IA requieren métodos de acceso unificados con un rendimiento significativamente mayor.

Cuando las plataformas de GPU solicitan información al almacenamiento, las consultan de metadatos repetidas a través de varias capas, lo que genera latencia que interrumpe cadenas de entrenamiento y retrasa el procesamiento global.

Para enfrentar esto, Meta reconstruyó el subsistema de metadatos en un esquema unificado respaldado por ZippyDB, permitiendo que los clientes obtengan datos directamente desde los servidores de almacenamiento.

En lugar de enrutar cada transferencia a través de servidores de aplicaciones, el software rediseñado utiliza un cliente embebido capaz de transmitir información directamente desde la capa de almacenamiento de Tectonic.

Para apoyar despliegues de IA distribuidos, Meta ubicó sistemas regionales de almacenamiento BLOB junto a clústeres de GPUs, reduciendo demoras asociadas con la transferencia de información a través de infraestructuras distantes.

Se introdujo caching distribuido usando memoria no utilizada de las propias GPUs, logrando una tasa de aciertos de caché del 80% en promedio, mientras que los metadatos se volvían accesibles en 1 a 2 ms.

Los ingenieros añadieron también lecturas con cobertura hedged y controles dinámicos de concurrencia, señalando que “la nueva pila de almacenamiento BLOB es capaz de atender cargas de IA sin provocar ralentizaciones en las GPUs”.

El caching SSD reduce horas de ingestión de datos de IA

Meta analizó los retrasos prolongados que ocurrían antes de que comenzara el entrenamiento de IA, cuando se transferían grandes instantáneas de conjuntos de datos desde el almacenamiento BLOB a las instalaciones regionales de GPUs.

En lugar de cargar cada conjunto de datos directamente desde discos más lentos, Meta creó múltiples capas de caché que mantienen datos de uso frecuente mucho más cerca de los servidores de GPU.

Esa estrategia introdujo varias capas de caché, usando la memoria de la GPU como L1, SSDs dentro de los hosts de GPU como L2 y almacenamiento BLOB regional apoyado por flash como L3.

El HDD tradicional siguió siendo la fuente de datos autorizada, mientras que las capas de caché más rápidas suministraron información solicitada con frecuencia antes de que fueran necesarias las unidades más lentas durante el procesamiento.

El rediseño de Meta produjo notables mejoras en la velocidad de ingestión: la carga que antes tomaba 150 minutos se redujo a 10 minutos, y un trabajo que requería 89 horas para completarse ahora termina en poco más de tres horas desde el inicio hasta el final.

El analista Citrini, Jukan, destaca que históricamente la capacidad de almacenamiento se ha valorado principalmente por su costo por terabyte. Argumenta que el tiempo ocioso de las GPUs puede superar cualquier ahorro obtenido por un almacenamiento más barato si los datos llegan de forma insuficiente cada día.

Esta situación sugiere que el costo del almacenamiento flash es racional económicamente cuando eliminar el tiempo ocioso supone un costo mayor que la propia unidad de flash por hora.

Vía Blocks and Files