Corbenic AI, una startup belga, presenta Galahad, un componente que almacena la caché clave-valor (KV) de un modelo en almacenamiento local cifrado y permite recargarla cuando el mismo texto vuelve a aparecer. Esta capacidad, según la empresa, evita que las GPUs necesiten releer documentos ya procesados tras un reinicio o tras vaciarse la memoria de la GPU.

El fundador y CEO Sietse Schelpe explicó a TechRadar Pro que, para Galahad, no se requiere hardware extraordinario: basta con Linux, una GPU NVIDIA y una SSD NVMe estándar. En las pruebas presentadas, la solución concreta que el tiempo de respuesta mejora notablemente al evitar lecturas repetidas de la memoria de la GPU. La idea es que la SSD existente del servidor forme parte de la memoria de trabajo de la IA, reduciendo la necesidad de recomputar estados de atención para consultas repetidas.

Galahad entra en beta el 1 de octubre de 2026 y su mecanismo clave, llamado Taliesin, escribe cada bloque de estado de texto en disco bajo una huella digital ligada a las entradas exactas, el modelo y el inquilino (tenant), y lo carga cuando esos bytes vuelven a aparecer. Además, Blaise, un segundo componente, mantiene el texto de los documentos disponibles y entrega únicamente la sección necesaria al modelo, reduciendo la cantidad de texto que debe leerse.

La compañía sitúa Galahad como una alternativa a los enfoques de recuperación basados en búsqueda (RAG), que dividen documentos en fragmentos y entregan al modelo las piezas más relevantes. Según Schelpe, cuando la búsqueda falla, el modelo nunca ve la respuesta; Galahad, en cambio, ha mostrado capacidad de responder con mayor consistencia en pruebas comparativas.

En el contexto actual de centros de datos, donde se prevé que más del 70% de los chips de memoria de alto rendimiento serán absorbidos por la demanda de IA en 2026, la propuesta de aprovechar la infraestructura existente para mejorar el rendimiento es especialmente atractiva. Aun así, Galahad no está exento de competencia: proyectos de código abierto como LMCache, y soluciones de fabricantes como Nvidia (Dynamo y CMX), WEKA, Phison y otros, ya ofrecen estrategias de persistencia de KV cache en diversa intensidad y escala.

La distinción de Galahad, señalan sus creadores, reside en la exactitud de la reutilización de estados y en un enfoque de falla cerrada: si una comprobación de integridad falla, el estado debe recomputarse. No se busca un reemplazo de la memoria RAM, sino una capa adicional que permita trabajar más allá de la memoria física disponible, sin sacrificar la precisión de las predicciones del modelo.

El debate sobre rendimiento y seguridad está presente. Galahad enfatiza que no hay intercambio de cachés entre inquilinos y que los datos no se envían a terceros. Sin embargo, la investigación en el área de cifrado, segmentación de datos y posibles vulnerabilidades de canal lateral (prompt leakage) continúa, especialmente en escenarios multi-tenant. En este sentido, es relevante que la documentación y las pruebas sean transparentes y que terceros independientes verifiquen los resultados.

En resumen, Galahad propone una capa de persistencia de KV cache que aprovecha almacenamiento local cifrado para reutilizar estados de atención exactos y disminuir la carga de relecturas en GPU tras reinicios o limpiezas de memoria. Aunque el mercado ofrece enfoques competitivos y soluciones establecidas, la idea de adaptar la infraestructura existente para obtener ganancias en eficiencia de AI-inferencia sigue siendo atractiva para centros de datos y empresas que buscan maximizar el rendimiento sin migraciones de hardware costosas.