En la era de la IA de gran escala, una propuesta ambiciosa llega desde Singapur: Agent Box, un mini PC diseñado para ejecutar modelos de lenguaje de 100 mil millones de parámetros íntegramente en hardware local. Impulsado por el procesador propietario G≡LIX 1, esta solución promete un rendimiento cercano al de soluciones empresariales de alta gama, a una fracción del costo y con una reducción significativa en el consumo de energía.

Un chip personalizado para cargas de trabajo de IA local

El corazón de Agent Box es el SoC G≡LIX 1, fabricado mediante un proceso de 5 nm para optimizar la computación en el borde. Este procesador combina:
– Un CPU de 20 núcleos Arm
– Una GPU evaluada en 3 TFLOPS
– Una unidad neural de procesamiento multicore (NPU) afinada para la inferencia de modelos de lenguaje de gran tamaño

El conjunto sostiene una memoria unificada de 273 GB/s, con una caché L1 de 8 MB y una caché L2 de 768 GB/s. Acrab afirma que el chip alcanza 700 TOPS de potencia de cómputo, manteniendo el sistema lo bastante compacto como para ocupar un escritorio. La NPU está equilibrada frente a la unidad de cómputo de propósito general, y se afirma que la aceleración de vectores VAE puede acelerar el procesamiento de atención hasta tres veces.

Más allá del núcleo, el SoC integra un clúster de DSP de video, múltiples subsistemas de entrada de cámara y un motor de visualización de alta resolución dentro de una arquitectura unificada. En pruebas internas, la compañía reportó una tasa de prefilling de 1,416.8 tokens por segundo bajo una configuración Gemma 26B A4B con caché KV de 40K y entrada de 10K tokens. Esto se compara con 188.9 tokens por segundo en un Mac Mini M4 Pro, lo que la empresa señala como una mejora de aproximadamente 7.5 veces frente al hardware de consumo tradicional.

“La IA generativa ayuda a las personas a encontrar respuestas. La IA agentiva les ayudará a hacer las cosas”, afirmó el Dr. Ken Phua, CEO de Acrab.

Un ecosistema de software que complementa al hardware

Más allá de las especificaciones del hardware, Agent Box ofrece una plataforma de software completa que incluye runtimes de IA, herramientas para desarrolladores, capacidades del sistema operativo, diseños de referencia y software de orquestación para agentes autónomos. Demostraciones publicadas por la empresa mostraron comandos de voz que crean e imprimen modelos 3D, la operación de aspiradores robóticos y la interacción con dispositivos conectados como luces inteligentes, aires acondicionados y cerraduras inteligentes.

La firma sostiene que mantener la inferencia en el dispositivo puede reducir costos de tokens, proteger información sensible localmente, garantizar operación ante conectividad limitada y proporcionar memoria persistente para asistentes de IA personalizados. También se vislumbra la expansión de la plataforma hacia sistemas NAS de IA, soluciones de almacenamiento conectadas en red, robots industriales y vehículos inteligentes mediante alianzas con fabricantes de hardware.

Aunque Acrab ha revelado información corporativa limitada, las notas de copyright acompañando el anuncio hacen referencia a CATL, el mayor fabricante mundial de baterías para vehículos eléctricos. Si esa relación refleja el respaldo financiero, podría atraer aún más atención por la escala y los recursos de CATL.

“Nuestro objetivo es dar a fabricantes de dispositivos y desarrolladores la base para incorporar inteligencia agenteica en una amplia gama de productos y entornos”, señaló el Dr. Phua. “Agent Box demuestra lo que la tecnología puede hacer hoy, mientras GΞLIX 1 y nuestra plataforma de pila completa están diseñados para apoyar un ecosistema mucho más amplio de dispositivos y aplicaciones”.

Este avance ha sido referido por PC Watch, y se posiciona como una propuesta interesante para quienes buscan capacidades de IA local sin depender de servicios en la nube, con un enfoque claro en la eficiencia energética y la privacidad de la información.

from Latest from TechRadar https://ift.tt/JCcLFuh
via IFTTT IA