Tiny Corp presenta su nuevo tinybox Red Kimi como una forma de ejecutar el modelo Kimi K3 de Moonshot AI —con 2,8 billones de parámetros— en un equipo de escritorio, en lugar de recurrir a un centro de datos. El sistema cuesta 30.000 dólares y combina cuatro GPU AMD Radeon AI Pro R9700 con dieciséis SSD NVMe de 1 TB.

Cada R9700 incorpora 32 GB de memoria GDDR6 y ofrece un ancho de banda de 640 GB/s. En conjunto, las cuatro tarjetas suman 128 GB de memoria de GPU y hasta 2.560 GB/s de ancho de banda agregado. El equipo también incluye una CPU AMD EPYC Genoa de 32 núcleos, cuyo modelo exacto no especifica el configurador de Tiny Corp, y 32 GB de memoria DDR5.

La empresa afirma que el tinybox Red Kimi puede ejecutar Kimi K3 a 40 tokens por segundo. Por ahora, esa cifra no ha sido verificada de manera independiente.

## Dieciséis SSD, cuatro GPU y acceso directo al almacenamiento

El elemento más distintivo del sistema es su almacenamiento: los dieciséis SSD forman un conjunto RAID con una velocidad anunciada de 238,4 GB/s. Tiny Corp sostiene que su software tinygrad incluye un controlador que permite a las GPU AMD acceder directamente a las unidades NVMe, sin pasar cada lectura por la CPU.

La propuesta consiste en tratar el almacenamiento como otro nivel de memoria para el acelerador. La idea tiene antecedentes: investigadores de Nvidia y la Universidad de Illinois presentaron la arquitectura BaM en ASPLOS 2023, un sistema pensado para que la GPU iniciara accesos a SSD. La oferta de Tiny Corp busca llevar un enfoque similar a tarjetas de trabajo AMD en un equipo comercial.

La capacidad es clave. Según la ficha del modelo de Moonshot, Kimi K3 utiliza pesos MXFP4 de forma nativa. Hyperstack midió el punto de control publicado en aproximadamente 1,56 TB. Las cuatro GPU del Red Kimi solo pueden alojar alrededor del 8 % de ese volumen, de modo que el resto debe residir en otro tipo de almacenamiento. Tiny Corp apuesta por SSD, una alternativa más económica que ampliar la memoria de alta velocidad.

El equipo tampoco es especialmente compacto ni silencioso. El código del configurador estima un peso de unos 56 libras y unas dimensiones de 12 pulgadas de ancho, 19,25 de alto y 18 de profundidad. Para las configuraciones con R9700, el nivel de ruido indicado pasa de menos de 50 dB a menos de 60 dB; la empresa advierte que los ventiladores tipo blower de las tarjetas son audibles.

## El reto de alcanzar 40 tokens por segundo

Kimi K3 es un modelo de mezcla de expertos. Para cada token activa 16 de sus 896 expertos enrutados, además de dos expertos compartidos, lo que representa 104.000 millones de parámetros activos por token. Con una tasa efectiva de 4,25 bits por peso en MXFP4, generar cada token requiere leer al menos 55 GB de pesos.

Si todos esos datos tuvieran que leerse desde los SSD, el conjunto de unidades alcanzaría, en teoría, apenas unos cuatro tokens por segundo. Para llegar a los 40 anunciados habría que mover alrededor de 2,2 TB/s de pesos: cerca del 86 % del ancho de banda combinado de las cuatro GPU. En comparación, los SSD podrían aportar como máximo unos 6 GB por token, alrededor del 11 % de los datos necesarios.

Por tanto, la cifra de Tiny Corp parece depender de que la memoria de las GPU ya contenga gran parte de los pesos que se utilizan para cada token, aunque sus 128 GB no alcancen para alojar una décima parte del modelo completo. Esto podría ser posible si la selección de expertos se puede predecir y almacenar en caché con eficacia. También podrían influir una cuantización más agresiva que el formato nativo de Moonshot, la decodificación especulativa u otras técnicas, o una combinación de ellas.

Tiny Corp no ha publicado detalles esenciales para evaluar el resultado, como la precisión utilizada, la longitud del contexto, el tamaño del lote o el método de generación. Además, el ancho de banda agregado presupone que la carga se distribuye de manera uniforme entre las cuatro tarjetas, que se comunican mediante PCIe. Hasta que haya pruebas independientes, los 40 tokens por segundo deben considerarse una afirmación del fabricante, no un rendimiento confirmado.

## Una alternativa costosa frente a otros equipos de memoria ampliada

A 30.000 dólares, el Red Kimi es caro para un ordenador de escritorio, aunque las alternativas para ejecutar localmente un modelo de este tamaño tampoco son económicas. Un Mac Studio con M5 Ultra y 512 GB de memoria unificada parte de 22.299 dólares y alcanza los 29.799 dólares con un SSD de 16 TB. Ofrece cuatro veces más memoria rápida y un ancho de banda de 1,2 TB/s, pero sus 512 GB tampoco bastan para alojar el punto de control nativo de Kimi K3.

La estación DGX con GB300 de Nvidia salió a la venta por casi 91.100 dólares y ofrece 748 GB de memoria, también por debajo de lo necesario para el modelo completo. La Threadripper Halo Station de AMD, prevista para 2027, podría llegar a 2,6 TB de memoria combinada y alojarlo con mayor holgura. Sin embargo, las estimaciones del sector sitúan un sistema completo en torno a los 150.000 dólares.

En ese contexto, el Red Kimi parece ser la opción de escritorio más económica para ejecutar Kimi K3 con su precisión nativa en un solo equipo. Su apuesta consiste en utilizar almacenamiento flash como complemento de la memoria de las GPU. El rendimiento real dependerá de cuánto puedan aprovecharse las cachés y de cómo se gestione el movimiento de datos. Hasta que terceros comprueben las cifras, la promesa de velocidades utilizables sigue siendo una afirmación pendiente de demostrar.

from Latest from TechRadar https://ift.tt/e3fZCAM
via IFTTT IA