La pregunta clave para equipos de IA en crecimiento es: ¿qué opción resulta más barata a lo largo del tiempo, invertir en hardware propio o pagar por uso en la nube? Una revisión de rendimiento comparó una estación con dos tarjetas AMD Radeon AI PRO R9700 frente a tarifas de suscripción en la nube para inferencia de IA, evaluando consumo eléctrico, rendimiento de tokens y costos amortizados.

La configuración probada incluyó dos tarjetas AMD Radeon AI PRO R9700, cada una con 32 GB de memoria, instaladas en una estación de trabajo con un precio aproximado de 18,775 USD. La evaluación midió el consumo de electricidad, el rendimiento en tokens y el costo amortizado del hardware, para confrontarlo con varias tier de suscripción en la nube.

Cómo fijan el umbral los precios en la nube

Los proveedores de IA en la nube cobran por cada millón de tokens generados. Los precios oscilan desde 1,20 USD por millón para GPT-5.6 Luna hasta 30 USD por millón para GPT-5.6 Sol. Modelos de rango medio ocupan posiciones intermedias, con Claude Sonnet 5 a 10 USD y Claude Opus 5 a 25 USD por millón de tokens generados. Cuanto más caro sea el modelo en la nube que usaría un equipo, más rápido se cubren los costos del hardware propio.

En la prueba, la estación de trabajo con ambas tarjetas generó 156,2 tokens por segundo, sirviendo a ocho usuarios simultáneamente.6:

• Con una técnica de predicción multi-token, la throughput se duplicó casi, alcanzando 320,2 tokens por segundo con la misma calidad de salida.

A esa velocidad de 320,2 tokens por segundo, la estación requeriría 3,5 horas semanales de uso para superar en costo a GPT-5.6 Sol, 4,2 horas para vencer a Claude Opus 5 y 8,8 horas para Gemini 3.1 Pro. En otras palabras, un equipo que genera más de 20 millones de tokens al mes frente a la tarificación de Sol obtiene ahorros reales con esta configuración de hardware propio.

Con ese volumen, el costo anual de electricidad y amortización de hardware ronda los 6.262 USD, frente a unos 18.000 USD anuales en tarifas equivalentes de Sol. Esa brecha de 11.738 USD al año es la evidencia de por qué, para usos intensivos, una configuración propia puede ser ventajosa.

Si en cambio se recurre a GPT-5.6 Luna, a 1,20 USD por millón de tokens, la matemáticas cambian radicalmente. La estación necesitaría unas 94,3 horas de uso semanal para igualar el costo total de la suscripción más barata, lo que es prácticamente imposible en una semana de 168 horas si la demanda no es constante y saturada.

El consumo eléctrico fue un factor menor en la comparación, ya que las dos tarjetas consumían entre 310 y 510 vatios bajo carga sostenida.

Cuándo los números juegan a favor de AMD

Para un equipo más pequeño que produce 5 millones de tokens mensuales y se compara con Gemini 3.1 Pro, el costo anual de la estación de trabajo es de 6.262 USD frente a solo 720 USD en la nube; es decir, la inversión en hardware no compensa hasta que el volumen de tokens justifique la diferencia anual. En otras palabras, el hardware local adquiere valor económico a partir de un nivel de uso significativo.

Interesantemente, una sola tarjeta R9700 puede manejar un modelo de 8.000 millones de parámetros, procesando 34,5 tokens por segundo sin la ayuda de la segunda tarjeta. Ejecutar solo una tarjeta reduce aún más el punto de equilibrio, ya que consume menos energía para cargas equivalentes. Esa opción de una sola tarjeta abre una vía de economía positiva para cargas más ligeras, permitiendo que una compra de 1.880 USD por tarjeta se amortice mucho antes que la inversión en un conjunto dual de 3.760 USD.

Aun así, el costo no decide por completo, ya que estos modelos locales suelen quedarse por debajo de los sistemas en la nube en ciertas pruebas de razonamiento complejas. En un índice de inteligencia independiente, el modelo AMD de 27 mil millones de parámetros obtuvo 37 puntos frente a 46 puntos de Gemini 3.1 Pro, lo que sugiere que una estrategia centrada en el conteo de tokens podría implicar una ligera pérdida de calidad razonadora frente a algunas soluciones en la nube.

La comparación completa se apoya en la referencia de Puget Systems, que analizó el rendimiento de la familia AMD Radeon AI PRO R9700 en inferencia de IA.

En resumen, la decisión entre invertir en hardware propio o pagar por nube depende del volumen de tokens generado y de la tolerancia a posibles discrepancias en el rendimiento de razonamiento. Para equipos con uso elevado y constante, el costo anual de propiedad puede superar el costo de suscripción, haciendo que AMD ofrezca una propuesta atractiva. Para cargas más ligeras, la nube puede seguir siendo la opción más rentable.

from Latest from TechRadar https://ift.tt/8RlEdSc
via IFTTT IA