Hardware para LLM locales: NVIDIA, AMD e Intel. No basta con la memoria, importa el ancho de banda

Al elegir hardware para LLM locales (grandes modelos de lenguaje que se ejecutan en tu propio equipo), conviene mirar el ancho de banda de la memoria y no solo su capacidad.

El coste de las API en la nube y las preocupaciones por la seguridad de los datos empujan a más desarrolladores a ejecutar modelos de IA en sus propios equipos, y NVIDIA, AMD e Intel ofrecen cada una hardware para desarrolladores con un enfoque distinto. Al comparar las especificaciones, algo destaca: dos productos pueden tener 128 GB de memoria y, aun así, diferir mucho en la velocidad a la que la leen (el ancho de banda), y esa velocidad determina en buena medida lo rápido que la IA produce texto.

Primero, unos términos. La VRAM es la memoria dedicada de una tarjeta gráfica. La memoria unificada significa que la CPU y la GPU comparten una misma memoria. El ancho de banda es la velocidad a la que la memoria mueve datos (GB/s). La inferencia es usar un modelo ya terminado para generar respuestas.

De un vistazo

Producto	Memoria	Ancho de banda	Precio informado
NVIDIA DGX Spark (GB10)	128 GB unificada	273 GB/s	4.699 dólares (unos 4.200 euros, subió en febrero)
NVIDIA RTX PRO 6000 Blackwell	96 GB de VRAM	1.792 GB/s	13.250 dólares en el marketplace de NVIDIA (unos 12.000 euros, agotada, fecha de consulta desconocida); algunos informes citan recientemente 16.000 dólares (unos 14.000 euros)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128 GB unificada	256 GB/s	3.999 dólares (unos 3.600 euros, venta exclusiva en Micro Center)
Intel Arc Pro B60 / B70	24 GB / 32 GB (GDDR6)	456 GB/s / 608 GB/s	B70 1.099 dólares (unos 980 euros, ficha de un distribuidor), B60 no encontrado

Los precios cambian rápido y difieren según la fuente. Antes de comprar, comprueba el precio y la disponibilidad actuales en el sitio oficial y en los minoristas.

NVIDIA: ambos sirven, pero son cosas distintas

La DGX Spark mete 128 GB de memoria unificada en una caja pequeña. Es buena para cargar modelos grandes completos, pero su ancho de banda de 273 GB/s se critica por ser inferior al del Apple M4 Max (unos 400 GB/s). Su precio habría subido de 3.999 dólares a 4.699 dólares en febrero por la escasez de suministro de memoria.
La RTX PRO 6000 Blackwell es una GPU de estación de trabajo de 96 GB que se instala en un PC normal. Su ancho de banda es más de seis veces el de la Spark, así que el mismo modelo corre mucho más rápido, pero cuesta bastante más. Esta clase de tarjeta no tiene un precio oficial fijo: los precios dependen del vendedor y han subido con fuerza últimamente.

AMD: 128 GB de memoria unificada, la configuración es el problema

En el CES de este año (la gran feria de tecnología de consumo que se celebra cada enero en Las Vegas), AMD presentó el mini PC para desarrolladores Ryzen AI Halo, con 128 GB de memoria unificada y ROCm preinstalado (el software que ejecuta cálculos de IA en las GPU de AMD). Según AMD, se vende en exclusiva en Micro Center, una cadena estadounidense de tiendas de electrónica, con reservas desde junio.
Equipos de otros fabricantes usan el mismo chip (Ryzen AI Max+ 395). Según AMD, la memoria asignada a la GPU (Variable Graphics Memory) viene preconfigurada, pero hay que aumentarla uno mismo para ejecutar modelos más grandes.
En la comunidad se dice a menudo que, para modelos de 70B (70.000 millones de parámetros) o más, Vulkan (un estándar para usar las tarjetas gráficas en general) funciona mejor que ROCm. Eso viene de pruebas publicadas en blogs, no sistemáticas, así que lo mejor es comparar con tu propia carga de trabajo.

Intel: la gran memoria es para servidores, lo de desarrolladores es experimental

El producto de gran memoria de Intel, Crescent Island, es una GPU de inferencia para centros de datos con 160 GB de LPDDR5X (un estándar de memoria rápido y de bajo consumo). Se esperan muestras en la segunda mitad de este año y disponibilidad general en 2027, así que no es algo que un desarrollador individual vaya a comprar.
Lo que sí pueden usar los particulares son las tarjetas Arc Pro B60 (24 GB) y B70 (32 GB). Hay usuarios que informan de que funcionan con programas de IA local como llama.cpp y vLLM (mediante SYCL, el método de cálculo en GPU de Intel, o Vulkan), aunque también informan de errores del controlador y de falta de memoria.
Por eso, la idea de que Intel apunte a los desarrolladores con chips de gran memoria unificada no encaja hoy. Lo que los desarrolladores pueden conseguir ahora son las tarjetas Arc Pro, y en software OpenVINO (la herramienta de ejecución de IA de Intel) solo ofrece una conexión con llama.cpp en versión preliminar.

Qué podría cambiar para los desarrolladores

Lo que sigue es nuestra estimación y consejo a partir de los informes.

Primero el tamaño del modelo, luego la velocidad. Si el modelo no cabe en memoria, la velocidad no importa. Comprueba la capacidad frente al modelo que quieres ejecutar y después compara el ancho de banda.
Misma capacidad, sensación distinta. Incluso entre productos de 128 GB de memoria unificada, y frente a una tarjeta de 96 GB de VRAM, la velocidad a la que aparece el texto puede variar mucho.
Comprueba la compatibilidad del software. CUDA (la herramienta de cálculo en GPU de NVIDIA) es lo más cómodo; los informes sobre ROCm e Intel (SYCL, OpenVINO) suelen mencionar esfuerzo de configuración. Asegúrate de que tus herramientas para ejecutar IA en local (Ollama, llama.cpp, vLLM) admiten el hardware.
Los precios fluctúan. Hay informes de que la escasez de memoria ha encarecido los productos. Al comparar con el coste de las API en la nube, vuelve a calcular con los precios actuales y tu uso real.

Qué vigilar

El lanzamiento real y el precio del Ryzen AI Halo, los sucesores de la Spark y la evolución de los precios, el calendario de Crescent Island de Intel y el estado de la compatibilidad con ROCm y OpenVINO.

La conversión a euros sigue el tipo de cambio del 14 de octubre (1 dólar ≈ 0,89 euros) y está redondeada.