Matériel pour LLM en local : NVIDIA, AMD et Intel — après la capacité, la bande passante

Pour choisir du matériel destiné aux LLM (grands modèles de langage, le type d’IA derrière des chatbots comme ChatGPT) en local, il faut regarder la bande passante mémoire, pas seulement la capacité.

Le coût des API cloud et les préoccupations de sécurité des données poussent de plus en plus de développeurs à faire tourner des modèles d’IA sur leur propre machine, et NVIDIA, AMD et Intel proposent chacun du matériel pour développeurs sous une forme différente. En mettant les caractéristiques côte à côte, un point ressort : deux produits peuvent avoir 128 Go de mémoire et pourtant différer beaucoup par la vitesse à laquelle ils la lisent (la bande passante), et c’est cette vitesse qui détermine en grande partie la rapidité avec laquelle l’IA produit du texte.

Quelques termes d’abord. La VRAM est la mémoire dédiée d’une carte graphique. La mémoire unifiée signifie que le CPU et le GPU se partagent une même mémoire. La bande passante est la vitesse à laquelle la mémoire déplace les données (Go/s). L’inférence consiste à utiliser un modèle terminé pour produire des réponses.

En un coup d’œil

Produit	Mémoire	Bande passante	Prix rapporté
NVIDIA DGX Spark (GB10)	128 Go unifiée	273 Go/s	4 699 dollars (environ 4 200 euros, augmenté en février)
NVIDIA RTX PRO 6000 Blackwell	96 Go de VRAM	1 792 Go/s	13 250 dollars sur la place de marché NVIDIA (environ 12 000 euros, en rupture, date de relevé incertaine) ; certains articles citent récemment 16 000 dollars (environ 14 000 euros)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128 Go unifiée	256 Go/s	3 999 dollars (environ 3 600 euros, vendu exclusivement chez Micro Center)
Intel Arc Pro B60 / B70	24 Go / 32 Go (GDDR6)	456 Go/s / 608 Go/s	B70 environ 1 099 dollars (environ 980 euros, article d’un partenaire), B60 non trouvé

Les prix évoluent vite et varient selon les sources. Avant d’acheter, vérifiez le prix actuel et le stock sur le site officiel et chez les revendeurs.

NVIDIA : les deux fonctionnent, mais ce n’est pas la même chose

Le DGX Spark loge 128 Go de mémoire unifiée dans un petit boîtier. Il convient bien pour charger de gros modèles en entier, mais sa bande passante de 273 Go/s est jugée inférieure à celle de l’Apple M4 Max (environ 400 Go/s). Son prix serait passé de 3 999 dollars à 4 699 dollars en février en raison de tensions sur l’approvisionnement en mémoire.
La RTX PRO 6000 Blackwell est un GPU de station de travail de 96 Go qui se branche dans un PC classique. Sa bande passante est plus de six fois supérieure à celle du Spark : un même modèle tourne bien plus vite, mais elle coûte aussi bien plus cher. Cette catégorie n’a pas de prix catalogue fixe : les prix dépendent du vendeur et ont fortement grimpé récemment.

AMD : 128 Go de mémoire unifiée, la configuration est le point délicat

Au CES (le grand salon de l’électronique organisé chaque janvier à Las Vegas) cette année, AMD a présenté le mini-PC pour développeurs Ryzen AI Halo, avec 128 Go de mémoire unifiée et ROCm préinstallé (le logiciel qui fait tourner des calculs d’IA sur les GPU AMD). Selon AMD, il est vendu exclusivement chez Micro Center, avec des précommandes à partir de juin.
Des PC d’autres fabricants utilisent la même puce (Ryzen AI Max+ 395). Selon AMD, la mémoire attribuée au GPU (Variable Graphics Memory) est préconfigurée, mais il faut l’augmenter soi-même pour exécuter de plus gros modèles.
Dans la communauté, on lit souvent que Vulkan (une norme pour utiliser les cartes graphiques en général) fonctionne mieux que ROCm pour les modèles de 70B (70 milliards de paramètres) et plus. Cela vient de tests publiés sur des blogs : le mieux est de comparer soi-même sur sa propre charge de travail.

Intel : les grosses capacités mémoire sont réservées aux serveurs, les produits pour développeurs sont expérimentaux

Le produit à grande mémoire d’Intel, Crescent Island, est un GPU d’inférence pour centres de données avec 160 Go de LPDDR5X (une norme de mémoire rapide et économe en énergie). Les échantillons sont attendus au second semestre de cette année et la disponibilité générale en 2027 : ce n’est pas un produit qu’un développeur individuel achètera.
Les particuliers peuvent utiliser les cartes Arc Pro B60 (24 Go) et B70 (32 Go). Des utilisateurs rapportent les avoir fait fonctionner avec des programmes d’IA locale comme llama.cpp et vLLM (via SYCL, la méthode de calcul GPU d’Intel, ou Vulkan), mais aussi des erreurs de pilote et des erreurs de mémoire insuffisante.
L’idée qu’Intel viserait les développeurs avec des puces à grande mémoire unifiée ne correspond donc pas à la situation actuelle. Ce que les développeurs peuvent se procurer aujourd’hui, ce sont les cartes Arc Pro, et côté logiciel, OpenVINO (l’outil d’exécution d’IA d’Intel) ne propose qu’une connexion à llama.cpp en préversion.

Ce qui pourrait changer pour les développeurs

Ce qui suit est notre estimation et nos conseils à partir des informations disponibles.

D’abord la taille du modèle, ensuite la vitesse. Si le modèle ne tient pas en mémoire, la vitesse n’a pas d’importance. Vérifiez la capacité par rapport au modèle visé, puis comparez la bande passante.
Même capacité, ressenti différent. Même entre produits à 128 Go de mémoire unifiée, et face à une carte de 96 Go de VRAM, la vitesse de génération du texte peut beaucoup varier.
Vérifier la prise en charge logicielle. CUDA (l’outil de calcul GPU de NVIDIA) est le plus simple ; les retours sur ROCm et Intel (SYCL, OpenVINO) évoquent souvent un effort de configuration. Assurez-vous que vos outils d’exécution d’IA en local (Ollama, llama.cpp, vLLM) prennent en charge le matériel.
Les prix fluctuent. Des informations indiquent que la pénurie de mémoire a fait monter les prix. Pour comparer avec les coûts d’API cloud, refaites le calcul avec les prix actuels et votre usage réel.

À suivre

La sortie effective et le prix du Ryzen AI Halo, les successeurs du Spark et l’évolution des prix, le calendrier de Crescent Island chez Intel, et l’état de la prise en charge de ROCm et d’OpenVINO.

La conversion en euros suit le taux du 14 octobre (1 dollar ≈ 0,89 euro) et est arrondie.