Hardware für lokale LLMs: NVIDIA, AMD und Intel – nach der Kapazität zählt die Bandbreite

Bei Hardware für lokale LLMs sollte man nicht nur die Speicherkapazität, sondern auch die Bandbreite beachten.

Kosten für Cloud-APIs und Datenschutzbedenken veranlassen immer mehr Entwickler, KI-Modelle auf eigenen Rechnern zu betreiben. NVIDIA, AMD und Intel bieten dafür jeweils unterschiedliche Entwickler-Hardware an. Legt man die Daten nebeneinander, fällt etwas auf: Zwei Produkte können beide 128 GB Speicher haben und sich dennoch stark darin unterscheiden, wie schnell sie ihn lesen können (Bandbreite). Diese Geschwindigkeit bestimmt maßgeblich, wie schnell die KI Text erzeugt.

Zuerst ein paar Begriffe: VRAM ist der dedizierte Speicher einer Grafikkarte. Unified Memory bedeutet, dass sich CPU und GPU einen gemeinsamen Speicher teilen. Bandbreite ist die Geschwindigkeit, mit der Speicher Daten bewegt (GB/s). Inferenz heißt, mit einem fertigen Modell Antworten zu erzeugen.

Auf einen Blick

Produkt	Speicher	Bandbreite	Berichteter Preis
NVIDIA DGX Spark (GB10)	128 GB Unified	273 GB/s	4.699 US-Dollar (rund 4.200 Euro, im Februar erhöht)
NVIDIA RTX PRO 6000 Blackwell	96 GB VRAM	1.792 GB/s	13.250 US-Dollar im NVIDIA-Marktplatz (rund 12.000 Euro, nicht lieferbar, Erfassungsdatum unklar); einige Berichte nennen zuletzt 16.000 US-Dollar (rund 14.000 Euro)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128 GB Unified	256 GB/s	3.999 US-Dollar (rund 3.600 Euro, exklusiv bei der US-Elektronikkette Micro Center)
Intel Arc Pro B60 / B70	24 GB / 32 GB (GDDR6)	456 GB/s / 608 GB/s	B70 rund 1.099 US-Dollar (rund 980 Euro, laut Beitrag eines Partnerunternehmens), B60 nicht gefunden

Preise ändern sich schnell und unterscheiden sich je nach Quelle. Vor dem Kauf aktuelle Preise und Verfügbarkeit auf der offiziellen Seite und bei Händlern prüfen.

NVIDIA: beides nutzbar, aber unterschiedlich

Der DGX Spark bringt 128 GB Unified Memory in ein kleines Gehäuse. Er eignet sich gut, um große Modelle komplett zu laden, doch seine Bandbreite von 273 GB/s wird kritisiert, weil sie unter der des Apple M4 Max (rund 400 GB/s) liegt. Der Preis stieg Berichten zufolge im Februar wegen knapper Speicherversorgung von 3.999 auf 4.699 US-Dollar.
Die RTX PRO 6000 Blackwell ist eine Workstation-GPU mit 96 GB, die in einen normalen PC gesteckt wird. Ihre Bandbreite ist mehr als sechsmal so hoch wie die des Spark, dasselbe Modell läuft also deutlich schneller, kostet aber auch erheblich mehr. Für diese Klasse gibt es keinen festen Listenpreis; die Preise hängen vom Händler ab und sind zuletzt stark gestiegen.

AMD: 128 GB Unified Memory, die Einrichtung ist der Haken

AMD hat auf der diesjährigen CES (der großen Technikmesse, die jedes Jahr im Januar in Las Vegas stattfindet) den Entwickler-Mini-PC Ryzen AI Halo vorgestellt, mit 128 GB Unified Memory und vorinstalliertem ROCm (Software, mit der KI-Berechnungen auf AMD-GPUs laufen). AMD zufolge wird er exklusiv bei Micro Center verkauft, Vorbestellungen laufen seit Juni.
PCs anderer Hersteller nutzen denselben Chip (Ryzen AI Max+ 395). AMD zufolge ist der der GPU zugewiesene Speicher (Variable Graphics Memory) vorkonfiguriert, für größere Modelle muss man ihn aber selbst erhöhen.
In der Community heißt es oft, bei Modellen ab 70B (70 Milliarden Parametern) laufe Vulkan (ein Standard, Grafikkarten allgemein zu nutzen) besser als ROCm. Das stammt aus Benchmarks auf Blog-Niveau, daher am besten mit der eigenen Arbeitslast selbst vergleichen.

Intel: großer Speicher für Server, Karten für Entwickler noch experimentell

Intels Chip mit großem Speicher, Crescent Island, ist eine Inferenz-GPU fürs Rechenzentrum mit 160 GB LPDDR5X (ein schneller, stromsparender Speicherstandard). Erste Muster werden in der zweiten Jahreshälfte erwartet, die allgemeine Verfügbarkeit 2027. Für einzelne Entwickler ist das kein Kaufprodukt.
Einzelpersonen können die Karten Arc Pro B60 (24 GB) und B70 (32 GB) nutzen. Anwender berichten, dass sie mit lokalen KI-Programmen wie llama.cpp und vLLM laufen (über SYCL, Intels GPU-Rechenweg, oder Vulkan), nennen aber auch Treiberfehler und Speichermangel.
Die Aussage, Intel ziele mit Chips mit großem Unified Memory auf Entwickler, passt derzeit also nicht. Verfügbar sind für Entwickler Arc-Pro-Karten, und auf der Softwareseite hat OpenVINO (Intels KI-Laufzeitumgebung) nur eine Vorschau-Anbindung an llama.cpp.

Was sich für Entwickler ändern könnte

Das Folgende ist unsere Einschätzung und unser Rat auf Grundlage der Berichte.

Erst die Modellgröße, dann die Geschwindigkeit. Passt das Modell nicht in den Speicher, ist Geschwindigkeit egal. Kapazität am gewünschten Modell prüfen, danach die Bandbreite vergleichen.
Gleiche Kapazität, anderes Gefühl. Selbst unter Produkten mit 128 GB Unified Memory und im Vergleich zu einer Karte mit 96 GB VRAM kann die Geschwindigkeit, mit der Text erscheint, stark abweichen.
Softwareunterstützung prüfen. CUDA (NVIDIAs GPU-Rechenwerkzeug) ist am bequemsten; bei ROCm und Intel (SYCL, OpenVINO) wird oft Einrichtungsaufwand erwähnt. Prüfen, ob die genutzten Programme zum lokalen Ausführen von KI (Ollama, llama.cpp, vLLM) die Hardware unterstützen.
Preise schwanken. Es gibt Berichte, dass Speicherknappheit die Preise erhöht hat. Beim Vergleich mit Cloud-API-Kosten mit aktuellen Preisen und tatsächlicher Nutzung neu rechnen.

Was man beobachten sollte

Tatsächliche Markteinführung und Preis des Ryzen AI Halo, Nachfolger des Spark und Preisentwicklung, Intels Zeitplan für Crescent Island sowie der Stand der Unterstützung für ROCm und OpenVINO.

Die Euro-Umrechnung folgt dem Kurs vom 14. Oktober (1 US-Dollar ≈ 0,89 Euro) und ist gerundet.