roobrief開発者のためのITニュース

ハードウェア

ローカルLLM向けハードウェアの勢力図:NVIDIA・AMD・Intel、容量の次は「帯域」

ローカルLLM向けのハードウェアは、メモリの「容量」だけでなく「帯域」も合わせて見る必要がある。

クラウドAPIのコストやデータ保護の観点から、AIモデルを自分のPCで動かしたい開発者が増え、NVIDIA、AMD、Intelがそれぞれ異なる形の開発者向け機器を出している。仕様を並べると気づくことがある。メモリが同じ128GBでも、データを読み出す速さ(帯域)は製品によって大きく違い、この速さがAIの文章生成の速さを左右するという点だ。

最初に用語を整理しておく。VRAMはグラフィックスカード専用のメモリ、統合メモリはCPUとGPUが1つのメモリを共有する方式だ。帯域はメモリがデータをやり取りする速度(GB/s)、推論は完成したモデルで答えを生成することを指す。

一覧

製品 メモリ 帯域 報じられた価格
NVIDIA DGX Spark(GB10) 128GB統合 273GB/s 4,699ドル(約74万円、2月に値上げ)
NVIDIA RTX PRO 6000 Blackwell 96GB VRAM 1,792GB/s NVIDIAマーケットプレイスの表記は13,250ドル(約210万円、在庫切れ・確認時点は不明)、最近は16,000ドル(約250万円)とする報道もある
AMD Ryzen AI Halo(Ryzen AI Max+ 395) 128GB統合 256GB/s 3,999ドル(約63万円、Micro Center限定販売)
Intel Arc Pro B60 / B70 24GB / 32GB(GDDR6) 456GB/s / 608GB/s B70は約1,099ドル(約17万円、販売パートナーの記事による)、B60は確認できず

価格は変動が激しく、情報源によっても異なる。購入前に公式サイトや販売店で最新の価格と在庫を確認する必要がある。

NVIDIA:どちらも使えるが性格が違う

  • DGX Sparkは小さな筐体に128GBの統合メモリを載せた製品だ。大きなモデルをまるごと載せるには向くが、帯域273GB/sはAppleのM4 Max(約400GB/s)より低いという指摘がある。価格はメモリ供給不足を理由に、2月に3,999ドルから4,699ドルへ上がったと伝えられた。
  • RTX PRO 6000 Blackwellは、通常のPCに挿す96GBのワークステーション向けGPUだ。帯域はSparkの6倍以上で、同じモデルがはるかに速く動くが、価格もはるかに高い。このクラスには定価がなく、販売店によって価格が異なり、最近は大きく上がっている。

AMD:128GBの統合メモリ、鍵は設定

  • AMDは今年のCES(毎年1月に米ラスベガスで開かれる家電・IT見本市)で開発者向けミニPCRyzen AI Haloを紹介した。128GBの統合メモリを備え、ROCm(AMDのGPUでAI計算を動かすソフトウェア)があらかじめ入っている。AMDによると、米国の家電量販チェーンMicro Centerのみでの販売で、6月から予約を受け付けている。
  • 同じチップ(Ryzen AI Max+ 395)を使うPCは他社からも出ている。AMDによると、GPUに割り当てるメモリ(Variable Graphics Memory)はあらかじめ設定されているが、より大きなモデルを動かすときは自分で増やす必要がある。
  • コミュニティでは、70B級(700億パラメーター)以上のモデルではROCmよりVulkan(グラフィックスカードを汎用に使う標準の方式)のほうが良いという報告が多い。これは個人ブログでの計測結果なので、自分の用途で直接比べるのが望ましい。

Intel:大容量はサーバー向け、開発者向けは実験段階

  • Intelの大容量メモリ製品Crescent Islandは、160GBのLPDDR5X(省電力で高速なメモリ規格)を載せたデータセンター向け推論GPUだ。サンプル出荷は今年下期、一般提供は2027年と見込まれており、個人の開発者が買う製品ではない。
  • 個人が使えるのはArc Pro B60(24GB)とB70(32GB)のカードだ。llama.cppやvLLMといったローカルAI実行ソフトで動かせたという報告がある(IntelのGPU計算方式SYCLやVulkanを使う)一方、ドライバーのエラーやメモリ不足に遭ったという報告もある。
  • そのため、「Intelが大容量の統合メモリチップで開発者市場を攻める」という表現は現時点では当てはまらない。開発者が今手に入れられるのはArc Proカードで、ソフトウェア面ではIntelのAI実行ツールOpenVINOがllama.cpp向けの連携機能をプレビュー段階で出している程度だ。

開発者に起こりうる変化

以下は報道をもとにした筆者の推測と助言だ。

  • まずモデルの大きさ、次に速度。 モデルがメモリに載らなければ速度は意味がない。動かしたいモデルが入るか容量を確認し、そのあと帯域を比べる順番が合っている。
  • 同じ容量でも体感は違う。 128GBの統合メモリ製品どうしでも、96GBのVRAMカードと比べても、文字が出てくる速さには大きな差が出る。
  • ソフトウェアの対応を確認する。 CUDA(NVIDIAのGPU計算ツール)が最も手軽で、ROCmやIntel(SYCL、OpenVINO)は設定の手間がよく挙げられる。使うローカルAI実行ソフト(Ollama、llama.cpp、vLLM)がそのハードウェアに対応しているか先に確認したい。
  • 価格の変動が大きい。 メモリの供給不足で価格が上がったという報道がある。クラウドAPIのコストと比べるときは、現在の価格と実際の使用量で計算し直すのがよい。

今後の注目点

Ryzen AI Haloの実際の発売と価格、Sparkの後継モデルと価格の動き、IntelのCrescent Islandの日程、そしてROCmとOpenVINOの対応状況。

円換算は10月14日の為替レート(1ドル≒158円)によるおおよその値だ。

出典

出典: www.servethehome.com

← 戻る