로컬 LLM 하드웨어 지형: 엔비디아·AMD·인텔, 용량 다음은 '대역폭'

로컬 LLM용 하드웨어는 메모리 ’용량’만 보지 말고 ’대역폭’을 함께 봐야 한다.

클라우드 API 비용과 데이터 보안 때문에 AI 모델을 내 PC에서 직접 돌리려는 개발자가 늘면서, 엔비디아·AMD·인텔이 각자 다른 방식의 개발자용 장비를 내놓고 있다. 그런데 제품 사양을 나란히 놓으면 눈에 띄는 점이 있다. 메모리가 128GB로 같아도 데이터를 읽어 오는 속도(대역폭)는 제품마다 크게 다르고, 이 속도가 AI가 글자를 만들어 내는 속도를 좌우한다는 점이다.

용어부터 정리하면, LLM은 ChatGPT처럼 글을 읽고 쓰는 대형 언어 모델이다. VRAM(Video RAM)은 그래픽 카드 전용 메모리, 통합 메모리는 CPU와 GPU가 한 메모리를 나눠 쓰는 방식이다. 대역폭은 메모리가 데이터를 주고받는 속도(GB/s)이고, 추론은 완성된 모델로 답을 만들어 내는 일이다.

한눈에 보기

제품	메모리	대역폭	보도된 가격
NVIDIA DGX Spark (GB10)	128GB 통합	273GB/s	4,699달러(약 630만 원, 2월 인상)
NVIDIA RTX PRO 6000 Blackwell	96GB VRAM	1,792GB/s	마켓플레이스 표기 13,250달러(약 1,800만 원, 품절·확인 시점 불명), 일부 보도는 최근 16,000달러(약 2,100만 원)
AMD Ryzen AI Halo (Ryzen AI Max+ 395)	128GB 통합	256GB/s	3,999달러(약 540만 원, Micro Center 독점 판매)
Intel Arc Pro B60 / B70	24GB / 32GB (GDDR6)	456GB/s / 608GB/s	B70 약 1,099달러(약 150만 원, 파트너 글 기준), B60은 확인하지 못함

가격은 빠르게 변하고 출처마다 다르다. 구매 전에는 공식 사이트와 판매처에서 현재 가격과 재고를 확인해야 한다.

엔비디아: 둘 다 쓸 수 있지만 성격이 다르다

DGX Spark는 작은 본체 안에 128GB 통합 메모리를 넣은 제품이다. 큰 모델을 통째로 올리기에는 좋지만 대역폭 273GB/s는 애플 M4 Max(약 400GB/s)보다 낮다는 지적이 나온다. 가격은 메모리 공급 부족으로 2월에 3,999달러에서 4,699달러로 올랐다고 전해졌다.
RTX PRO 6000 Blackwell은 일반 PC에 꽂는 96GB 워크스테이션 GPU다. 대역폭이 Spark의 6배를 넘어 같은 모델에서 훨씬 빠르지만 값도 훨씬 비싸다. 이 급은 정해진 권장가가 없어 판매처에 따라 가격이 다르고 최근 크게 올랐다.

AMD: 128GB 통합 메모리, 설정이 관건

AMD는 올해 CES(매년 1월 미국 라스베이거스에서 열리는 가전·IT 박람회)에서 개발자용 미니 PC Ryzen AI Halo를 소개했다. 128GB 통합 메모리를 갖추고 ROCm(AMD GPU로 AI 계산을 돌리는 소프트웨어)이 미리 깔려 나온다. AMD는 이 제품을 Micro Center에서만 판매하며 6월부터 사전 예약을 받는다고 밝혔다.
같은 칩(Ryzen AI Max+ 395)을 쓰는 PC가 여러 곳에서 나와 있다. GPU에 배정되는 메모리(Variable Graphics Memory)는 미리 설정돼 나오지만, 더 큰 모델을 돌리려면 이 값을 직접 늘려야 한다고 AMD는 안내한다.
커뮤니티에서는 70B급(파라미터 700억 개) 이상 모델은 ROCm보다 Vulkan(그래픽 카드를 범용으로 쓰는 표준 방식)이 낫다는 후기도 많다. 다만 개인 블로그에 올라온 측정 결과라서, 자신의 작업으로 직접 비교해 보는 게 좋다.

인텔: 대용량은 서버용, 개발자용은 실험 단계

인텔의 대용량 메모리 제품 Crescent Island는 160GB LPDDR5X(저전력 고속 메모리 규격)를 단 추론용 데이터센터 GPU다. 샘플 공급은 올해 하반기, 일반 출시는 2027년이 거론되며 개인 개발자가 살 제품은 아니다.
개인이 쓸 수 있는 건 Arc Pro B60(24GB)·B70(32GB) 카드다. llama.cpp, vLLM 같은 로컬 AI 실행 프로그램으로 돌릴 수 있다는 후기가 있지만(인텔 GPU용 계산 방식인 SYCL이나 Vulkan을 쓴다) 드라이버 오류와 메모리 부족 같은 문제를 겪었다는 보고도 함께 있다.
따라서 “인텔이 대용량 통합 메모리 칩셋으로 개발자 시장을 공략한다”는 표현은 현재로서는 맞지 않는다. 개발자가 지금 손에 넣을 수 있는 건 Arc Pro 카드이고, 소프트웨어 쪽에서는 인텔의 AI 실행 도구인 OpenVINO가 llama.cpp용 연결 기능을 시험 단계로 내놓은 정도다.

개발자에게 달라질 수 있는 것

아래는 보도를 바탕으로 한 추정과 조언이다.

먼저 모델 크기, 다음에 속도. 모델이 메모리에 안 올라가면 속도는 의미가 없다. 쓰려는 모델이 들어가는지 용량부터 보고, 그다음 대역폭을 비교하는 순서가 맞다.
같은 용량이라도 체감은 다르다. 128GB 통합 메모리 제품끼리도, 96GB VRAM 카드와 비교해도 글자가 나오는 속도에서 큰 차이가 난다.
소프트웨어 지원을 확인해야 한다. CUDA(엔비디아의 GPU 계산 도구)가 가장 편하고, ROCm과 인텔(SYCL, OpenVINO)은 후기에 설정 부담이 자주 언급된다. 쓰는 로컬 AI 실행 도구(Ollama, llama.cpp, vLLM)가 해당 하드웨어를 지원하는지 먼저 봐야 한다.
가격 변동이 크다. 메모리 공급 부족으로 가격이 올랐다는 보도가 있다. 클라우드 API 비용과 비교할 때 현재 가격과 실제 사용량으로 다시 계산해 보는 게 좋다.

앞으로 볼 것

Ryzen AI Halo의 실제 출시와 가격, Spark 후속 모델과 가격 흐름, 인텔 Crescent Island의 출시 일정, 그리고 ROCm·OpenVINO 지원 상황이다.

원화 환산은 10월 14일 환율(1달러≈1,341원) 기준의 대략적인 값이다.