허깅페이스, 32GB서 180B MoE 구동
최근 30일 조회수 — 좋아요 —핵심 요약
허깅페이스가 선택된 전문가 가중치만 SSD에서 불러와 32GB 메모리에서 180B MoE를 구동하는 기법을 공개했다.
허깅페이스(Hugging Face)가 1,800억 매개변수 규모의 전문가 혼합(Mixture of Experts·MoE) 모델을 32GB 메모리 환경에서도 실행할 수 있도록, 필요한 전문가 가중치를 SSD에서 직접 불러오는 스트리밍 기법을 공개했다. 허깅페이스는 토큰 생성 성능이 MoE 전용 추론 엔진 스트라타(Strata)보다 6% 이내로 느린 수준까지 접근했다고 밝혔다.1
MoE는 입력마다 일부 ‘전문가’만 골라 계산한다. 전문가 가중치가 전체 모델 가중치의 90% 이상을 차지하는 만큼, 전부 GPU 메모리에 올리지 않고 실제로 선택된 전문가만 가져오면 필요한 메모리를 크게 줄일 수 있다. 스트라타도 자주 쓰이는 전문가만 비디오 메모리(VRAM)에 두고 나머지는 시스템 메모리나 디스크에 보관한다. 실제로 32GB 메모리의 M4 맥에서 Qwen3.8-Flash-Next를 초당 13.5토큰으로 실행한 사례가 소개됐다. 다만 허깅페이스 글 작성자는 이 속도가 코딩 에이전트 용도로는 느리다고 평가했다.1
기존 엔진은 메모리가 부족할 때 서로 다른 병목을 보였다. llama.cpp는 전문가를 CPU에서 계산해 PCIe로 가중치를 옮기지 않지만, 시스템 메모리에도 담기지 않으면 페이지 캐시가 반복해서 교체된다. vLLM은 선택된 전문가를 PCIe 너머 고정 메모리에서 읽을 수 있으나 캐시와 디스크 계층이 없어, 자주 쓰는 전문가도 토큰마다 다시 전송한다. Transformers와 Accelerate 조합은 전문가 선택을 인식하지 못해 오프로딩된 층의 전문가 묶음 전체를 GPU로 복사한다. CPU와 GPU가 메모리를 공유하는 맥에서는 CPU 오프로딩 자체가 메모리를 확보하지 못한다.1
A10G GPU 1장과 Qwen3.6-35B-A3B를 쓴 비교에서도 차이가 컸다. 8비트 양자화한 스트라타는 초당 8288토큰, 64토큰을 기록했다. 전문가만 오프로딩한 FP8 vLLM은 20.1토큰, Transformers와 Accelerate는 0.16토큰이었다. 조건과 정밀도가 완전히 같지는 않아 엔진의 절대 성능 비교로 보기는 어렵지만, 라우팅 결과에 맞춰 전문가를 옮기고 재사용하는 설계가 단일 사용자·소규모 메모리 환경에서 중요한 이유는 분명히 드러난다.1llama.cpp는 63
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers — Hugging Face Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.