270억 임상 LLM, 소비자 CPU로 구동

2분 임상 LLMCPU 추론메모리온프레미스
최근 30일 조회수 — 좋아요 —

핵심 요약

시스템 RAM을 활용해 대형 임상 LLM을 CPU로 구동했지만 속도와 임상 안전성 검증은 과제로 남았다.

270억 임상 LLM, 소비자 CPU로 구동 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

소비자용 그래픽처리장치(GPU)에 들어가지 않는 270억 매개변수 임상 대규모 언어 모델(LLM)을 시스템 메모리에 올려 중앙처리장치(CPU)만으로 구동하는 배포 방식이 제안됐다. 10월 13일 arXiv에 공개된 논문은 진료 현장 배포를 가로막는 주된 요인이 연산 성능보다 메모리 용량이라고 보고, 범용 소비자 기기 두 대에서 이 접근법을 시험했다.1

연구진이 지목한 병목은 GPU의 비디오 메모리(VRAM)다. 소비자용 GPU의 VRAM은 416GB인 반면, 4비트 정밀도로 양자화한 270억 매개변수 모델의 작업 메모리는 1725GB다. GPU 연산 성능이 충분하더라도 모델 자체를 올릴 공간이 모자랄 수 있다는 뜻이다. 연구진은 엣지 장치를 ‘연산이 부족한 기기’가 아니라 ‘시스템 RAM 용량을 활용할 수 있는 기기’로 봐야 한다고 주장했다.

실험에는 270억 매개변수 의료 모델 대신 구조와 규모가 같은 공개 모델의 INT4 빌드가 쓰였다. 입력 역시 실제 환자 기록이 아니라 합성 FHIR(Fast Healthcare Interoperability Resources·의료정보 상호운용 표준) 프롬프트였다. RAM 67GB와 GPU 메모리 6GB를 갖춘 데스크톱에서는 시스템 RAM의 37%, RAM 34GB와 GPU 메모리 4GB를 갖춘 모바일 워크스테이션에서는 60%를 사용해 모델 전체를 적재했다. 반면 두 GPU는 첫 추론 단계가 시작되기도 전에 메모리 부족 상태가 됐다.

대신 속도에는 뚜렷한 제약이 있었다. CPU 추론 성능은 초당 0.6~2.4토큰으로, 연구진도 이를 야간 일괄처리 수준으로 규정했다. 즉 환자와 즉시 대화하는 용도보다는 시간이 덜 민감한 온프레미스 작업에 가까운 결과다. 논문은 CPU와 신경망처리장치(NPU)에 최적화된 개방형 추론 런타임을 실제 배포 경로로 제시했다.

연합학습 방식으로 미세조정할 때는 전체 가중치 대신 22.6MB짜리 저순위 어댑터만 전송해 통신량을 99.96% 줄일 수 있다고 연구진은 계산했다. 의료 데이터를 기관 안에 둔 채 모델을 운용·갱신할 가능성을 보여주는 수치다. 다만 이번 결과는 두 소비자용 기기와 대체 공개 모델, 합성 데이터로 얻은 연구 산출물이다. 논문도 의료기기가 아니라고 명시했으며, 실제 임상 모델의 정확도나 진료 환경에서의 안전성은 검증하지 않았다.

Footnotes

  1. arXiv, Capacity over TFLOPS: Memory-Centric Deployment of Large Clinical Language Models on Consumer CPUs ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Capacity over TFLOPS: Memory-Centric Deployment of Large Clinical Language Models on Consumer CPUs — arXiv (cs.DC)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.