리무루, LLM 서빙 메모리 통합 관리

ai.euno.news 자동 뉴스 요약

리무루(Rimuru)는 대규모 언어 모델(LLM) 서빙에서 모델 가중치와 어텐션 상태가 차지하는 장치 메모리를 하나의 풀로 통합하고, 혼합 전문가(Mixture of Experts·MoE) 계층의 가중치를 탄력적으로 오프로딩하는 시스템이다. 연구진은 리무루를 vLLM 위에 구현했으며, 실험에서 기준 시스템보다 처리량을 최대 19.03배 높이고 첫 토큰 생성 시간(TTFT)을 평균 98.1% 줄였다고 보고했다.¹

기존 서빙 시스템은 모델 가중치와 요청별 어텐션 상태에 메모리를 따로 배정한다. 이 고정 경계는 부하 변화에 대응하기 어렵다. 요청이 몰리면 어텐션 상태 공간이 부족해 동시 처리량이 줄고, 부하가 낮을 때는 한쪽에 남은 메모리를 다른 쪽에서 쓰지 못한다. 최신 LLM에는 배치 방식과 수명이 서로 다른 텐서까지 섞여 있어 단순히 공유 메모리 풀을 만드는 것만으로는 해결되지 않는다. 텐서마다 할당 단위와 실행 시 요구하는 메모리 배치가 다르기 때문이다.

리무루는 이를 ‘메모리 뷰(memory view)’로 풀었다. 각 텐서 유형이 같은 공유 공간을 자체 페이지 크기와 페이지 테이블에 맞춰 해석하도록 한다. 여기에 거대 페이지 정렬과 다단계 페이지 할당기를 결합해 페이지를 분할하거나 병합함으로써, 한 텐서 유형이 반환한 용량을 다른 유형이 다시 쓸 수 있게 했다. 런타임에는 워크로드 인식 조정기가 요청량에 맞춰 텐서 유형별 페이지 배분을 바꾼다. 전문가 가중치 일부를 내보내 확보한 공간을 어텐션 상태에 넘기는 식으로 고정 경계를 없앤 것이다.

오프로딩 과정의 복사 비용을 줄이기 위한 실행 경로도 포함됐다. 페이지 테이블을 인식하는 융합 MoE 커널이 연속되지 않은 전문가 가중치에 직접 접근하므로, 실행 전에 가중치를 연속 공간으로 옮길 필요가 없다. 이 설계는 메모리 관리와 MoE 연산을 함께 다룬다는 점에서 공유 풀만 제공하는 접근과 구별된다.

다만 공개된 수치는 2026년 10월 29일 제출된 arXiv 초판의 저자 보고 결과다. 초록에는 기준 시스템별 성능이나 실험 조건이 제시되지 않아, 최대 19.03배라는 수치가 어떤 부하와 하드웨어에서 나왔는지는 주어진 자료만으로 판단하기 어렵다.

읽기 목록은 이 브라우저에 저장됩니다.