광섬유로 LLM 가중치 공유하는 OBM 제안
최근 30일 조회수 — 좋아요 —핵심 요약
OBM은 광섬유로 모델 가중치를 공유해 HBM을 줄이면서 처리량과 에너지 효율을 유지하는 구조다.
대규모언어모델(LLM) 추론에서 모델 가중치를 가속기마다 복제하지 않고 광섬유로 브로드캐스트해 가중치 저장용 고대역폭 메모리(HBM) 사용을 없애는 시스템이 제안됐다. 11월 12일 arXiv에 공개된 논문은 이 구조를 OBM(Optical Broadcast Memory·광 브로드캐스트 메모리)이라 부른다. 연구진은 가속기 8만 개 규모의 데이터센터를 평가한 결과, OBM이 페타바이트 단위의 HBM을 줄이면서 기존 HBM 기반 시스템과 대등하거나 더 나은 처리량과 토큰당 에너지 효율을 보였다고 밝혔다.1
기존 데이터센터에서는 읽기 전용이며 모든 추론 인스턴스에서 동일한 모델 가중치를 수만 개 가속기의 로컬 메모리에 각각 저장한다. 이 중복은 메모리 구입 비용뿐 아니라 대기 전력과 가중치를 반복해서 읽는 데 드는 에너지를 키운다. LLM 추론이 메모리 용량과 대역폭에 묶이는 상황에서, 계산 장치를 늘리는 것만으로는 이 문제가 사라지지 않는다.
OBM은 중앙 메모리 서버가 가중치를 계속 송출하고, 여러 추론 노드가 계층형 ‘탭 앤드 앰플리파이(Tap-and-Amplify)’ 광섬유망에서 필요한 데이터 스트림을 수동으로 받아 쓰는 방식이다. 각 노드는 수신 전용 코패키지드 광학 장치를 이용하며, 가중치는 중간 버퍼를 거치지 않고 연산 장치로 전달된다. 가속기마다 전체 가중치를 보관하는 대신 하나의 스트림을 여러 노드가 공유하는 셈이다.
이 설계는 앞서 제안된 광섬유 지연선 메모리의 고리형 구조도 보완한다. 광학 링은 전체 모델을 고리 안에 담아야 하므로 모델이 커질수록 광섬유 길이가 늘고, 구축할 때 정한 여유 구간을 바꾸기 어렵다. 최신 전문가 혼합(MoE) 모델을 효율적으로 배치하기도 어렵다. OBM은 끝이 열린 계층형 구조와 동적으로 크기를 조절하는 여유 구간을 사용해 길고 가변적인 문맥과 MoE 모델을 처리한다.
다만 제시된 성능은 논문 저자들의 데이터센터 규모 평가 결과이며, 근거 자료의 초록만으로는 실제 운영 환경에서 구축한 실증 결과나 비용 내역의 포함 여부를 확인할 수 없다. 따라서 HBM 제거 효과와 처리량·에너지 이점이 실제 배포에서도 그대로 나타나는지는 추가 검증이 필요하다.
Footnotes
-
arXiv, 「Broadcast, Don’t Replicate: Eliminating Weight HBM in Datacenter LLM Serving」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.