분산 엣지 LLM 시뮬레이터 LEDGE 공개
최근 30일 조회수 — 좋아요 —핵심 요약
LEDGE는 실제 연산 없이 이기종 엣지의 분산 LLM 지연 시간을 예측해 실험을 최대 135.3배 단축했다.

이기종 엣지 기기에서 대규모 언어 모델(LLM)을 분산 서빙할 때 성능을 빠르게 평가하는 경량 시뮬레이터 LEDGE가 공개됐다. LEDGE는 실제 텐서 연산을 실행하지 않고도 모델 분할 방식과 기기 배치, 네트워크 조건에 따른 요청 지연 시간을 예측한다. 연구진은 소스 코드도 공개했다고 밝혔다.1
엣지 환경의 분산 추론은 여러 변수를 함께 살펴야 한다. 모델을 어느 단위로 나눌지, 각 연산을 어떤 기기에 맡길지, 통신 경로를 어떻게 구성할지에 따라 결과가 달라진다. 이를 매번 실제 장비에서 시험하면 시간과 비용이 커진다. LEDGE는 이벤트 그래프를 구성해 균일하지 않은 텐서 병렬화와 파이프라인 병렬화를 표현하고, 종단 간 측정값으로 보정한 재사용 가능 성능 모델로 실행 비용을 추정한다. 여러 통신이 같은 링크를 쓸 때 생기는 경합도 시뮬레이션한다.
연구진은 엔비디아 젯슨과 라즈베리 파이 10대로 구성한 이기종 테스트베드에서 LEDGE를 평가했다. 실험 범위는 LLM 4개 계열의 모델·정밀도 조합 17종이었다. Qwen 배치에서는 요청 단위 평균절대백분율오차(MAPE)가 3.6% 미만이었고, 실제 추론을 반복했을 때보다 전체 실험 속도가 135.3배 빨랐다. 한 LLM 계열로 보정한 성능 모델을 다른 세 계열에 별도 보정 없이 적용했을 때 종단 간 지연 시간 MAPE는 7.44%였다.1
대규모 탐색 능력도 LEDGE의 핵심이다. 연구진은 서로 다른 엣지 환경 4곳에서 83.8분 동안 2만6,773회의 시뮬레이션을 수행했다. 추가 실험에서는 공유 링크의 경합에 따라 적절한 기기 배치가 달라지고, 네트워크 토폴로지가 확장성을 제한할 수 있음을 확인했다. 즉 계산 성능만 비교해서는 분산 LLM 배치를 제대로 평가하기 어렵다는 뜻이다.
다만 공개된 수치는 연구진이 구성한 10대 규모 테스트베드와 선정한 모델 조합에서 얻은 결과다. 다른 하드웨어 구성이나 더 큰 네트워크에서도 같은 오차와 속도 향상이 유지되는지는 이번 자료만으로 확인할 수 없다. 논문 역시 2026년 11월 18일 제출된 arXiv 초판으로, 동료평가를 거친 결과는 아니다.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- LEDGE: An Efficient Simulator for Distributed LLM Serving on Heterogeneous Edge Devices — arXiv (cs.DC)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.