아마존, 전문가 협력 반영한 MoE 가지치기 공개

ai.euno.news 자동 뉴스 요약

아마존 연구진이 전문가 혼합(Mixture-of-Experts·MoE) 언어모델을 줄일 때 개별 전문가의 중요도뿐 아니라 전문가끼리 협력하는 관계까지 반영하는 HOPE(Higher-Order Pruning of Experts)를 공개했다. HOPE는 전문가 간 상호작용을 쌍 단위로 계산하는 2차 가지치기 기법이다. 연구진 발표에 따르면 전문가의 50%를 제거한 실험에서 비교 기법 가운데 평균 순위가 가장 높았으며, 에이전트형 코딩 과제에서는 차선의 기법보다 성능이 최대 6.1% 높았다.¹

MoE는 입력 토큰마다 게이트가 높은 일부 전문가만 골라 계산한다. 문제는 선택되지 않은 전문가도 추론할 때 메모리에 올라가 있어야 한다는 점이다. 가령 Qwen3.5-122B는 48개 MoE 층마다 전문가 256개를 두며, 약 250GB에 이르는 매개변수 메모리의 95%를 전문가 다층 퍼셉트론(MLP)이 차지한다. 그러나 토큰 하나를 처리할 때 실제로 쓰이는 전문가는 층마다 8개뿐이다.¹

전문가 가지치기는 사용 가치가 낮은 전문가를 영구 삭제해 이 낭비를 줄인다. 동적 적재·오프로딩에서 생기는 지연을 피할 수 있고, 별도 학습이 필요하지 않으며 양자화와 함께 적용할 수도 있다. 다만 어떤 전문가를 지워도 안전한지 판단하기가 어렵다. 기존 1차 기법은 보정 데이터셋을 이용해 각 전문가에 하나의 중요도 점수를 매긴 뒤, 층별로 점수가 낮은 전문가를 삭제한다.

아마존 연구진은 이 독립성 가정이 실제 작동 방식과 맞지 않는다고 설명한다. 특정 전문가들은 반복해서 함께 활성화되는 안정적인 협력 집단을 이루며, 이런 공동 선택 양상은 학습 초기에 나타나 이후에도 유지된다는 것이다. 전문가 A만 보면 중요도가 낮더라도, 중요한 전문가 B와 자주 협력한다면 A를 삭제하는 순간 둘의 연결도 함께 무너진다. 개별 점수만 보는 기법은 이 손실을 포착하지 못한다.

HOPE는 이런 쌍별 관계를 가지치기 판단에 포함한다. 특히 전문가를 절반까지 없애는 공격적인 설정에서는 끊어지는 협력 관계가 늘기 때문에 2차 정보의 이점이 커진다는 설명이다. 다만 제공된 블로그 자료는 ‘How HOPE identifies a prune-set’ 부분에서 잘려 있어, 전체 평가 과제별 수치나 계산 비용이 블로그 전체에 제시됐는지는 이 자료만으로 확인하기 어렵다.

읽기 목록은 이 브라우저에 저장됩니다.