멀티버스, 이징 모델로 LLM 블록 압축 기법 공개

ai.euno.news 자동 뉴스 요약

LLM 블록 제거 문제를 물리학의 이징(Ising) 스핀 모델로 바꿔 푸는 압축 기법이 공개됐다. 양자컴퓨팅 스타트업 멀티버스 컴퓨팅(Multiverse Computing)이 허깅페이스 블로그를 통해 소개한 논문 「LLM Compression by Block Removal with Constrained Binary Optimization」의 내용으로, 트랜스포머 블록을 제거할지 남길지를 이징 글래스(Ising glass)의 스핀 배열 문제로 재정의한 것이 핵심이다.¹

기존 블록 제거 기법 대부분은 각 블록의 중요도를 크기(magnitude)나 민감도, “블록 영향력” 같은 지표로 따로 계산한 뒤 점수가 낮은 블록부터 제거해왔다. 논문은 이를 물리학의 평균장(mean-field) 근사에 비유한다. 이웃 스핀들의 영향을 하나의 평균값으로 뭉뚱그리듯, 블록 하나하나의 기여도를 다른 블록과 독립된 것처럼 계산한다는 것이다. 여기에 더해 연속된 블록 묶음만 제거 대상으로 삼는 방식도 흔한데, 이는 탐색 범위를 줄여 계산은 쉬워지지만 실제로 고려할 수 있는 조합의 대부분을 포기하는 셈이다.

문제는 블록 20을 제거했을 때 모델이 손상되는지 여부가 블록 19나 24를 함께 제거했는지에 따라 달라진다는 점이다. 논문은 이런 블록 간 상호작용을 실제 자석 속 스핀들의 결합(coupling)에 비유한다. 모델이 깊어지고 구조가 다양해질수록, 그리고 한 번에 많은 블록을 제거하려 할수록 이 상호작용을 무시한 대가는 커진다. 그렇다고 모든 조합을 따져보려면 경우의 수가 기하급수적으로 늘어나 무차별 대입은 사실상 불가능하다. 통계물리학의 도구가 필요해지는 지점이 여기다.

연구팀은 각 트랜스포머 블록에 0(유지)과 1(제거)의 이진 변수를 부여하고, 이를 스핀이 위 또는 아래를 향하는 것으로 취급한다. 그다음 모델 손실 함수를 이 변수들에 대해 2차 테일러 전개해 근사 헤시안(Hessian) 행렬을 구한다. 이 행렬의 대각 성분은 각 블록이 단독으로 갖는 중요도이고, 비대각 성분이 바로 블록 간 쌍대 결합, 즉 평균장 방식이 버렸던 상호작용 정보다.

이렇게 하면 “어느 블록을 지울까”라는 질문이 제약 조건 아래 에너지 xᵀH⁰x를 최소화하는 M개 블록 집합을 찾는 제약 이진 최적화(constrained binary optimization, CBO) 문제로 바뀐다. 물리적으로는 전체 스핀 수(제거할 블록 수)가 고정된 채 모든 스핀이 서로 얽혀 있는 이징 글래스와 같다. 논문이 제시하는 핵심 주장은 이 에너지 값이 실제 벤치마크 성능의 강력한 대리 지표라는 점이다. 에너지가 낮은 스핀 상태가 곧 성능이 좋은 압축 모델에 대응한다는 것으로, 이 덕분에 후보 조합을 실제로 벤치마크하지 않고도 대량으로 순위를 매길 수 있고, 어려운 문제는 멀티버스가 다른 프로젝트에서 쓰는 것과 같은 고전·양자 영감 솔버에 넘길 수 있다.

이 방식이 실용적인 이유는 계산 비용이다. 전체 결합 정보를 담은 헤시안은 소규모 보정(calibration) 데이터셋에 대한 순전파·역전파 한 번으로 단 한 차례만 계산하면 되고, 이후 후보 구성 하나를 평가하는 비용은 훨씬 저렴해진다. 논문이 공개한 수치로는 Llama-3.3-70B-Instruct를 50% 압축했을 때, 기존 최고 성능의 블록 제거 기법 대비 MMLU 점수가 약 23%포인트 높았다고 밝혔다. 다만 이 수치는 멀티버스 측이 자체 발표한 것으로, 다른 압축 계열(양자화, 지식 증류 등)과의 비교나 독립적인 재현 결과는 이번 자료에 포함돼 있지 않다.

읽기 목록은 이 브라우저에 저장됩니다.