구글, 도시 간 LLM 학습 기술 공개
최근 30일 조회수 — 좋아요 —핵심 요약
구글이 느린 도시 간 통신망에서도 LLM 학습 중단을 줄이는 스트리밍 다일로코를 맥스텍스트에 공개했다.

구글 딥마인드와 구글 리서치가 여러 도시의 데이터센터에 있는 가속기 클러스터를 연결해 대규모 언어 모델(LLM)을 학습하는 스트리밍 다일로코(Streaming DiLoCo)를 맥스텍스트(MaxText)에 공개했다. 맥스텍스트는 JAX 기반 오픈소스 LLM 학습 프레임워크다. 핵심은 데이터센터 사이의 느린 광역통신망(WAN)에서도 계산을 자주 멈추지 않도록 모델 동기화를 분산하는 데 있다.1
기존 데이터 병렬 학습은 한곳에 모인 가속기가 고대역폭 연결을 통해 매 단계 기울기를 동기화한다. 그러나 단일 클러스터를 계속 키우기에는 물리적·비용상 제약이 따른다. 여러 데이터센터를 묶으면 계산 자원을 더 확보할 수 있지만, WAN은 데이터센터 내부망보다 대역폭이 낮고 지연 시간이 길다. 매 단계 전체 기울기의 전송을 기다리면 네트워크 대기가 늘고, 실제 연산에 쓰이는 비율인 모델 FLOPS 활용률(MFU)이 떨어진다.
다일로코(DiLoCo·Distributed Low-Communication)는 학습을 M개의 독립된 ‘러너’ 그룹으로 나눠 이 문제를 줄인다. 각 러너는 공통 가중치에서 출발해 H번의 로컬 최적화 단계를 독립적으로 수행한다. 이후 현재 가중치와 시작 시점의 전역 가중치 사이 차이인 델타를 구하고, 분산 all-reduce로 평균을 낸다. 바깥쪽 옵티마이저는 보통 네스테로프 모멘텀을 적용한 확률적 경사하강법(SGD)을 사용해 전역 가중치를 갱신한다. 구글은 이 방식이 통신 빈도를 H배, 즉 설정에 따라 10~100배가량 줄이면서 기존 동기식 학습과 비슷한 수렴성과 모델 품질을 보였다고 설명했다.1
다만 기본 다일로코도 H번째 단계마다 모델 전체의 델타를 한꺼번에 보내므로, 대역폭이 좁으면 주기적으로 큰 정지가 생긴다. 스트리밍 다일로코는 모델 매개변수를 서로 겹치지 않는 P개 조각으로 나누고 H단계에 걸쳐 전송한다. 각 조각은 이 기간에 정확히 한 번 동기화되므로 기본 방식과 같은 바깥쪽 갱신 주기를 유지하면서 트래픽의 순간 집중을 피한다.
구글이 제시한 통신량 모델에서 표준 데이터 병렬 방식은 동기화 한 번마다 매개변수 수 (|\Theta|), 매개변수당 바이트 수 (b)를 기준으로 (2|\Theta|b)바이트를 전송한다. 스트리밍 다일로코의 의미는 총통신량 감축을 넘어, 이 전송을 계산 과정에 고르게 섞어 도시 간 네트워크를 학습 자원으로 활용할 길을 열었다는 데 있다. 다만 제공된 발표에는 실제 모델 규모별 처리량이나 비용 절감 수치가 제시되지 않아, 환경별 효과는 별도 검증이 필요하다.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText — Google Developers Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.