엔비디아, RL 가중치 전송용 리샤드 공개

ai.euno.news 자동 뉴스 요약

엔비디아가 강화학습(RL) 후속 훈련에서 학습용 GPU와 추론용 GPU 사이의 모델 가중치 갱신을 가속하는 집단 통신 방식 ‘리샤드(Reshard) 컬렉티브’를 공개했다. 오픈소스 참조 구현인 NCCL M2N Reshard도 NVIDIA/nccl-extensions 깃허브 저장소에 제공한다.¹

RL 후속 훈련에서는 현재 정책 모델로 추론을 실행해 학습 궤적을 즉석에서 만든다. 효율을 높이려면 학습과 추론을 서로 다른 GPU 자원에서 병렬로 처리하는 분리형 구성을 흔히 쓴다. 문제는 가중치가 학습 GPU에서만 바뀐다는 점이다. 따라서 최신 가중치를 추론 GPU로 주기적으로 옮겨야 하며, 엔비디아는 이 작업을 ‘리핏(refit)’이라고 부른다.

리핏은 단순 복사보다 까다롭다. 학습과 추론은 연산 특성이 달라 데이터·컨텍스트·텐서·전문가·파이프라인 병렬화 구성이 서로 다를 수 있다. 같은 모델이라도 양쪽 GPU에 나뉜 가중치의 경계와 배치가 달라지는 셈이다. 게다가 추론 GPU의 전체 가중치를 갱신해야 하므로 전송량이 모델 자체의 가중치 크기에 비례한다.

기존 방식은 각 매개변수마다 학습 GPU의 조각을 올개더(all-gather)로 모아 완전한 텐서를 복원한 뒤 추론 GPU 전체에 브로드캐스트한다. 이후 각 GPU가 필요한 조각만 남긴다. 구조는 단순하지만 일부 조각만 필요한 추론 GPU에도 전체 매개변수를 보내 통신이 중복된다.

엔비디아가 제시한 BF16 기준 추산치는 이 부담을 보여준다.

올개더와 브로드캐스트를 합치면 리핏 한 번의 논리 전송량이 가중치 크기의 약 두 배가 된다. 현재 대형 오픈 가중치 모델에서는 학습 단계마다 약 10TB를 처리해야 한다는 계산이다.

리샤드 컬렉티브의 핵심은 리핏을 서로 다른 분산 텐서(DTensor) 배치 사이의 전송 문제로 다시 정의하고, 목적지 조각을 만드는 데 필요한 가중치만 보내 이론적 최소 전송량을 지향하는 데 있다. 다만 자료에는 실제 클러스터에서 측정한 처리시간이나 기존 방식 대비 속도 향상 수치가 제시되지 않았다. 따라서 공개된 내용만으로 성능 개선 폭까지 판단할 수는 없다.

읽기 목록은 이 브라우저에 저장됩니다.