유럽 공공 슈퍼컴퓨터서 1조 매개변수 AI 학습

ai.euno.news 자동 뉴스 요약

EUROPA 컨소시엄이 유럽의 공공 슈퍼컴퓨터 JUPITER에서 총 9,519억 개 매개변수를 갖춘 전문가 혼합(Mixture-of-Experts·MoE) 모델의 사전학습을 확장했다. 공유형 공공 인프라에서는 어렵다고 여겨졌던 약 1조 매개변수 규모의 학습을 구현하고, GPU당 처리량을 초당 90토큰에서 약 1,300토큰으로 14배 넘게 끌어올렸다는 게 PyTorch의 설명이다.¹

이번 작업은 공공 자원으로 주권형 오픈소스 AI를 최첨단 규모까지 키울 수 있는지 검증하는 ‘EuroHPC Frontier AI Grand Challenge’의 일부다. Domyn과 프라운호퍼 IAIS·IIS가 구성한 EUROPA는 최소 4,000억 매개변수, 유럽연합(EU) 24개 공식 언어 지원, EU AI법 준수를 목표로 모델을 개발하고 있다. 실험에는 독일 율리히 연구센터에 호스팅된 엑사스케일 슈퍼컴퓨터 JUPITER와 PyTorch, 분산 학습 프레임워크 TorchTitan이 쓰였다.

핵심 과제는 모델 크기보다 JUPITER의 연결 구조였다. 실험은 데이터 병렬 복제본 하나당 NVIDIA GH200 GPU 384개, 즉 96개 노드를 사용했다. 각 노드에는 HBM3 96GB를 갖춘 Hopper GPU와 LPDDR5X 120GB를 갖춘 72코어 Grace CPU가 결합된 GH200 네 개가 들어간다. GPU와 자체 CPU 사이의 NVLink-C2C 대역폭은 초당 900GB지만, 노드 사이 InfiniBand는 GPU당 약 25GB로 36배 느리다. 1조 개에 가까운 매개변수를 여러 노드에 분산하면 이 병목을 계속 통과해야 한다.

EUROPA는 Muon 옵티마이저의 통신량을 줄이는 FlexShard 배치, 활성값 체크포인트를 Grace CPU로 옮기는 오프로딩, FSDP의 all-gather 준비 작업을 연산 스트림에서 실행하는 unshard_async_op 등을 적용했다. 마지막 최적화는 GPU당 약 14GiB의 고대역폭 메모리(HBM)를 확보했다. 일부 변경 사항은 PyTorch와 TorchTitan에도 반영됐다.

다만 공개된 수치는 384개 GPU로 구성한 특정 실험의 처리량이며, 전체 학습 비용이나 기간, 완성 모델의 성능은 자료에 제시되지 않았다. 이번 결과가 보여준 범위는 공공 인프라가 독점형 AI 클러스터와 같은 조건이라는 데 있지 않다. 느린 노드 간 연결과 제한된 호스트 메모리를 소프트웨어 최적화로 보완해 약 1조 매개변수 MoE 사전학습을 실행 가능한 수준으로 만들었다는 데 있다.

읽기 목록은 이 브라우저에 저장됩니다.