스카이파일럿, NVL72 GPU 활용률 27% 개선

ai.euno.news 자동 뉴스 요약

스카이파일럿(SkyPilot)이 엔비디아 Grace Blackwell NVL72 랙에서 멀티노드 작업의 위치를 조정해, 같은 하드웨어에서 쓸 수 있는 GPU를 최대 27% 늘리는 토폴로지 인식 스케줄링 방식을 공개했다. 핵심은 여러 노드에 걸친 작업을 한 랙 안에 배치하고, 장애와 작업 종료로 흩어진 여유 자원을 다시 모으는 데 있다.¹

NVL72는 기존 GPU 클러스터와 통신 구조가 다르다. 과거 NVLink는 한 노드 내부 GPU만 연결했기 때문에 여러 노드에 걸친 AI 작업은 InfiniBand나 AWS EFA, GCP GPUDirect-TCPX 같은 네트워크를 이용해야 했다. 반면 NVL72는 랙 하나에 있는 GPU 72개를 단일 NVLink 패브릭으로 묶어, 서로 다른 노드의 GPU도 기존 네트워크보다 한 자릿수 이상 높은 대역폭으로 통신하게 한다.¹

이 차이는 대규모 학습에서 특히 크다. 텐서 병렬화(Tensor Parallelism)는 각 층의 가중치 행렬을 GPU에 나눠 담고, 트랜스포머 층마다 순전파 과정에서 두 차례 all-reduce 통신을 수행한다. 이 통신은 연산과 완전히 겹쳐 처리하기 어려워 학습 속도를 좌우한다. 자료에 인용된 허깅페이스 측정에서는 같은 분산 학습 작업의 통신망을 NVLink에서 InfiniBand로 바꾸자 처리량이 43% 떨어졌다. 전문가 병렬화(Expert Parallelism)도 혼합 전문가(MoE) 층마다 토큰을 보내고 결과를 합치는 두 차례 all-to-all 통신이 필요하다.¹

문제는 작업이 랙 경계를 넘을 때 InfiniBand 병목으로 NVL72의 이점을 충분히 활용하기 어려워진다는 점이다. GPU나 노드 장애로 일부 자원이 빠지고, 실행 시간이 다른 작업들이 제각각 끝나면 빈 GPU가 여러 랙에 흩어진다. 총여유 용량은 충분해도 한 랙 안에서 연속된 자원을 확보하지 못해 새 멀티노드 작업을 배치하기 어려워진다.

스카이파일럿 플랫폼은 토폴로지를 고려한 초기 배치, 하드웨어 장애 뒤 제자리 복구, 공유 클러스터의 자동 조각 모음을 결합해 작업을 랙 내부에 유지한다. 회사가 내세운 최대 27%라는 수치는 GPU 자체의 연산 성능 향상이 아니라, 파편화 때문에 놀던 GPU를 실제 작업에 투입할 수 있게 된 비율이다. 다만 제공된 자료에는 이 수치를 얻은 클러스터 규모와 작업 구성, 비교 대상 스케줄러 등 세부 실험 조건이 제시되지 않아 다른 환경에서도 같은 개선 폭을 기대할 수 있는지는 확인하기 어렵다.¹

읽기 목록은 이 브라우저에 저장됩니다.