NVIDIA, 클러스터 토폴로지 실시간 파악 도구 'Topograph' 공개

ai.euno.news 자동 뉴스 요약

NVIDIA 테크니컬 블로그에 따르면 이 도구는 클라우드 API나 온프레미스 패브릭 시스템에서 토폴로지 정보를 수집해 공통 모델로 정규화한 뒤, 쿠버네티스 노드 레이블, Slurm 토폴로지 설정, Slinky ConfigMap 등 각 워크로드 매니저가 요구하는 형식으로 변환해 배포한다.

문제의 출발점은 AI 팩토리가 전력 제약 시스템이라는 데 있다. GPU 배치가 잘못되면 토폴로지 도메인이 쪼개지면서 트래픽이 공유 링크로 몰리고, 처리량이 떨어지고 작업 비용이 오르며 GPU가 데이터를 기다리는 동안에도 전력만 소모하는 상황이 생긴다. 훈련과 추론 과정에서 GPU끼리는 계속 데이터를 주고받기 때문에, 서로 가까운 GPU끼리 작업을 묶는 ‘통신 지역성’이 분산 워크로드에 이점을 준다는 것이다. NVIDIA NVLink와 NVLink Switch는 랙 단위 GPU 도메인 안에서 고대역폭 전연결(all-to-all) 통신을 제공하고, Spectrum-X 이더넷은 시스템과 랙을 넘나드는 스케일아웃 구간에서 예측 가능한 저지연 네트워킹을 맡는다. 문제는 이 관계를 스케줄러가 정확하고 최신 상태로 파악하고 있어야 제대로 된 배치가 가능한데, 클러스터가 계속 변하는 상황에서 이 정보를 수작업으로 유지하기가 사실상 불가능하다는 점이다. Topograph는 클러스터 변경이 감지될 때나 요청이 들어올 때마다 토폴로지 뷰를 다시 생성해, 스케줄러가 수동으로 관리하는 스냅숏이 아니라 현재 상태를 근거로 판단하도록 한다.

성능 격차는 수치로도 드러난다. 최신 NVIDIA Quantum InfiniBand 포트는 최대 800Gb/s를 내는데, 같은 GPU 안에서 NVLink는 5세대(Blackwell 기반 GB200/GB300)에서 GPU당 1.8TB/s, 6세대(Vera Rubin)에서는 3.6TB/s의 양방향 대역폭을 낸다. NVLink Switch 패브릭은 논블로킹 전연결 구조라 GPU마다 독자적인 통신 경로를 갖는데, 현재 뷰를 가진 스케줄러는 이런 대역폭 차이를 바탕으로 더 가까운 토폴로지 도메인의 GPU를 선호할 수 있다.

Topograph의 구조는 ‘프로바이더’와 ‘엔진’ 두 개념으로 나뉜다. 프로바이더는 클라우드 API나 온프레미스 시스템에서 토폴로지를 수집해 표준 모델로 정규화하고, 엔진은 이 모델을 Slurm 설정, 쿠버네티스 레이블, Slinky ConfigMap, Node Feature Discovery(NFD) 리소스, 또는 인스턴스 단위 토폴로지 JSON으로 변환한다. 현재 Google Cloud, Lambda, Nebius, Nscale, OCI가 Topograph와 연동을 마쳤고 추가 클라우드·코로케이션 사업자 지원이 개발 중이다. 온프레미스 환경에서는 InfiniBand 프로바이더(ibnetdiscover 기반)나 Spectrum-X·Multi-Node NVLink(MNNVL) 도메인용 NetQ를 쓴다. 프로바이더 인터페이스는 공개되어 있어 운영자가 자체 환경용 프로바이더를 만들어 업스트림에 기여할 수 있다.

NVIDIA는 Topograph가 자사의 클러스터 오케스트레이션 계층인 DSX OS 안에서 동적 리소스 할당(Dynamic Resource Allocation, DRA), KAI Scheduler와 함께 작동해 AI 팩토리 인프라 전반에 토폴로지 인식 갱 스케줄링을 가능하게 한다고 밝혔다. 다만 이는 NVIDIA의 발표 내용이며, 실제 클러스터 규모에서의 성능 개선폭이나 타사 스케줄러와의 비교 수치는 이번 블로그 글에 제시되지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.