AWS, 세이지메이커 하이퍼팟에 쿠물로 연동 지원 발표

ai.euno.news 자동 뉴스 요약

AWS가 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod)과 스토리지 업체 쿠물로(Qumulo)를 연동해, 학습 데이터를 옮기지 않고도 다른 리전에 있는 GPU 클러스터에서 대규모 모델을 학습시키는 구조를 공개했다.¹ AWS 머신러닝 블로그에 따르면 이 조합은 데이터를 저장한 리전과 GPU가 있는 리전이 다를 때 발생하는 지연과 전송 비용 문제를 데이터 복제 없이 해결하는 것을 목표로 한다.

대규모 모델 학습에는 막대한 GPU 용량이 필요하지만, 원하는 컴퓨팅 자원과 학습 데이터가 항상 같은 리전에 있는 것은 아니다. 그동안 팀들은 페타바이트급 데이터를 여러 리전에 복제하거나, 매 읽기마다 리전 간 지연을 감수하고 처리량 저하를 받아들이는 두 가지 선택지 중 하나를 골라야 했다.

AWS는 이번 조합을 US East(오하이오, us-east-2)에 있는 허브 클러스터와 US West(오리건, us-west-2)에 있는 스포크 클러스터로 검증했다. 데이터는 오하이오 리전에만 저장하고, 오리건의 스포크 클러스터는 60ms의 네트워크 지연을 두고 이 데이터를 원격으로 읽으며 동일한 학습 작업을 독립적으로 실행했다. 그 결과 짧은 워밍업 구간을 지나자 스포크 클러스터의 처리량이 허브 클러스터와 같은 수준(초당 115~117개 샘플)에 도달했다.

구조는 세 겹으로 이뤄진다. 클라우드 네이티브 쿠물로(Cloud Native Qumulo, CNQ)가 한 리전에 학습 데이터의 단일 원본을 보관하고, 각 하이퍼팟 클러스터는 자신의 로컬 CNQ 인스턴스를 NFS(Network File System)로 마운트한다. 스포크 쪽 CNQ는 VPC 피어링을 통해 허브의 데이터를 가져오는데, 이때 쿠물로의 클라우드 데이터 패브릭(Cloud Data Fabric, CDF)에 포함된 뉴럴캐시(NeuralCache)가 데이터 로더의 접근 패턴을 학습해 로컬 NVMe에서 미리 데이터를 서빙한다. 작업 제출은 Amazon EKS 오케스트레이터가 맡고, 실제 학습 노드는 두 리전 모두에서 같은 로컬 마운트 경로를 읽도록 구성된다.

수치로 보면 단일 리전 학습에서는 GPU 활용률 99%, p5.48xlarge 인스턴스의 네트워크 포화, 3ms 미만의 데이터 처리 지연을 기록했다. 원격 리전 학습에서는 초기 100150개 배치 구간에서 GPU 활용률이 8090%에 머물다가 이후 98~100%로 수렴했다. 이 워밍업 구간이 전체 학습에서 차지하는 비중은 배치 수 1만 개 이상일 때 전체 실행 시간의 1% 미만, 10만 개 이상일 때는 0.1% 미만이라고 AWS는 밝혔다.

이번 검증은 AWS가 자체적으로 수행한 벤치마크로, 두 리전 간 거리와 60ms 지연이라는 특정 조건에서 나온 결과다. 지연이 더 크거나 데이터 접근 패턴이 예측하기 어려운 경우에도 같은 수준의 워밍업 시간과 활용률이 유지되는지는 이번 블로그 글에서 별도로 다루지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.