AWS, 팀별 GPU 클러스터 공유 설계 공개
최근 30일 조회수 — 좋아요 —핵심 요약
AWS가 세이지메이커 하이퍼팟에서 팀별 격리·공정 배분·비용 추적을 지원하는 EKS 참조 아키텍처를 공개했다.
AWS가 아마존 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod)의 단일 GPU 클러스터를 여러 팀이 격리된 상태로 공유하고, 자원을 공정하게 배분하는 참조 아키텍처를 공개했다. 데이터 과학·컴퓨터 비전·연구 조직이 같은 클러스터에서 학습과 추론을 수행하되, 팀별 작업 공간과 권한, 비용을 분리하는 방식이다.1
세이지메이커 하이퍼팟은 생성형 AI 작업에 필요한 대규모 컴퓨팅 클러스터를 관리하는 서비스다. 아마존 엘라스틱 쿠버네티스 서비스(Amazon EKS)나 슬럼(Slurm)으로 분산 학습, 대화형 개발, 모델 추론을 실행하며 노드 상태 감시와 장애 복구, 클러스터 수명주기 관리도 자동화한다. 이번 아키텍처는 이 가운데 EKS 기반 환경을 대상으로 한다.1
핵심은 사용자 인증부터 작업 실행, 비용 집계까지 팀 경계를 이어서 적용하는 데 있다. AWS IAM 아이덴티티 센터(AWS IAM Identity Center)가 중앙 인증을 맡고, 마이크로소프트 엔트라 ID(Microsoft Entra ID) 같은 외부 신원 제공자와 연동한다. 사용자는 아이덴티티 센터 포털에서 자기 팀의 세이지메이커 AI 도메인과 전용 스튜디오 환경에 들어가거나, 명령줄에서 aws sso login으로 임시 자격 증명을 받은 뒤 kubectl로 EKS에 작업을 제출한다.1
각 팀에는 별도 권한 세트와 IAM 역할이 주어진다. 클러스터 안에서는 쿠버네티스 네임스페이스가 작업을 분리하고, 하이퍼팟 태스크 거버넌스(HyperPod Task Governance)가 공유 자원을 공정하게 할당한다. 네임스페이스별 비용 배분도 적용해 어느 팀이 GPU 비용을 발생시켰는지 확인하고 내부 청구에 활용할 수 있다. 별도 클러스터를 팀마다 운영하지 않고도 운영 독립성과 비용 가시성을 확보하려는 설계다.1
다만 AWS가 공개한 것은 모든 조직에 자동 적용되는 완제품형 다중 테넌트 설정이 아니라 구축 청사진이다. 조직은 팀별 도메인과 역할, 네임스페이스, 자원 할당 정책을 구성해야 한다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Share GPU clusters across teams with isolation and fairness using Amazon SageMaker HyperPod | Amazon Web Services — AWS Machine Learning Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.