AWS, 스튜디오에 하이퍼팟 관리 기능 추가

2분 AWS세이지메이커하이퍼팟머신러닝
최근 30일 조회수 — 좋아요 —

핵심 요약

개발자는 세이지메이커 스튜디오에서 하이퍼팟 개발 환경을 생성하고 관리할 수 있다.

AWS가 아마존 세이지메이커 스튜디오(Amazon SageMaker Studio) 화면에서 하이퍼팟 스페이스(HyperPod Spaces)를 만들고 관리하는 기능을 출시했다. 데이터 과학자와 머신러닝 엔지니어는 명령줄 도구를 거치지 않고 브라우저에서 주피터랩(JupyterLab)이나 코드 에디터(Code Editor) 개발 환경을 실행할 수 있다. AWS는 클러스터에 접속한 뒤 개발을 시작하기까지 필요한 절차를 몇 번의 클릭으로 줄였다고 설명했다.1

하이퍼팟은 대규모 파운데이션 모델 학습과 추론에 맞춘 세이지메이커 인프라다. 아마존 엘라스틱 쿠버네티스 서비스(Amazon EKS)를 오케스트레이션 계층으로 사용하며, 수백 개 가속기에 걸친 분산 학습과 자동 장애 복구를 지원한다. 수십억 개 매개변수를 지닌 모델의 저지연 추론에도 같은 인프라를 쓸 수 있다.

AWS는 앞서 하이퍼팟 EKS 클러스터에 대화형 개발 환경을 만드는 부가 기능으로 세이지메이커 스페이스를 내놨다. 이에 따라 조직은 학습 작업과 모델 배포가 돌아가는 클러스터에서 대화형 작업도 함께 실행하고, GPU 일부만 할당하는 방식으로 자원 활용도를 높일 수 있었다. 다만 지금까지 스페이스를 만들고 관리하려면 주로 하이퍼팟 명령줄 인터페이스(CLI)나 kubectl을 사용해야 했다. 세밀한 제어가 필요한 인프라 관리자에게는 적합하지만, 개발자가 일상적인 작업까지 명령으로 처리해야 한다는 부담이 있었다.1

새로 마련된 클러스터 상세 화면의 ‘IDE and Notebooks’ 탭에서는 스페이스 생성·설정·시작·중지·접속을 한곳에서 처리한다. 사용자는 안내 양식에서 컴퓨팅 자원, 쿠버네티스 네임스페이스, 스토리지, 이미지 설정을 고를 수 있다. 컴퓨팅 할당량은 하이퍼팟 태스크 거버넌스(HyperPod Task Governance)와 연계한다. 검색 가능한 표에는 각 스페이스의 이름과 애플리케이션 유형, 상태, 접근 방식, 스토리지, GPU 및 vCPU 할당량이 표시된다. 사용하지 않는 스페이스를 중지해 자원을 반납하거나, 브라우저에서 바로 열고 VS Code 같은 원격 통합개발환경(IDE)으로 연결하는 기능도 제공한다.

다만 관리자의 사전 작업은 남아 있다. 관리자는 스페이스 부가 기능을 빠른 설치 또는 사용자 지정 설치 방식으로 클러스터에 넣어야 하며, 설치 뒤 네임스페이스를 구성하고 스페이스 템플릿을 만들 수 있다. 특히 웹 브라우저 접속을 쓰려면 사용자 지정 설치가 필요하다. 데이터 과학자가 사용하는 AWS 아이덴티티 및 액세스 관리(IAM) 역할에는 AWS가 지정한 스페이스·사용자 클러스터·스페이스 템플릿 정책 세 가지도 연결해야 한다. 이번 변화는 하이퍼팟의 관리 기능 전체를 단순화했다기보다, 초기 설정 이후 개발자가 반복하는 스페이스 운영을 스튜디오 화면으로 옮긴 데 의미가 있다.

Footnotes

  1. AWS Machine Learning Blog, “Manage Amazon SageMaker HyperPod Spaces directly from SageMaker Studio” ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Manage Amazon SageMaker HyperPod Spaces directly from SageMaker Studio | Amazon Web Services — AWS Machine Learning Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.