AWS, 세이지메이커 하이퍼팟 관측·관리 강화

3분 AWS세이지메이커GPUSlurm
최근 30일 조회수 — 좋아요 —

핵심 요약

AWS가 대규모 GPU 학습 장애 진단과 Slurm 노드 설정을 자동 관리하는 하이퍼팟 기능을 추가했다.

AWS, 세이지메이커 하이퍼팟 관측·관리 강화 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

AWS가 아마존 세이지메이커 하이퍼팟(Amazon SageMaker HyperPod)에 대규모 GPU 학습 장애를 진단하는 인프라 관측 기능과 슬럼(Slurm) 클러스터용 관리형 확장을 추가했다. 전자는 여러 도구에 흩어졌던 가속기·호스트·네트워크 지표를 모아 성능 저하의 원인을 좁히고, 후자는 실행 중인 노드의 관측 소프트웨어와 사용자 설정을 선언형 방식으로 관리한다.12

강화된 관측 기능은 EKS와 Slurm에서 실행하는 학습 작업을 모두 지원한다. 진단 요약은 아마존 클라우드워치(Amazon CloudWatch)의 DetectGroupOutliers API로 같은 작업에 속한 GPU의 사용률, 메모리, 온도, 전력, 스트리밍 멀티프로세서(SM) 클록을 비교한다. 동료 GPU와 다른 장치를 표시하는 한편, 정적 규칙으로 XID 오류와 ECC 메모리 오류, 엘라스틱 패브릭 어댑터(EFA) 처리량 저하, 열 스로틀링, 과열 같은 패턴을 찾는다. GPU가 수백~수천 개로 늘어나면 장치 하나의 이상도 분산 학습 전체를 멈출 수 있다는 문제를 겨냥했다.1

기본 지표는 자동으로 켜지며 클러스터 상태, CPU·디스크·운영체제 사용량, GPU 사용률·온도, 작업별 자원 사용량을 30초마다 수집한다. AWS가 밝힌 수집 부담은 CPU 약 12%, 메모리 250300MB다. 선택 사항인 고급 지표를 켜면 전체 노드 익스포터 지표와 엔비디아 DCGM·AWS 뉴런(Neuron) 지표, EFA의 처리량·드롭·재전송·오류까지 볼 수 있다. 다만 전송하는 원격 측정 데이터가 늘어 저장 비용도 커진다. AWS는 소규모 작업보다 장기간 실행되는 대형 클러스터에 고급 지표가 더 필요하다고 설명했다.1

지표 저장소는 기존 아마존 매니지드 서비스 포 프로메테우스(Amazon Managed Service for Prometheus)에 더해 CloudWatch를 선택할 수 있다. CloudWatch가 새 기본값이며, 세이지메이커 인사이트를 통해 AWS 콘솔 안에서 지표를 확인한다. AWS는 프로메테우스 서비스보다 가격이 낮고 콘솔 결합이 긴밀하다고 주장했다.1

Slurm 쪽에서는 클러스터 확장 기능이 실행 중인 노드의 관측 및 사용자 관리 설정을 지속적으로 유지한다. 관리자가 API나 콘솔로 원하는 상태를 선언하면 AWS가 적용 전에 검증하고 실제 상태를 계속 맞추는 방식이다. 이는 2026년에 도입된 API 기반 Slurm 구성, AMI 기반 설정, 지속적 프로비저닝, 자동 네트워크 토폴로지 관리, 심층 상태 점검을 노드 소프트웨어 계층까지 넓힌 것이다. 동시에 컨트롤러를 포함한 모든 노드의 SSH 접근과 자체 수명주기 스크립트는 유지돼, 관리 자동화와 직접 제어를 함께 쓸 수 있다.2

Footnotes

  1. AWS Machine Learning Blog, “Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod” ↩ ↩2 ↩3 ↩4

  2. AWS Machine Learning Blog, “Introducing managed cluster extensions for observability and user management in Amazon SageMaker HyperPod Slurm” ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Introducing enhanced infrastructure observability in Amazon SageMaker HyperPod | Amazon Web Services — AWS Machine Learning Blog
  2. Introducing managed cluster extensions for observability and user management in Amazon SageMaker HyperPod Slurm | Amazon Web Services — AWS Machine Learning Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요.