AWS, 세이지메이커에 MIG GPU 분할 지원

ai.euno.news 자동 뉴스 요약

AWS가 11월 6일 아마존 세이지메이커 추론(Amazon SageMaker Inference) 엔드포인트에 엔비디아 멀티인스턴스 GPU(NVIDIA Multi-Instance GPU·MIG) 기반 GPU 분할 기능을 추가했다. 물리 GPU 한 장을 하드웨어 수준에서 격리된 여러 파티션으로 나누고, 각 파티션에 서로 다른 모델을 배포하는 기능이다. 지금까지 모델마다 GPU 한 장을 통째로 할당해야 했던 제약을 풀어, GPU 수보다 많은 모델을 한 인스턴스에서 운영할 수 있게 됐다.¹

기존 방식에서는 모델이 실제로 쓰는 메모리와 무관하게 GPU 전체가 최소 할당 단위였다. 예컨대 A100 GPU 8개를 탑재한 ml.p4d.24xlarge에는 모델이 각각 40GB를 쓰든 14GB를 쓰든 최대 8개만 배치할 수 있었다. 구형 GPU 한 장으로는 동시 요청이나 긴 프롬프트를 처리하기 어렵지만, 신형 GPU 한 장은 성능이 남는 경우에도 선택지는 둘 중 하나뿐이었다. MIG를 쓰면 신형 GPU의 일부만 모델에 배정해 이런 간극을 줄일 수 있다.¹

MIG는 지원 GPU 한 장을 최대 7개 인스턴스로 분할한다. 각 파티션에는 연산 장치와 캐시, 메모리, 메모리 대역폭이 따로 주어진다. 따라서 한 모델의 트래픽 급증이 다른 모델의 p99 지연시간에 미치는 영향을 막고, 충돌이나 메모리 오류도 해당 파티션 안에 가둘 수 있다는 게 AWS의 설명이다. 모델별 파티션을 계속 유지하므로 요청 시 모델을 다시 불러오는 콜드 스타트나 축출도 없다. 파티션 크기를 섞어 소형·중형 모델에 필요한 만큼만 배정할 수도 있다.¹

다만 모든 SageMaker 엔드포인트에서 쓸 수 있는 것은 아니다. GPU 분할은 여러 모델을 하나의 엔드포인트에 배포하고 모델별 연산 자원을 지정하는 ‘추론 컴포넌트(inference components)’ 방식에서만 작동한다. 단일 모델 엔드포인트와 서버리스 엔드포인트, 서로 다른 인스턴스를 섞은 풀은 지원하지 않는다.¹

기존 멀티모델 엔드포인트도 GPU를 공유하지만 하드웨어 격리가 없고, 아직 적재되지 않은 모델은 첫 요청 때 로딩 지연을 겪는다. 쿠버네티스에서 MIG를 직접 운영하면 같은 분할이 가능하지만 드라이버 버전, 파티션 구성, 디바이스 플러그인과 스케줄링까지 관리해야 한다. 이번 지원의 의미는 MIG 자체의 도입보다, 이런 운영 부담 없이 모델별 격리와 세분화된 GPU 할당을 SageMaker 관리형 엔드포인트에서 제공한다는 데 있다.¹

읽기 목록은 이 브라우저에 저장됩니다.