AWS, 세이지메이커 추론 엔드포인트 자동 점검
최근 30일 조회수 — 좋아요 —핵심 요약
세이지메이커 AI가 지연 변화와 유휴 GPU, 누락된 최적화를 자동 탐지해 개선 방안을 안내한다.

AWS가 아마존 세이지메이커 AI(Amazon SageMaker AI)의 생성형 AI 추론 엔드포인트를 모니터링해 지연 시간 변화, 유휴 GPU, 빠진 최적화를 자동으로 찾아내는 기능을 출시했다. AWS에 따르면 적용 대상은 vLLM 서빙 컨테이너와 GPU 인스턴스를 쓰는 엔드포인트다. 별도 설정 없이 기본으로 켜지며, 원하지 않으면 엔드포인트별로 끌 수 있다.1
이 기능은 운영 중인 엔드포인트가 처음 배포했을 때의 효율을 계속 유지하기 어렵다는 문제를 겨냥한다. 시간이 지나면서 트래픽과 프롬프트 길이가 달라지고, vLLM이나 세이지메이커 추론 기능도 새 버전으로 바뀐다. 미세조정한 체크포인트가 요구하는 자원까지 변하면 응답 속도가 서서히 느려지거나, 예상보다 적은 수요 탓에 비싼 GPU가 놀 수 있다. 장애가 발생한 것은 아니어서 기존 경보로는 이런 변화를 놓치기 쉽다는 게 AWS의 설명이다.1
세이지메이커 AI가 탐지하는 항목은 세 가지다. 지연 변화는 엔드투엔드 지연 시간 또는 첫 토큰 생성 시간(Time to First Token)의 중앙값인 p50이 전주보다 늘었는지 확인한다. 미사용 용량은 비용을 지불하면서도 대부분 유휴 상태인 GPU를 찾는다. 구성 누락은 최신 성능 개선이나 보안 패치가 빠진 서빙 컨테이너, 또는 모델이 지원하지만 적용하지 않은 추측 디코딩과 GPU 커널 튜닝을 가려낸다.1
점검에는 지연 시간, GPU 사용률, 서빙 구성 같은 운영 신호만 쓰며 요청과 응답 내용은 읽지 않는다. 모니터링 자체에 추가 GPU 비용도 들지 않는다. 조치할 항목이 생기면 AWS 헬스(AWS Health)가 엔드포인트당 하나의 알림으로 발견 내용을 묶어 보내고, 이메일로도 관측 결과와 권장 다음 단계를 안내한다.1
알림에서 세이지메이커 스튜디오(SageMaker Studio)의 에이전트 환경을 열면 대상 엔드포인트와 최근 트래픽 정보가 미리 입력된다. 사용자는 현재 구성과 대안을 별도 컴퓨팅 환경에서 벤치마크한 뒤 응답 시간, 처리량, 토큰 100만 개당 비용을 나란히 비교할 수 있다. 다만 탐지는 곧바로 자동 최적화로 이어지지 않는다. 운영 엔드포인트는 사용자가 결과를 선택해 적용하기 전까지 바뀌지 않으며, 벤치마크 실행도 별도로 동의해야 한다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints | Amazon Web Services — AWS Machine Learning Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.