AWS, HyperPod 데이터 캡처 기능 추가

ai.euno.news 자동 뉴스 요약

아마존웹서비스(AWS)가 Amazon SageMaker HyperPod에 운영 환경의 추론 입력과 출력을 자동으로 Amazon S3에 저장하는 데이터 캡처(Data Capture) 기능을 추가했다. 배포 전 데이터셋에는 없던 전문 용어와 새 제품, 예상 밖의 입력 형식, 사용자 행동 변화를 기록해 모델의 오류를 분석하고 미세조정 데이터로 재활용하려는 기능이다. AWS는 모델 가용성에는 영향을 주지 않으며 지연시간 증가도 최소화했다고 밝혔다.¹

데이터 캡처는 요청 경로의 서로 다른 지점에서 작동하는 3개 계층으로 구성된다. 1계층은 SageMaker 엔드포인트에서 요청·응답 전문을 저장하며 규정 준수와 Model Monitor 연계에 적합하다. 2계층은 로드밸런서에서 요청 행, 상태 코드, 처리 시간, 클라이언트 IP, 사용자 에이전트 같은 트래픽 정보만 기록한다. 3계층은 모델 파드에서 요청·응답 전문과 이벤트 메타데이터를 저장해 학습 데이터 마련에 쓸 수 있다. 세 계층은 독립적으로 켤 수 있지만 1계층과 3계층을 함께 사용하면 같은 요청·응답이 두 번 저장된다.

AWS가 공개한 예제는 가전제품 문의를 분류하는 모델의 운영 트래픽을 3계층에서 수집한다. 모델 파드의 NGINX 프록시를 지난 요청은 OpenTelemetry 수집기로 복사된 뒤 묶음 처리돼 Mountpoint for Amazon S3 볼륨에 기록된다. Amazon Athena가 이 파일을 직접 조회해 새 제품을 제대로 분류하지 못하는 문제를 찾고, SQL 정책으로 레코드에 라벨을 붙인다. 이후 훈련 오퍼레이터가 HyperPodPyTorchJob으로 미세조정을 수행하고, 개선한 모델을 데이터 캡처가 켜진 별도 엔드포인트에 다시 배포한다. 예제에는 합성 데이터를 사용했으며, 스크립트와 매니페스트, SQL, 합성 데이터셋, 예상 출력은 함께 제공되는 GitHub 저장소에서 확인할 수 있다.

서빙과 학습을 한 HyperPod 클러스터에서 동시에 수행하려면 GPU도 각각 필요하다. 예제는 서빙에 ml.g6e.8xlarge, 학습에 ml.g6e.xlarge를 사용했으며 두 인스턴스에는 48GB NVIDIA L40S GPU가 한 개씩 있다. 서빙 파드가 엔드포인트 수명 동안 GPU를 점유하므로 GPU가 하나뿐이면 학습 파드는 Pending 상태에 머문다.

요청 전문에는 이름과 주소, 주문번호 같은 개인식별정보(PII)가 포함될 수 있다는 점도 고려해야 한다. AWS는 샘플링, AWS KMS 암호화, S3 수명 주기 규칙과 Amazon Comprehend 등을 이용한 PII 삭제를 권고한다. 운영 데이터를 곧바로 학습 자료로 쓰는 기능이 아니라, 수집 이후 보호·분석·라벨링 절차까지 설계해야 하는 이유다.

읽기 목록은 이 브라우저에 저장됩니다.