엔비디아, GPU 복원 도구 스냅샷 공개

ai.euno.news 자동 뉴스 요약

엔비디아가 초기화가 끝난 GPU 워크로드를 저장해 여러 추론 복제본에서 재사용하는 오픈소스 소프트웨어 ‘NVIDIA 스냅샷(NVIDIA Snapshot)’을 공개했다. 쿠버네티스에서 CPU·GPU 메모리 상태를 체크포인트로 만들었다가 복원하는 방식으로, 대규모언어모델(LLM) 추론 인스턴스의 시작과 장애 복구 시간을 분 단위에서 초 단위로 줄인다. 엔비디아는 스냅샷을 NVIDIA DSX AI 팩토리 플랫폼의 구성요소로 소개했다.¹

LLM 추론 서버는 GPU가 확보돼도 곧바로 요청을 처리할 수 없다. 가중치를 읽고 커널을 컴파일하며 그래프를 캡처하는 콜드 스타트가 필요하기 때문이다. 스냅샷은 이 과정이 끝난 파드(Pod)의 CPU·GPU 메모리를 이식 가능한 결과물로 저장한다. 같은 GPU 모델과 드라이버를 갖춘 노드에서 이를 복원하면 가중치 로딩과 컴파일, 그래프 캡처를 반복하지 않고 중단 지점부터 실행할 수 있다.

체크포인트와 복원은 쿠버네티스 사용자 정의 리소스로 제어한다. 실행 중인 파드를 저장할 때는 PodSnapshot, 템플릿으로 파드를 띄운 뒤 준비 즉시 저장할 때는 SnapshotJob을 만든다. 새 파드에는 nvidia.com/restore-from 주석으로 복원할 스냅샷을 지정한다. 워크로드 쪽에서는 체크포인트 직전 일시 정지하고 복원 뒤 재개하는 간단한 연동이 필요하다. 엔비디아는 vLLM, SGLang, NVIDIA TensorRT LLM용 예제를 제공한다.

단일 노드의 여러 GPU에 걸친 워크로드도 랭크 전체를 하나의 체크포인트로 저장할 수 있다. 이에 따라 텐서 병렬화(TP), 데이터·전문가 병렬화(DEP), 디코드 컨텍스트 병렬화(DCP)를 쓰는 대형 전문가 혼합(MoE) 모델에도 적용할 수 있다. 다만 워크로드가 스냅샷의 런타임 호환 조건을 충족해야 한다.

엔비디아가 공개한 시험에서는 6억 매개변수 모델부터 8개 GPU에 1TB 체크포인트를 올린 MoE 모델까지 모든 구성이 45초 안에 복원됐으며, 콜드 스타트보다 836배 빨랐다. 크루소(Crusoe)는 HGX B300에서 GLM-5.3 파드 준비 시간을 약 8분에서 31초로, 새턴 클라우드(Saturn Cloud)는 같은 시스템에서 vLLM 시작 시간을 28.5분에서 6~34초로 줄였다고 밝혔다. 이 수치에는 인프라 준비와 컨테이너 이미지 로딩 시간이 포함되지 않아, 실제 서비스 확장 시간 전체와는 구분해야 한다.¹

읽기 목록은 이 브라우저에 저장됩니다.