엔비디아 Nemotron 3.5, 세이지메이커에 추가
최근 30일 조회수 — 좋아요 —핵심 요약
AWS가 문서·GUI·영상 이해용 VLM인 Nemotron 3.5 Super VL의 NVFP4·BF16 배포를 지원한다.
엔비디아(NVIDIA)의 비전언어모델(VLM) ‘Nemotron 3.5 Super VL’이 아마존 세이지메이커 점프스타트(Amazon SageMaker JumpStart)에 추가됐다. AWS는 사용자가 세이지메이커 스튜디오에서 몇 단계만 거치거나 세이지메이커 파이썬 SDK를 이용해 모델을 배포할 수 있다고 11월 9일 발표했다.1 이 모델은 이미지·영상·텍스트를 입력받아 텍스트를 생성하며, 문서 분석과 컴퓨터 사용 에이전트의 그래픽 사용자 인터페이스(GUI) 이해, 영상 질의응답을 주요 용도로 삼는다.
Nemotron 3.5 Super VL은 전체 매개변수 1,200억 개 가운데 토큰마다 120억 개를 활성화하는 전문가 혼합(MoE) 구조를 쓴다. 언어 백본은 맘바-2(Mamba-2)와 MoE를 섞은 88개 층, 어텐션 8개 층으로 구성된다. MoE에는 전문가 512개가 있으며 토큰마다 22개가 작동한다. 시각 정보는 C-RADIO 인코더가 처리한다. 최대 문맥 길이는 100만 토큰이지만, 점프스타트의 실제 서빙 설정은 520~1만5,600토큰을 사용한다.
점프스타트가 제공하는 체크포인트는 NVFP4와 BF16 두 종류다.
| 구분 | NVFP4 | BF16 |
|---|---|---|
| 주요 용도 | 지연시간·처리량을 고려한 추론 | 미세조정·강화학습·도메인 적응 등 맞춤화 |
| 체크포인트 크기 | 약 75GB | 약 249GB |
| 인스턴스 | ml.g7.24xlarge 또는 ml.g7.48xlarge | ml.p5en.48xlarge |
| 정밀도 | 블랙웰 GPU에서 W4A4 | BF16 |
NVFP4는 BF16 모델을 양자화 인지 증류 방식으로 변환한 버전이다. 가중치와 활성값은 4비트로 처리하지만 시각 인코더와 연결부, 맘바 합성곱, 임베딩은 BF16으로 유지하고 MoE 라우터는 FP32를 쓴다. 반면 BF16은 지도 미세조정(SFT), 강화학습(RL), 증류, 자체 양자화 같은 후속 작업을 위한 기준 가중치다.
요청마다 추론 모드를 설정할 수 있으며 기본값은 활성화 상태다. 도구 호출과 JSON 스키마 출력도 지원한다. 다만 모델에 투기적 디코딩을 위한 다중 토큰 예측(MTP) 헤드가 내장됐어도 점프스타트 서빙 설정에서는 이 기능을 켜지 않는다. LoRA 어댑터 서빙 역시 두 버전 모두 지원하지 않는다. 최대 100만 토큰이라는 모델 사양과 점프스타트에서 바로 쓸 수 있는 문맥 길이를 구분해서 볼 필요가 있다.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- NVIDIA Nemotron 3.5 Super VL is now available in Amazon SageMaker JumpStart | Amazon Web Services — AWS Machine Learning Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.