AWS, EKS용 네모트론 3.5 배포법 공개

ai.euno.news 자동 뉴스 요약

AWS가 아마존 엘라스틱 쿠버네티스 서비스(Amazon EKS)와 세이지메이커 하이퍼포드 EKS(SageMaker HyperPod EKS)에서 엔비디아 네모트론 3.5 슈퍼 VL(NVIDIA Nemotron 3.5 Super VL)을 배포하는 방식을 공개했다. 텍스트뿐 아니라 이미지·문서·영상까지 처리하는 공개형 멀티모달 모델로, 기존 네모트론 3 계열과 3.5 라이트닝에 새로 합류했다.¹

네모트론 3.5 슈퍼 VL은 네모트론 3 울트라를 증류한 1,200억 매개변수 규모의 전문가 혼합(Mixture-of-Experts·MoE) 모델이다. 토큰마다 120억 개만 활성화해 연산량을 줄이지만, 전체 가중치를 GPU 메모리에 올려야 한다. 엔비디아는 모델 가중치와 학습 데이터셋, 후속 학습 방법을 공개해 기업이 자체 인프라에서 분야별로 조정할 수 있도록 했다.

모델은 맘바-2(Mamba-2), 어텐션, 전문가 계층을 섞은 구조와 RADIO 비전 인코더를 사용한다. 최대 문맥 길이는 100만 토큰이며 입력으로 텍스트·이미지·문서·영상을 받고 텍스트를 출력한다. 맘바-2는 생성 과정에서 일정한 크기의 상태를 유지해, 문맥이 길어질수록 커지는 키-값 캐시 부담을 낮춘다. 재귀적으로 공유하는 다중 토큰 예측 헤드는 추측 디코딩을 지원한다. 엔비디아가 보고한 평가 점수는 에이전트 성능을 재는 Hermes Bench 63.44%, LangChain 평가 87.05%, 차트 추론용 CharXiv 80.8%다.¹

배포에 필요한 GPU#

AWS가 제시한 vLLM 최소 구성은 체크포인트 형식과 GPU에 따라 차이가 크다.

NVFP4를 쓰면 BF16보다 필요한 GPU 수가 절반 이하로 줄어든다. 다만 표는 최소 구성일 뿐, 실제 처리량이나 지연시간 수치는 자료에 제시되지 않았다.

AWS의 참조 구현은 일반 EKS, EKS 오토 모드, 세이지메이커 하이퍼포드 EKS에서 같은 쿠버네티스 매니페스트를 사용한다. CPU 노드는 시스템과 테스트 파드를, GPU 노드는 모델을 실행한다. 컨테이너 이미지는 아마존 ECR에 저장하고 모델 가중치는 공유 FSx for Lustre 볼륨에 두며, GPU 노드는 엘라스틱 패브릭 어댑터(EFA)로 연결한다. EKS 오토 모드에서는 AWS가 클러스터 확장과 GPU·EFA 지원을 관리한다.

이 구성은 코딩 오류 분석, 검색 결과 교차 검증, 표·차트·문서 요약, 보안 위협 분류, 영상 검색과 사고 분석처럼 추론과 시각 이해가 함께 필요한 에이전트 작업을 겨냥한다. AWS는 aws-do-eks 프로젝트에서 클러스터 생성부터 가중치 다운로드, 시험·벤치마크·정리까지의 절차도 제공한다.¹

읽기 목록은 이 브라우저에 저장됩니다.