엔비디아, 피지컬 AI 월드 모델 통합 기능 공개

ai.euno.news 자동 뉴스 요약

엔비디아가 피지컬 AI용 월드 모델을 센서와 작업, 데이터에 맞게 조정한 뒤 대화형 시뮬레이션 애플리케이션에 배포하는 통합 기능을 공개했다. 개발 단계는 코스모스 프레임워크(Cosmos Framework), 서비스 단계는 코스모스 NIM 마이크로서비스(Cosmos NIM microservices)가 맡는다. 엔비디아는 이를 모델 적응과 안정적인 애플리케이션 배포라는 두 과제를 잇는 구성으로 설명했다.¹

코스모스 프레임워크는 학습부터 최적화, 추론까지 월드 모델 개발 전 과정을 지원하는 개방형 모듈식 프레임워크다. 텍스트·이미지·영상·오디오·행동 데이터를 다루며, 적은 매개변수만 갱신하는 LoRA와 모든 매개변수를 조정하는 지도 미세조정(SFT)을 모두 제공한다. 데이터는 JSONL, WebDataset, LeRobot 또는 사용자 정의 어댑터로 불러올 수 있고, 여러 GPU에서 학습한 체크포인트를 저장해 작업을 이어갈 수 있다.

적응 방법도 넓어졌다. 오프라인 선호도 최적화인 DPO뿐 아니라 GRPO·PPO·OPD·DiffusionNFT 등 온라인·오프라인 강화학습 경로를 지원한다. 시뮬레이터를 연결해 경험을 수집하고, 롤아웃·보상·학습 작업을 같은 GPU나 별도 GPU 풀에 배치할 수 있다. 증류로 모델 크기나 생성 단계를 줄이고 양자화로 메모리 사용량을 낮추는 기능도 포함됐다. 실행 환경은 PyTorch와 Hugging Face Diffusers부터 vLLM, TRT-LLM, NIM까지 걸친다.¹

시뮬레이션 용도에 따라 로봇, 사실적 장면 생성, 다중 카메라 자율주행, 수술 정책 평가 레시피를 고를 수 있다. 특히 코스모스 3 나노(Cosmos 3 Nano)용 예제 체크포인트는 사용자 센서 구성과 행동 공간, 데이터 도메인에 맞춘 조정을 지원한다. 자율주행 레시피는 차선·객체·도로 표식·교통표지·도로 경계를 표현한 월드 시나리오 맵(WSM)을 입력으로 받아 카메라 영상과 라이다 관측을 동기화해 생성한다.

배포 단계에서는 GPU에 맞는 NIM 구성을 선택하고 컨테이너를 실행한 뒤 준비 상태를 확인해 API로 추론 요청을 보낸다. 다만 엔비디아가 공개한 예제 체크포인트는 Hopper와 Blackwell GPU에서 시험됐다. 다른 하드웨어에서 같은 성능과 호환성이 보장되는지는 자료에 제시되지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.