엔비디아, Cosmos 3 오픈 모델 4종 공개
최근 30일 조회수 — 좋아요 —핵심 요약
엔비디아가 행동에 따른 다중 센서 관측을 생성하는 자율주행·로봇 시뮬레이션 모델 4종을 공개했다.
엔비디아(NVIDIA)가 상호작용형 월드 시뮬레이션을 겨냥한 Cosmos 3 계열의 오픈 웨이트 체크포인트 4종을 공개했다. 모두 Cosmos 3 Nano를 후처리 학습한 모델로, 학습 가능한 매개변수는 각각 160억 개다. 로봇이나 차량의 조작에 따라 다음 관측 결과를 생성해, 행동과 환경 변화가 이어지는 시뮬레이션을 만드는 것이 핵심이다.1
자율주행용 모델은 두 가지다. Cosmos3-Nano-Transfer-Auto는 오프라인 합성 데이터 생성 모델로, 어안 카메라를 포함해 최대 11개 시점의 동기화 영상을 만들며 RGB 영상과 라이다(LiDAR) 데이터를 함께 생성할 수 있다. 카메라별 월드 시나리오 맵(World Scenario Map·WSM)으로 도로 구조와 교통 움직임을 지정하고, 텍스트 프롬프트로 날씨·조명·시간대 같은 외관을 바꾼다. 초기 RGB 이미지를 넣어 장면의 모습을 고정하는 기능도 지원한다.1
Cosmos3-Nano-Sim-Auto는 Transfer-Auto를 인과적 생성과 소수 단계 추론에 맞게 증류한 스트리밍 모델이다. 이전에 생성한 기록과 갱신된 주행 제어값을 받아, 동기화된 카메라 영상과 라이다 관측을 작은 묶음 단위로 연속 생성한다. 빠르고 긴 상호작용형 주행 시뮬레이션을 염두에 둔 설계다. 개발자는 Transfer-Auto를 자체 카메라 배치와 라이다 구성, 운행 환경에 맞춰 추가 학습한 뒤 같은 방식으로 스트리밍 모델을 만들 수 있다.1
나머지 두 모델은 활용 범위를 로봇과 범용 시뮬레이터로 넓힌다. Cosmos3-Nano-Sim-Transfer는 물리 시뮬레이터의 제어값과 텍스트 프롬프트를 사실적인 영상으로 바꾸며, Cosmos3-Nano-Sim-Bimanual은 로봇 또는 카메라의 행동 뒤에 나타날 영상을 예측한다. 네 모델은 OpenMDW 1.1 조건 아래 상업·비상업 용도로 쓸 수 있고, 가중치와 후처리 학습 방법도 공개됐다.1
다만 오픈 웨이트가 곧바로 신뢰할 수 있는 평가 환경을 뜻하지는 않는다. 허깅페이스 블로그도 이 모델들이 정책 학습과 평가에 필요한 장면을 얼마나 충실히 구현하는지 측정하고, 실패 지점을 파악해 개선하는 일이 남았다고 밝혔다. 따라서 Cosmos 3의 의미는 완성된 가상 세계보다는, 행동과 다중 센서 관측을 연결하는 실험 기반을 공개했다는 데 있다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- New NVIDIA Cosmos 3 Open Models for Interactive World Simulation — Hugging Face Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.