WOVEN, 멀티모달 모델의 시각 추론 개선

2분 WOVEN멀티모달시각추론MLLM
최근 30일 조회수 — 좋아요 —

핵심 요약

시각적 전이 추론 데이터로 MLLM을 훈련하자 외부 벤치마크 26개 중 22개에서 성능이 향상됐다.

WOVEN, 멀티모달 모델의 시각 추론 개선 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

WOVEN 연구진이 멀티모달 대규모 언어 모델(MLLM)의 공간·물리 이해를 개선하기 위해 ‘시각적 전이 추론’을 공통 학습 단위로 삼는 방법을 제안했다. 시각적 전이 추론은 장면에 어떤 행동이 가해졌을 때 시각 상태가 어떻게 달라질지 파악하는 능력이다. 연구진은 공간, 신체 행동, 물리 법칙, 시간 흐름을 다루는 기존 모델의 약점이 이 능력의 부족에서 함께 비롯된다고 가정했다.1

이를 검증하려고 연구진은 학습 데이터이자 평가 벤치마크인 WOVEN(Weaving Visual World Modeling into Multimodal LLMs)을 만들었다. WOVEN은 영상으로 사전 학습한 생성 모델이 만든 현실적인 전개 과정을 바탕으로 3만6076개 사례를 구성한다. 데이터는 20개 장면 유형, 5개 행동 유형, 8개 추론 유형으로 구분돼 장면과 행동, 추론 연산을 통제해 비교할 수 있다. 기존 벤치마크가 공간·물리·시간 추론의 결함을 각각 보여주는 데 그쳤다면, WOVEN은 서로 다른 결함이 같은 전이 추론 능력과 연결되는지를 살필 수 있게 설계됐다.1

연구진이 GPT-5.4와 Qwen3-VL-235B-A22B 등을 포함한 최전선 MLLM 38종을 평가한 결과, 가장 성능이 좋은 모델도 인간보다 크게 뒤처졌다. 같은 실패 양상이 여러 모델 계열에서 반복됐고, 모델 규모가 커져도 사라지지 않았다. 단순히 매개변수를 늘리는 것만으로 시각적 세계에 관한 추론 문제가 해결되지 않는다는 결과다.1

반면 여러 규모의 MLLM을 WOVEN으로 훈련하자 학습 효과가 외부 과제로 옮겨갔다. 약 2000개 항목으로 이뤄진 학습 부분집합들만 사용해도 외부 벤치마크 26개 가운데 22개에서 성능이 개선됐으며, 최대 상승 폭은 27.3%포인트였다. 특정 과제의 자체 학습 데이터 30~50%를 WOVEN 데이터로 대체해도 비슷한 정확도를 냈다. 시각적 전이 추론이 한 과제에 묶인 요령이 아니라 여러 문제에서 재사용할 수 있는 기반 능력일 가능성을 뒷받침한다.1

통제 실험에서 나온 학습 지침도 구체적이다. 데이터가 보여주는 행동이나 장면, 분야보다 데이터가 가르치는 ‘추론 연산’을 기준으로 감독 신호를 고르고, 시각 상태 변화가 큰 사례를 우선해야 견고성이 높았다. 다만 이 결과는 2026년 10월 8일 제출된 arXiv 초판 논문의 저자 보고에 근거하며, 자료에는 동료평가 여부나 개별 벤치마크별 성적이 제시되지 않았다.1

Footnotes

  1. arXiv, 「WOVEN: Weaving Visual World Modeling into Multimodal LLMs」 ↩ ↩2 ↩3 ↩4 ↩5

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. WOVEN: Weaving Visual World Modeling into Multimodal LLMs — arXiv (cs.AI/cs.CL/cs.LG)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.