하프너, '월드 모델'로 미래 대비 AI 에이전트 개발

ai.euno.news 자동 뉴스 요약

다니야르 하프너(Danijar Hafner)가 샌프란시스코 소마(SoMa) 지구에 스텔스 모드 스타트업을 차리고 “미래를 계획하는” AI 에이전트를 개발 중이라고 MIT 테크놀로지 리뷰가 8일 보도했다.¹ 하프너의 사무실 문에는 회사 이름조차 걸려 있지 않고, 방문 당일 사무실에 있던 사람도 하프너를 포함해 단 두 명뿐이었다고 매체는 전했다. 대신 사무실 한가운데를 가로지르는 선반에는 중국에서 수입한 다양한 크기의 휴머노이드 로봇들이 마리오네트처럼 걸려 있었다.

하프너는 새 회사에 대해 구체적으로 밝히기를 꺼렸지만, 이번 프로젝트를 훈련 과정에서 접해본 적 없는 환경을 AI가 다룰 수 있게 만드는 자신의 오랜 연구의 연장선이라고 설명했다. 사무실에 걸린 휴머노이드들은 그 연구가 물리적 형태로 진화한 결과물이다. 로봇을 가정처럼 사람이 사는 공간에 투입하려면, 한 번도 본 적 없는 집 구조나 가구 배치에도 대응할 수 있어야 하는데, 바로 이 대응 능력이 핵심이라는 것이다.

이를 위해 하프너가 쓰는 방법은 모델 기반 강화학습(model-based reinforcement learning)이다. 그는 물리적 현실을 흉내 내는 AI인 ‘월드 모델(world model)‘을 만들고, 그 안에서 에이전트를 훈련시킨다. 에이전트는 이 월드 모델을 실제 세계의 시뮬레이션처럼 취급하며 행동을 학습하고, 그 경험을 바탕으로 미래 결과를 예측한다. 하프너식으로 말하면 에이전트가 ‘꿈꾸거나 상상하는’ 셈이다. 이렇게 얻은 예측 능력 덕분에 에이전트나 그 안에 탑재된 로봇은 실제 환경에서 낯선 상황을 마주쳐도 대응할 수 있다는 설명이다. 매체는 이 방식이 로봇공학에서 전통적으로 쓰여온 실제 환경 시행착오 훈련 없이도 매우 복잡한 작업을 수행하게 해준다는 점에서 다른 접근과 차별화된다고 전했다.

하프너의 이력도 눈에 띈다. 독일 북동부 시골에서 클래식 음악가 부모 밑에서 자란 그는 이웃에게서 프로그래밍을 배웠고, 고등학생 때 AI 온라인 강의를 들으며 이 분야에 빠져들었다. 2015년 포츠담 하소플라트너연구소(Hasso Plattner Institute) 학부 2년생 시절 구글 브레인(Google Brain) 학생 연구원으로 발탁된 뒤, 영국·캐나다·미국을 오가며 구글 브레인과 구글 딥마인드(현재는 두 조직이 통합됐다)에서 십여 차례의 인턴십과 직책을 거쳤다. 이 과정에서 ‘딥러닝의 대부’로 불리는 제프리 힌턴(Geoffrey Hinton), 트랜스포머 개념을 제시한 논문 “Attention Is All You Need”의 공저자 아시시 바스와니(Ashish Vaswani)와도 함께 일했다. 구글 시절 매니저이자 공동 저자였던 딥마인드의 티모시 릴리크랩(Timothy Lillicrap)은 그를 “상위 0.5% 안에 드는” 인재라며 “많은 경우 그는 엔지니어 팀 전체가 만들 법한 것을 혼자서 만들어냈다”고 평가했다.

이런 평가는 실적으로도 뒷받침된다. 하프너는 비디오게임을 무대로 자신의 접근법을 다듬어왔다. 첫 성과는 미리 계획을 세워 행동을 수행하게 하는 모델 플래닛(PlaNet)이었고, 이어 나온 드리머 2(Dreamer 2)는 월드 모델을 이용해 아타리 2600 게임에서 인간 수준 성능을 낸 최초의 에이전트였다. 드리머 3(Dreamer 3)은 마인크래프트 다이아몬드 챌린지를 스스로 채굴에 성공하며 최초로 풀어냈고, 드리머 4(Dreamer 4)는 한 단계 더 나아가 녹화된 게임플레이 영상으로 이뤄진 오프라인 데이터셋만으로 다이아몬드 채굴을 학습했다.

읽기 목록은 이 브라우저에 저장됩니다.