네비우스, AI 롤아웃 수집 66.9% 단축

ai.euno.news 자동 뉴스 요약

네비우스(Nebius)가 AI 에이전트 강화학습에서 롤아웃 수집 시간을 66.9% 단축했다고 더뉴스택이 보도했다.¹ 롤아웃은 에이전트가 과제를 수행하며 만든 행동 궤적을 모으는 과정이다. 모델을 학습시킬 고성능 GPU를 확보해도 이 과정이 늦으면 다음 학습 업데이트를 시작할 수 없다.

네비우스 AI 트레이닝 부문 부사장 디 진(Di Jin)은 사전학습이나 지도 미세조정에 익숙한 팀이 롤아웃 시스템의 작업량을 과소평가하기 쉽다고 지적했다. 에이전트 궤적은 길이가 제각각이다. 대부분이 빨리 끝나더라도 동기식 배치는 마지막 궤적이 완료돼야 다음 단계로 넘어간다. 이 때문에 평균 초당 토큰 수가 높아도 소수의 느린 작업이 학습 GPU 전체를 기다리게 할 수 있다.

진은 처리량과 함께 ‘학습 가능한 배치를 얻기까지 걸리는 시간’을 측정해야 한다고 강조했다. 추론 엔진을 학습 이후 강화학습 최적화 장치의 일부로 보고, 오래 걸리는 궤적까지 포함한 실제 대기 시간을 줄여야 한다는 설명이다. 이는 66.9%라는 수치가 단순한 추론 속도 개선보다 롤아웃을 모아 학습 단계로 넘기는 전체 흐름의 최적화에 가깝다는 뜻이다. 다만 더뉴스택이 제공한 자료에는 기존 수집 시간과 측정 환경, 변경 항목별 기여도는 제시되지 않았다.

학습과 롤아웃 생성을 겹쳐 실행하는 비동기 방식도 GPU 대기를 줄이는 수단이다. 이때 생성 작업은 한 번 또는 몇 차례 업데이트 전의 모델 가중치를 쓸 수 있다. 다소 오래된 궤적이라도 어려운 과제를 성공한 기록이라면 재사용 가치가 있지만, 현재 정책과 지나치게 벌어지면 학습을 해칠 수 있다. 진은 데이터가 몇 단계 오래됐는지보다 생성 당시 정책과 현재 정책 사이의 차이를 측정해야 한다고 설명했다. 중요도 샘플링 보정, 임계치를 넘은 표본의 제외·가중치 축소가 관리 방법으로 제시됐다.

병목은 인프라만으로 해결되지 않는다. 에이전트 강화학습에서는 모델이 컨테이너와 코드베이스, 웹사이트, 응용 프로그램 인터페이스(API) 같은 환경과 상호작용하며 직접 궤적을 만든다. 따라서 재현 가능한 환경과 신뢰할 만한 검증기, 적절한 난도의 과제가 필요하다. 모델 실력이 높아져 과제가 포화되면 학습 신호가 사라지므로 과제 집합도 계속 갱신해야 한다. 롤아웃 단축은 학습 속도를 높이지만, 무엇을 배우는지는 결국 과제·환경·보상 설계가 결정한다는 것이 네비우스의 설명이다.

읽기 목록은 이 브라우저에 저장됩니다.