엔비디아, 2만 건 데이터로 코딩 성능 향상
최근 30일 조회수 — 좋아요 —핵심 요약
엔비디아가 에이전트 실패 데이터와 피벗RL을 활용해 네모트론 3 울트라의 코딩 점수를 10.5%포인트 높였다.

엔비디아(Nvidia)가 코딩 에이전트 실행 환경인 팩토리 드로이드(Factory Droid) 하니스를 이용해 약 2만 건의 사후학습 데이터를 만들고, 5,500억 매개변수 오픈 모델 네모트론 3 울트라(Nemotron 3 Ultra)의 코딩 성능을 끌어올렸다. 팩토리에 따르면 터미널 기반 코딩 능력을 재는 Terminal-Bench 2.0 점수는 학습 전 38.5%에서 49%로 10.5%포인트 상승했다.1
드로이드는 모델이 작업 계획을 구조화해 유지하면서 도구를 호출하고 오류를 처리하도록 돕는 하니스다. 엔비디아는 외부망과 분리된 환경에 드로이드를 배치하고, 지시 이행과 도구 호출, 오류 복구 과정에서 재현할 수 있는 실패를 수집했다. 그 결과 도구 호출 인자 형식이 잘못되거나, 오류가 발생했는데도 복구하지 않은 채 작업을 이어가는 사례가 확인됐다. 팩토리는 자체 데이터셋인 레거시 벤치(Legacy Bench)도 활용해 작업 실패로 이어진 개별 판단을 분석했다.1
엔비디아는 이 데이터에 피벗RL(PivotRL)을 적용했다. 피벗RL은 전체 다중 턴 작업을 처음부터 끝까지 반복하는 대신, 기존 지도 미세조정 궤적에서 결과를 가른 핵심 판단을 골라 강화학습하는 방식이다. 정답 예시와 같은 행동을 했는지가 아니라, 행동이 의도한 결과를 냈는지를 보상 기준으로 삼는다. 자료에 따르면 에이전트 코딩 과제에서 종단 간 강화학습의 4분의 1에 해당하는 롤아웃 턴만으로 비슷한 정확도를 냈다. 같은 데이터로 학습한 표준 지도 미세조정보다 네 가지 에이전트 영역에서 평균 4.17%, 비에이전트 외부 영역에서는 10.04% 높은 성능을 기록했다.1
특정 하니스에만 맞춰지는 과적합을 줄이기 위해 엔비디아는 드로이드 설정을 바꾸고 오픈코드(OpenCode), 코덱스(Codex), agent006 등 여러 에이전트 환경의 데이터도 섞었다. 다만 이번 점수 상승을 드로이드 데이터만의 효과로 분리한 절제 연구는 공개되지 않았다. 도구 사용 오류별 전후 비율도 알 수 없다. 따라서 2만 건의 데이터가 개선에 쓰였다는 점과 전체 점수가 올랐다는 점은 확인되지만, 드로이드가 상승분 가운데 얼마를 만들었는지는 아직 판단하기 어렵다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Nvidia used 20,000 training examples to fix its AI's mistakes. Its coding score jumped. — The New Stack
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.