RSI-Prime, LLM 훈련 설계 능력 향상
최근 30일 조회수 — 좋아요 —핵심 요약
RSI-Prime으로 훈련한 GLM-5.3이 자율 사후 훈련 벤치마크에서 상대적으로 31.95% 향상됐다.

대규모언어모델(LLM)이 다른 모델의 훈련을 설계하고 개선하는 능력을 학습하도록 만든 데이터셋 RSI-Prime이 공개됐다. 연구진은 GLM-5.3을 RSI-Prime으로 훈련한 결과, 자율 사후 훈련 벤치마크인 포스트트레인벤치(PostTrainBench)의 종합 성능이 원래 GLM-5.3보다 상대적으로 31.95% 높아졌다고 밝혔다. 모델이 훈련 대상에 머물지 않고 훈련을 수행하는 주체가 될 수 있음을 실험으로 제시한 것이다.1
RSI-Prime은 7개 과제 범주에서 수집한 완전한 실험 과정 350개로 구성된다. 여기서 중요한 것은 훈련 과정에서 내려진 결정을 세밀하게 식별하고 각각의 품질을 표시했다는 점이다. 연구진은 이 주석을 바탕으로 ‘결정 단위 손실 마스킹(decision-level loss masking)’을 적용했다. 품질이 낮은 행동에는 학습 신호를 주지 않아, LLM이 시행착오 전체를 그대로 모방하는 대신 더 나은 실험 결정을 중심으로 배우게 했다.1
이 접근은 재귀적 자기개선(RSI·Recursive Self-Improvement)의 기반을 훈련 자동화에서 찾는다. LLM이 실험을 수행하고 결과를 바탕으로 다음 훈련 결정을 내릴 수 있다면, 사람이 매 단계에 개입하지 않아도 목표 모델의 사후 훈련을 반복할 가능성이 생긴다. RSI-Prime의 성능 향상 수치는 이런 방향이 작동할 수 있다는 초기 근거다. 다만 논문 초록에 제시된 검증 대상은 GLM-5.3과 PostTrainBench이며, 다른 계열의 모델이나 실제 훈련 환경에서도 같은 폭의 개선이 재현되는지는 자료만으로 확인할 수 없다. 또한 31.95%는 절대 점수가 아니라 원본 모델 대비 상대 향상률이다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- RSI-Prime: Training Models to Train Models — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.