소형 언어모델로 1만여 도구 선택
최근 30일 조회수 — 좋아요 —핵심 요약
강화학습한 Qwen3-8B가 1만여 도구 중 필요한 도구를 골라 ToolBench에서 대형 모델을 앞섰다.
1만 개가 넘는 도구 가운데 복잡한 지시를 수행하는 데 필요한 도구를 소형 언어모델이 직접 고르도록 훈련하는 방법이 제안됐다. 10월 22일 공개된 논문에서 연구진은 오픈 모델인 Qwen3-8B를 강화학습으로 후속 훈련해, 상용 대규모 언어모델(LLM)이 맡아온 검색기 제어와 도구 선택 기능을 구현했다고 밝혔다.1
도구를 사용하는 AI 에이전트는 먼저 사용자 지시에 맞는 도구를 찾아야 한다. 그러나 도구가 1만 개를 넘으면 모든 설명을 한꺼번에 문맥 창에 넣을 수 없다. 관련성 기반 검색기는 후보의 순위를 매길 수 있을 뿐, 여러 단계로 이뤄진 지시를 풀기 위해 실제로 어떤 도구가 필요한지까지 판단하지는 못한다. 최근 연구들은 Claude나 ChatGPT 같은 독점 상용 LLM이 지시를 여러 작업으로 나누고, 검색된 후보 중 필요한 도구를 고르게 하는 방식으로 이 문제를 다뤘다.
이번 연구의 핵심은 이 역할을 80억 매개변수 규모의 공개 모델로 옮겼다는 점이다. 연구진에 따르면 제안한 방식으로 후속 훈련한 Qwen3-8B는 도구 사용 데이터셋인 ToolBench에서 매개변수 4,020억 개의 Llama-4-Maverick보다 높은 성능을 냈다. 모델 크기만 비교하면 Qwen3-8B는 Llama-4-Maverick의 약 50분의 1이다. 다만 공개된 초록에는 두 모델의 구체적인 평가 점수나 차이, 실험 조건이 제시되지 않아 성능 격차의 크기까지 판단하기는 어렵다.
연구진은 훈련한 모델을 다른 검색기에 그대로 연결해도 작동했으며, 분야가 다른 새로운 도구 모음에도 일반화했다고 보고했다. 이는 특정 검색 방식이나 고정된 도구 목록을 외우는 데 그치지 않고, 처음 보는 후보군에서도 지시와 도구의 관계를 판별하는 능력을 학습했을 가능성을 보여준다. 다만 현재 근거는 논문 저자들의 ToolBench 실험과 전이 결과이며, 실제 서비스 환경의 대규모 도구 목록에서도 같은 성능이 유지되는지는 출처 자료만으로 확인할 수 없다.
Footnotes
-
arXiv, 「Training Small Language Models for Transferable Tool Selection」, 2026년 10월 22일. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Training Small Language Models for Transferable Tool Selection — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.