툴스페이스, 실행 기록으로 장기 작업 환경 합성
최근 30일 조회수 — 좋아요 —핵심 요약
실제 도구 호출 관계로 합성한 훈련 환경이 장기 도구 사용 벤치마크의 평균 성능을 높였다.
툴스페이스(ToolSpace) 연구진이 실제 MCP 서비스와 공개 에이전트 말뭉치의 도구 호출 기록을 바탕으로 장기 작업용 훈련 환경을 대규모 합성하는 방법을 공개했다. 기존 방식이 데이터베이스와 시나리오를 먼저 만든 뒤 도구와 과제를 붙였다면, 툴스페이스는 실제 실행에서 함께 쓰인 도구의 관계를 먼저 복원한다. 연구진은 이 방식으로 만든 훈련 데이터가 7개 장기 도구 사용 벤치마크의 평균 성능을 높였다고 보고했다.1
핵심은 연속된 도구 호출 사이에서 데이터 전달, 상태 변화, 재시도 의존성을 추출하는 과정이다. 대규모언어모델(LLM)의 판단을 거치지 않고 결정론적 규칙을 적용한 뒤, 관계의 강도를 반영한 ‘도구 구성 그래프’를 만들고 이를 여러 환경으로 묶는다. 실제 실행으로 확인된 연결을 토대로 하므로 현실의 인터페이스와 동떨어진 도구 조합이 생길 가능성을 줄이고, 서로 다른 환경을 잇는 작업도 구성할 수 있다는 설명이다.
환경을 만드는 방식도 도구 특성에 따라 달라진다. 상태를 바꾸는 도구가 포함된 환경에만 데이터베이스를 합성하고, 조회 도구나 상태가 없는 도구는 기록된 반환값을 재생한다. 이어 현재 상태를 고려한 무작위 탐색으로 도구 호출 사슬을 만들되, 실행에 실패하면 이전 상태로 되돌린다. 완성된 호출 사슬은 자연어 과제로 변환하며, 결과를 판정할 단언문 기반 검사도 함께 만든다. 초기 상태부터 다시 실행해 성공한 표본만 최종 데이터에 남긴다.
연구진은 오토메이션벤치(AutomationBench)와 타우3-벤치 뱅킹(tau3-Bench Banking)에 이 파이프라인을 적용해 난도가 높은 ‘Pro’ 버전을 만들었다. 이 평가에서 최전선 모델 7개의 점수는 기존 버전보다 최대 38.2점 낮아졌다. 반면 툴스페이스 데이터로 훈련한 Qwen3.6-35B-A3B의 7개 벤치마크 평균은 23.0점에서 41.0점으로 올랐고, 강화학습을 더하면 43.2점을 기록했다. GLM-5.2는 44.6점에서 56.6점으로 상승해 Claude Opus 5와 같은 수준에 도달했다.
다만 이 수치는 2026년 11월 3일 제출된 논문에서 연구진이 보고한 결과다. 초록은 실행 기록으로 확인한 연결이 LLM이 판정한 연결보다 낫고, 데이터와 환경 규모가 커질수록 성능도 계속 개선됐다고 밝히지만, 구체적인 실험 조건과 모델별 편차는 제시된 자료만으로 확인하기 어렵다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.