MS, 코딩 비용 줄이는 토큰이코노마이저 공개

최근 30일 조회수 — 좋아요 —

핵심 요약

코딩 에이전트의 저장소별 경험을 재사용해 성공률을 유지하며 토큰 비용을 18.4~30.9% 줄였다.

MS, 코딩 비용 줄이는 토큰이코노마이저 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

마이크로소프트 리서치(Microsoft Research)가 코딩 에이전트의 과거 작업 경험을 재사용해 토큰 비용을 줄이는 오픈소스 플러그인 ‘토큰이코노마이저(TokenEconomizer)’를 공개했다. UC 버클리, 마이크로소프트 리서치, 마이크로소프트 시큐리티가 공동 개발했으며, 기존 에이전트나 기반 모델을 수정하지 않고 함께 사용할 수 있다. 실제 버그 수정 과제 277개에서는 여러 코딩 에이전트의 비용을 18.4~30.9% 낮췄다. 모든 실험 저장소에서 비용이 줄었고 과제 성공률은 대체로 유지됐다.1

출발점은 개발자가 같은 코드 저장소에서 반복해서 일하는 반면, 에이전트는 세션마다 사실상 처음부터 탐색한다는 문제다. 연구진이 실제 오픈소스 파이썬 프로젝트의 버그 수정 과제로 구성된 SWE-Bench 60개 과제에서 Claude Code를 분석한 결과, 저장소에서 완료 과제가 5개 이상 쌓인 뒤에는 도구 호출의 30%가 이전 과제에서 했던 행동과 겹쳤다. 다른 저장소의 기록과 겹친 비율은 7%에 불과해, 재사용할 경험이 저장소별로 뚜렷하다는 뜻이다.

낭비는 도구 구성과 실패 과정에서도 나타났다. Claude Code에는 매번 도구 설명 23개가 전달됐지만 이 가운데 16개는 한 번도 호출되지 않았다. 전체 과제 중 실패한 17%가 총비용의 32%를 차지하기도 했다. 고정된 절약 전략을 쓰는 기존 오픈소스 플러그인 3종은 저장소에 따라 효과가 엇갈렸다. 연구진은 이를 토대로 비용 제어도 저장소의 특성과 누적 경험에 맞춰 바뀌어야 한다고 판단했다.

토큰이코노마이저는 세션이 끝날 때 로그를 읽고 세 가지 방식으로 다음 작업을 준비한다. 먼저 반복해서 확인된 저장소 지식을 한 줄짜리 ‘마이크로 스킬’로 정리해 시작 문맥에 넣는다. 여러 세션에서 확인된 내용만 채택하고, 이후 증거와 충돌하면 폐기한다. 둘째, 사용 가능성이 낮은 도구 설명을 제거하되 명령 실행과 파일 편집 같은 핵심 도구는 항상 남긴다. 빠진 도구도 필요하면 복구할 수 있다.

마지막으로 같은 실패가 이어지면 판정 모델이 에이전트가 실제로 막혔는지, 해결을 향해 나아가는 중인지 구분한다. 막혔다고 판단하면 다른 접근을 권하는 짧은 메모를 보낸다. 오픈소스판은 그래도 실패가 계속될 때 작업을 강제로 중단하지 않고 개발자에게 알린다. 발표된 절감률에는 이 판정과 제어에 사용한 토큰 비용까지 포함됐다.1

Footnotes

  1. Microsoft Research, “Helping AI coding agents work smarter, for less” ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Helping AI coding agents work smarter, for less — Microsoft Research

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.