ExLabel, SW 데이터셋 품질 자동 판정

ai.euno.news 자동 뉴스 요약

소프트웨어 공학 데이터셋의 명세 완전성과 테스트 품질을 자동 판정하는 자기진화형 에이전트 ExLabel이 공개됐다. 10월 29일 아카이브(arXiv)에 제출된 연구에서 ExLabel은 평가 경험을 축적해 판단 기준을 계속 다듬었고, 세 가지 기반 대규모 언어 모델(LLM)을 사용한 모든 실험에서 기존 방식보다 높은 F1 점수를 기록했다.¹

SWE-bench형 데이터셋은 실제 소프트웨어 이슈와 저장소를 바탕으로 코딩 에이전트가 문제를 해결하는지 측정한다. 이때 이슈 설명이 모호하면 무엇을 구현해야 하는지 알기 어렵고, 테스트 범위가 부족하면 잘못된 코드도 정답으로 처리될 수 있다. 결국 과제의 명확성과 테스트 커버리지가 데이터의 학습·평가 가치를 좌우한다.

기존 자동 판정 방식은 대체로 고정된 범용 평가표를 모든 사례에 적용한다. 연구진은 이런 방식이 언어나 프로젝트마다 다른 맥락을 충분히 반영하지 못해 거짓 양성, 즉 실제로는 문제가 없는 사례를 결함으로 판정하는 비율이 높다고 지적했다. 사람이 여러 사례를 검토하며 얻은 경험을 다음 판단에 활용한다는 점에 착안해, ExLabel에는 사례 간 지식을 정리하는 ‘경험 은행’을 넣었다. 새 사례를 평가할 때 관련 경험을 불러오고, 누적 결과를 바탕으로 안정성을 유지하면서도 기준을 조정하는 구조다.

연구진은 ExLabel을 검증하려고 SWE-bench와 Multi-SWE-bench의 사람 주석을 정제해 8개 프로그래밍 언어를 아우르는 SWE-TQ 벤치마크도 만들었다. 과제 명확성 평가에서 ExLabel의 F1은 기존 최고 기준선보다 파이썬 하위 집합에서 44.2%, 다국어 하위 집합에서 49.9% 상대 향상됐다. 테스트 커버리지 평가의 상대 향상 폭은 각각 24.0%와 18.4%였다.

데이터 선별 효과는 모델 학습에서도 나타났다. ExLabel로 걸러낸 SWE-rebench 데이터로 미세조정한 코딩 모델은 SWE-bench Verified 이슈의 66.2%를 해결했다. 기존 최고 기준선이 선별한 데이터로 학습한 모델보다 14.5% 높은 결과다. 다만 이 수치는 논문 저자들의 실험 결과다.¹

읽기 목록은 이 브라우저에 저장됩니다.