현실 업무 평가 벤치마크 FDE-Gym 공개

ai.euno.news 자동 뉴스 요약

AI 에이전트가 요구사항이 불명확한 현실 업무에서 실제 성과를 낼 수 있는지 평가하는 벤치마크 FDE-Gym이 공개됐다. 기존 벤치마크가 이슈 보고서나 명세서처럼 잘 정리된 과제를 주로 다뤘다면, FDE-Gym은 고객의 모호한 요구를 구체화하고 숨은 제약을 찾아내 실제로 작동하는 결과물을 전달하는 능력에 초점을 맞춘다.¹

FDE는 고객 현장에 투입돼 문제를 해결하는 포워드 디플로이드 엔지니어(Forward-Deployed Engineer)를 뜻한다. FDE-Gym에는 18개 산업의 고객 상황 20건에서 구성한 종단간 전달 과제 95개가 들어갔다. 산업 전문가들이 실제 고객 프로젝트를 바탕으로 과제를 각색했다. 에이전트는 대본에 따라 반응하는 이해관계자와 대화하고, 수정할 수 있는 운영 환경에 가까운 고객 시스템에서 해법을 구현한다.¹

평가 방식도 코드 작성 여부나 정답 일치율에 머물지 않는다. 고객이 쓰는 성공 지표를 결과물이 얼마나 개선했는지 측정해, 기존 시스템과 차이가 없으면 0점, 기준 해법과 같으면 1점으로 정규화한다. 여기에 이해관계자에게 보낸 메시지 수, 시험 실행 횟수, 대기 시간에 따른 감점을 적용한다. 같은 채점 기준으로 사람이 FDE 업무를 연습할 수 있는 온라인 플랫폼도 마련됐다.¹

연구진은 7개 제공업체의 모델 구성 13종을 평가했다. 명시되지 않은 제약을 직접 알아내야 하는 현실적 조건에서 최고 구성의 평균 점수는 0.56이었다. 95개 과제 가운데 사고 없이 0.8점 이상을 받아 해결한 과제는 14개에 그쳤다. 특히 숨은 제약을 별도 안내 없이 찾아야 할 때 성능이 크게 하락해, 정보 발견이 핵심 병목으로 나타났다.¹

다만 필요한 정보를 알아내는 것만으로 문제가 풀리지는 않았다. 최고 구성이 이해관계자로부터 핵심 사실을 모두 확보한 23개 과제에서도, 정규화된 사업 성과 개선치가 0.8 이상인 사례는 10개뿐이었다. 이는 질문을 잘해 요구사항을 파악하는 역량과, 그 정보를 실제 시스템의 성과로 연결하는 전달 역량 사이에도 간극이 있음을 보여준다. FDE-Gym의 결과는 잘 정의된 과제를 푸는 능력만으로 실제 고객에게 효과적인 AI 시스템을 제공할 수 있다고 보기 어렵다는 점을 수치로 드러낸다.¹

읽기 목록은 이 브라우저에 저장됩니다.