컴퓨터과학 R&D 벤치마크 ‘FrontierCS 2’ 공개

ai.euno.news 자동 뉴스 요약

대규모언어모델(LLM) 에이전트의 컴퓨터과학 연구개발 능력을 평가하는 벤치마크 ‘FrontierCS 2’가 공개됐다. 13개 분야에 걸친 개방형 과제 48개로 구성됐으며, 단순히 코드를 한 번 제출하는 방식이 아니라 실제 연구 저장소에서 여러 차례 패치를 만들고 평가 결과를 받아 개선하도록 설계됐다. 평가에 참여한 12개 에이전트 가운데 Claude Opus 5.5가 실행 기준 58%를 통과해 가장 높은 성적을 냈다.¹

논문의 핵심 기여를 다시 구현하는 시험#

FrontierCS 2 연구진은 논문과 저자가 공개한 코드를 가져온 뒤, 논문의 핵심 기여에 해당하는 코드를 삭제해 과제를 만들었다. 삭제된 원본 코드는 에이전트가 넘어야 할 인간 기준점으로 쓰인다. 과제 분야는 머신러닝 시스템과 고성능 컴퓨팅부터 데이터베이스, 보안, 로보틱스까지 13개에 이른다.¹

기존 개방형 벤치마크가 문제 설명을 주고 실행 종료 뒤 프로그램 하나를 채점했다면, FrontierCS 2는 에이전트를 작동하는 연구 환경 안에 둔다. 에이전트는 정상적으로 돌아가는 기존 저장소를 넘겨받아 원하는 시점마다 패치를 제출할 수 있다. 심사기는 패치마다 개발용 테스트 점수를 돌려주지만, 평가기와 비공개 최종 테스트 모음, 인간 참조 구현은 공개하지 않는다. 마지막 제출물은 이 비공개 테스트에서 참조 구현과 비교된다.¹

이 구조는 정답 코드의 단순 재현보다 연구 과정에 가까운 반복 작업을 겨냥한다. 에이전트는 중간 피드백을 바탕으로 구현을 수정할 수 있으며, 마지막 제출물은 공개되지 않은 최종 테스트에서 평가된다.

최고 성능도 절반을 조금 넘었다#

가장 강한 Claude Opus 5.5조차 실행의 58%만 통과했다. 특히 48개 중 16개 과제에서는 어떤 에이전트도 한 번도 성공하지 못했다. 연구진이 에이전트와 과제 난이도를 같은 척도에 놓아 분석한 결과, 난이도 중앙값에 해당하는 과제가 최강 에이전트의 처리 한계와 대략 맞닿아 있었다.¹

점수와 통과 여부도 구분해야 한다. 최종 종합점수에서 인간 참조 구현을 앞선 실행 가운데 상당수는 일부 평가 지표나 작업 부하 조건을 충족하지 못해 통과로 인정되지 않았다. 특정 평균값만 높이는 것과 여러 조건에서 연구 기여를 온전히 복원하는 것은 다르다는 뜻이다.

현재 공개된 48개 외에도 연구진은 100개가 넘는 비공개 과제 모음을 보유하고 있으며, 추후 발표할 계획이라고 밝혔다. 다만 이번 결과는 2026년 10월 21일 제출된 arXiv 초판에 담긴 연구진의 보고로, 자료에는 동료평가 여부나 개별 에이전트별 세부 성적이 제시돼 있지 않다.¹

읽기 목록은 이 브라우저에 저장됩니다.