허깅페이스, CWE-bench v2 공개

ai.euno.news 자동 뉴스 요약

허깅페이스는 실제 오픈소스 저장소에서 보안 취약점을 찾아 고치는 능력을 측정하는 CWE-bench v2를 공개했다. 콜리니어 AI(Collinear AI)가 개발한 이번 버전은 누구나 실행할 수 있는 100개 과제를 제공하며, 91종의 공통 취약점 유형(CWE)을 다룬다. 채점기와 실행 도구까지 공개해 평가 범위뿐 아니라 품질과 재현 가능성도 높였다는 설명이다.¹

평가 방식은 기존과 같다. 에이전트는 실제 저장소의 체크아웃과 짧은 지시를 받은 뒤, 기존 기능을 깨뜨리지 않으면서 보안 약점을 찾아 수정해야 한다. 모든 과제는 도커 환경과 지시문, 결정론적 검증기로 구성된 독립형 하버(Harbor) 과제다. 채점이 전부 프로그램으로 이뤄져 같은 결과를 재현하는 데 별도 판정 비용이 들지 않는다.

콜리니어 AI는 과제마다 지시문이 실제 업무처럼 읽히는지, 채점 대상 행동을 지시문에서 추론할 수 있는지, 검증기가 특정 패치 구조만 요구하지 않는지 등을 확인했다. 시작 코드는 검증에 실패하고 기준 수정본은 통과하는지, 수정 뒤 기존 기능이 유지되는지, 알려진 업스트림 패치를 암기한 답안은 걸러내는지도 점검했다. 대규모 언어 모델(LLM) 판정 패널이 난도와 공정성을 조정하는 데 참여했고, 모든 과제에는 사람의 검토도 거쳤다.

선두 모델도 19%는 끝내 풀지 못했다#

평가된 11개 모델 가운데 제미나이 4 아르곤(Gemini 4 Argon)이 pass@1 67.8%, pass@4 81.0%로 1위였다. 클로드 오푸스 5.5(Claude Opus 5.5)는 각각 67.3%와 78.0%로 뒤를 이었다. 전체 100개 가운데 95개는 적어도 한 모델이 해결했지만, 선두 모델조차 네 차례 시도에서 매번 실패한 과제가 19%였다. 익숙한 취약점 패턴을 알아보는 수준만으로는 다양한 공격 표면을 모두 처리하기 어렵다는 뜻이다.

비용까지 보면 딥시크 V4.1 플래시(DeepSeek V4.1 Flash)는 실행 한 번당 0.04달러로 pass@1 57.0%를 기록했다. 클로드 오푸스 5.5는 1.83달러로 약 10%포인트를 더했고, 제미나이 4 아르곤은 3.92달러로 근소하게 앞섰다.

공개 가중치 모델 결과는 데이터세트 페이지에서, 제미나이·클로드·GPT 같은 API 전용 모델까지 포함한 비교는 별도 리더보드에서 관리한다. 다만 모델이 미리 보지 않은 비공개 과제 세트는 계속 유지되며, 이 세트의 평가는 콜리니어 AI에 별도로 요청해야 한다. 공개성과 오염되지 않은 추적 평가 사이에 경계를 둔 셈이다.¹

읽기 목록은 이 브라우저에 저장됩니다.