AI 인프라 코딩 벤치마크 공개

ai.euno.news 자동 뉴스 요약

코딩 에이전트의 AI 인프라 개발 능력을 평가하는 벤치마크 ‘InfraDev’가 공개됐다. 10월 27일 arXiv에 제출된 논문에 따르면 InfraDev는 실제 코드 변경을 바탕으로 여러 파일과 다수의 그래픽처리장치(GPU)에 걸친 작업을 평가한다. 여섯 개 프런티어 모델을 시험한 결과, 가장 성능이 높은 모델도 전체 과제의 38.9%만 해결했다.¹

기존 코딩 벤치마크는 주로 단일 커널이나 단일 GPU 작업을 다룬다. 반면 실제 AI 인프라 개발에서는 대규모 모델의 학습과 추론, 강화학습을 지원하도록 여러 구성요소를 함께 수정해야 한다. InfraDev 연구진은 이런 차이를 반영해 Megatron-LM, vLLM, verl의 실제 풀 리퀘스트에서 36개 과제를 만들었다. 에이전트는 여러 파일에 걸친 변경 사항을 다시 구현하고, 그 결과가 여러 GPU에서 올바르게 동작하도록 해야 한다.¹

평가 방식도 공식 테스트 실행에 그치지 않는다. 연구진은 기존 테스트가 확인하지 못한 요구사항을 검사하는 비공개 프로브를 합성했다. 프로브가 호출하는 인터페이스는 프롬프트에 모두 명시하되, 해결책 자체는 드러내지 않았다. 그 결과 공식 테스트를 전부 통과한 제출물 가운데 32%가 프로브에서 탈락했다. 테스트 통과만으로는 패치의 정확성을 판단하기 어렵다는 뜻이다. 실제 풀 리퀘스트 설명을 그대로 프롬프트로 사용했을 때는 어떤 모델도 단 한 과제도 해결하지 못했다.¹

실행 비용을 줄이는 장치도 포함됐다. 과제 사이에서 의존성과 빌드 결과물을 재사용하는 공통 실행 환경을 설계해 Megatron-LM과 vLLM에서 저장 공간을 5257%, 빌드 시간을 1314% 줄였다. 이는 다중 GPU 인프라 평가를 반복 실행할 때 필요한 자원을 낮추기 위한 조치다.¹

실패 분석에서는 코드 구조와 상태 관리 오류가 주된 문제로 나타났다. 에이전트가 스스로 만든 테스트도 메모리 사용량, 실행 시간, 통신량을 좀처럼 점검하지 않았다. 연구진이 이런 실패 양상을 에이전트용 스킬로 정리해 적용하자 한 프런티어 모델의 Megatron-LM 과제 해결률은 10.5% 상승했다. 다만 논문 초록은 모델별 성적이나 실제 운영 환경에서의 재현 결과까지 제시하지 않아, 36개 과제가 AI 인프라 개발 전반을 얼마나 대표하는지는 추가 자료로 확인해야 한다.¹

읽기 목록은 이 브라우저에 저장됩니다.