엔비디아 AVO+클로드 오퍼스 5, ARC-AGI-3서 100% 달성

엔비디아가 자체 개발한 에이전트 아키텍처 AVO(Agentic Variation Operators)를 앤스로픽의 클로드 오퍼스 5와 결합해 추론 벤치마크 ARC-AGI-3에서 100% 점수를 냈다고 밝혔다. 지난 21일(현지시간) 공개한 기술 블로그에서 엔비디아는 이 결과를 두고 “모델 성능이 아니라 시스템 설계가 프런티어급 장기 과제 수행을 가능하게 한다”고 적었다. 테리 첸 수석 엔지니어가 이끄는 다섯 명 규모의 팀이 작성한 글이다.

비교 대상이 된 숫자는 크다. 테크 매체 더뉴스택에 따르면 비영리 벤치마크 기관 ARC 프라이즈는 지난 7월 분석에서 클로드 오퍼스 5가 ‘높음’ 추론 강도로 ARC-AGI-3 공개 세트에서 30.2%를 기록했다고 밝힌 바 있다. 반면 AVO로 감싼 동일 모델은 RHAE(사람의 최초 시도 대비 행동 효율성을 반영하는 지표) 기준 공개 세트 25개 환경, 183개 레벨 전체에서 100.00점을 받았다. 다만 이 30.2%는 ‘최대’ 추론 강도가 아닌 ‘높음’ 강도에서 나온 수치라, 모델 단독 최고 성능과의 격차인지는 조금 더 따져볼 여지가 있다.

GPU 커널 최적화에서 출발한 아키텍처

AVO는 원래 지난 3월 말 처음 소개된, 코드를 검사·수정하고 명령을 실행하며 실행 결과로 작업을 검증하는 범용 코딩 에이전트 시스템이다. 엔비디아는 이번 블로그에서 그 근간이 된 GPU 커널 최적화 실험을 함께 공개했다. 어텐션 커널 최적화 과제에서 AVO는 7일간 쉬지 않고 작동하며 500개 넘는 최적화 방향을 탐색해 40개의 커널 버전을 만들어냈고, DGX B200 환경에서 결과물이 cuDNN 대비 최대 3.5%, 플래시어텐션-4 대비 최대 10.5% 높은 처리량을 냈다. 이후 그룹쿼리어텐션 방식으로의 적응은 약 30분 만에 추가로 마쳤다고 한다.

엔비디아는 진화적 탐색 시스템에서 사람이 미리 정해두던 ‘변이 단계’를 에이전트가 스스로 무엇을 살피고 무엇을 바꾸고 무엇을 검증할지 결정하는 구조로 바꾼 것이 핵심이라고 설명한다. 이를 뒷받침하는 것은 두 가지 장치다. 이전 구현, 평가 결과, 컴파일러·프로파일러 출력, 축적된 추론 과정을 이어받는 지속 메모리, 그리고 에이전트가 정체되거나 같은 실패를 반복할 때 다른 전략으로 방향을 돌리는 감독 장치다. 회사는 GPU 커널 최적화와 ARC-AGI-3가 겉보기엔 전혀 다른 과제지만, 불완전한 정보로 가설을 세우고 행동하고 결과를 관찰하며 상태를 보존하고 잘못된 가정에서 되돌아오는 계산 패턴 자체는 같다고 설명했다.