구글, 장기 개발 평가 ‘안드로이드 벤치 2.0’ 공개

ai.euno.news 자동 뉴스 요약

구글이 안드로이드 개발용 AI 모델과 에이전트를 평가하는 벤치마크 ‘안드로이드 벤치 2.0(Android Bench 2.0)’을 공개했다. 이번 버전은 엔지니어가 며칠에서 일주일까지 매달릴 만한 장기 작업(Long-Horizon Tasks·LHT)을 추가하고, 모델 제공사의 에이전트를 직접 평가하며, 기존 합격·실패 판정을 연속형 점수로 바꾼 것이 핵심이다.¹

몇 달 전 처음 나온 안드로이드 벤치는 권한, 화면 이동, 네트워크 연결 등 안드로이드 개발의 일반적인 작업과 권장 방식을 기준으로 AI 성능을 측정했다. 당시에는 기존 저장소를 조금씩 수정하는 과제가 중심이었다. 2.0의 LHT는 의존성 업그레이드, 기능 추가, 앱 신규 개발, 크로스플랫폼 앱의 안드로이드 전환처럼 여러 단계를 거쳐야 하는 작업까지 범위를 넓혔다.

평가 방식도 달라졌다. 이전에는 수십 가지 요구사항을 충족했더라도 예외 상황을 검사하는 단 하나의 테스트가 실패하면 과제 전체가 실패로 처리될 수 있었다. 2.0은 기능 구현 정도와 시각적 완성도, 기존 기능의 회귀 여부를 종합해 완료율을 계산한다. 평가 지시나 구조적 제약을 어기면 객관적인 감점을 적용한다. 복잡한 작업에서 AI가 어디까지 해냈고 어느 지점에서 막혔는지를 이진 판정보다 구체적으로 보여주려는 설계다.¹

초기 결과에서는 작업 성격에 따른 차이가 드러났다. 구글은 AI가 기존 코드를 리팩터링하는 일보다 새 코드를 작성하는 데 더 능하다고 밝혔다. 이는 리팩터링과 마이그레이션에 코드베이스의 구조적 복잡성에 대한 이해가 필요하다는 점을 반영한 결과일 수 있다. 반면 자바를 코틀린으로 변환하거나, Retrofit을 Ktor로 교체하거나, ViewModel 계층을 넣는 것처럼 절차가 확립된 결정론적 변환은 큰 코드베이스에서도 비교적 잘 수행했다.

약점도 분명하다. 누락된 의존성 주입 그래프처럼 실행 단계의 검증이 필요한 작업, 호환성을 깨는 프레임워크 변경, 아직 출시되지 않은 라이브러리를 다루는 작업에서는 모델이 고전했다. 크로스플랫폼 앱을 안드로이드로 옮기는 과제는 최고 성능 모델도 완료율이 80%에 그쳐 구글이 ‘미해결 과제’로 분류했다.¹

InfoQ 보도 시점의 대시보드에는 Gemini 3.8 Flash, GPT-6, Anthropic Fable 5.1, Kimi K3 등 최신 모델이 포함됐다. LHT 합격률은 Claude Opus 5.5가 32%로 1위였고 GPT 6 Astra가 28%로 뒤를 이었다.

읽기 목록은 이 브라우저에 저장됩니다.