AI 장기 과제 능력 늘었지만 판단은 한계

2분 METRAI 평가장기 과제판단 능력
최근 30일 조회수 — 좋아요 —

핵심 요약

METR 평가에서 AI의 장기 과제 능력은 빠르게 향상했지만 개방형 판단 과제에서는 인간에 못 미쳤다.

AI 장기 과제 능력 늘었지만 판단은 한계 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

AI 평가 비영리단체 METR가 인공지능 모델의 장기 과제 수행 능력 추세를 갱신했다. 최전선 모델은 일부 역량에서 빠르게 향상했지만, 정답을 자동으로 확인하기 어려운 판단 중심 과제에서는 인간보다 뒤처졌다. 코딩 능력의 빠른 향상이 연구개발 전반의 자동화로 곧장 이어진다고 보기는 어렵다는 뜻이다.1

더 길고 열린 과제로 넓힌 평가

METR의 ‘시간 지평(time horizon)’ 그래프는 사람이 과제를 끝내는 데 걸린 시간으로 난도를 정한 뒤, 모델이 어느 길이의 과제까지 성공하는지 나타낸다. 기존 그래프는 모델의 능력이 지수적으로 향상한다는 결과로 널리 공유됐지만, 측정 방식이 복잡해 해석도 자주 엇나갔다. 이번 갱신판에는 사람이 훨씬 오래 걸리는 과제와 정답이 명확하지 않은 개방형 과제가 추가됐다.1

코딩과 수학은 결과가 맞았는지 자동으로 확인하기 쉬운 검증 가능한 과제다. 모델이 같은 과제를 반복하게 하고 성공에 기여한 경로를 강화하는 강화학습도 적용하기 수월하다. 반면 새 연구 방향을 고르는 일처럼 성패의 기준이 모호하거나 결과 확인에 오래 걸리는 과제는 학습도 평가도 어렵다. 그러나 AI가 연구개발을 자동화하려면 바로 이런 능력이 필요하다.1

판단이 필요한 과제에서는 인간에 못 미쳐

METR는 판단 능력을 살피기 위해 모델에 새로운 AI 평가법을 설계하게 한 뒤 연구원들이 결과를 채점했다. 최신 모델이 소프트웨어 공학에서는 거의 모든 인간보다 뛰어난 수준에 이르렀지만, 모델이 만든 평가법 가운데 METR 연구에 쓸 만하다고 인정받은 것은 하나도 없었다. 철학적 논증을 채점하는 과제에서도 모델은 인간의 성과에 미치지 못했다.1

다만 이 결과의 의미를 단정하기는 어렵다. METR 내부에서도 철학 과제가 AI 연구개발 자동화 능력을 얼마나 잘 대신 측정하는지를 두고 의견이 갈렸고, 개방형 과제는 점수 산정 자체가 까다롭다. 이번 갱신은 장기 과제 수행 능력의 빠른 증가를 재확인하는 동시에, 검증 가능한 과제에서 거둔 성과와 실제 연구 판단 사이에 아직 간극이 있음을 보여준다.1

Footnotes

  1. MIT Technology Review, “The most misunderstood graph in AI just got a major update” ↩ ↩2 ↩3 ↩4 ↩5

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. The most misunderstood graph in AI just got a major update — MIT Technology Review

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.