LLM 예측 평가 벤치마크 공개

2분 ForecastGymLLM예측벤치마크
최근 30일 조회수 — 좋아요 —

핵심 요약

포캐스트짐은 과거 검색 결과를 고정해 LLM의 검색 품질과 사건 예측 추론 능력을 분리 평가한다.

LLM 예측 평가 벤치마크 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모 언어 모델(LLM)이 웹을 검색해 현실의 사건을 예측하는 능력을 통제된 조건에서 평가하는 벤치마크 ‘포캐스트짐(ForecastGym)’이 공개됐다. 11월 17일 arXiv에 제출된 논문에서 연구진은 진행 중인 예측시장 질문의 검색 결과를 주기적으로 저장하고, 결과가 확정된 뒤 당시 정보만 오프라인으로 재생하는 방식을 제시했다. 모델의 추론 능력과 검색으로 확보한 정보의 품질을 분리해 비교하려는 시도다.1

기존 평가는 검색 시점에 따라 조건이 달라진다는 문제가 있다. 에이전트마다 직접 웹을 검색하는 실시간 평가는 검색 능력과 추론 능력이 섞인다. 사건이 끝난 뒤 과거 자료를 검색하는 방식도 안전하지 않다. 날짜 필터를 걸더라도 현재의 검색 순위가 반영되거나, 결론을 사실상 알려 주는 후속 정보가 끼어들 수 있기 때문이다. 실제로 연구진이 사건 종결 후 같은 질의를 다시 실행하자, 시험한 날짜 필터에도 질문의 최대 92%에서 결과를 거의 직접 드러내는 검색 결과가 나왔다.1

포캐스트짐은 이를 막기 위해 미해결 예측시장 질문을 대상으로 상용 웹 검색 API 4개의 결과를 이틀마다 기록한다. 첫 공개판에는 질문 150개, 질문별·수집 시점별 증거 상태 614개, 검색 결과 13만1,000건이 담겼다. 사건의 결론이 난 뒤에는 이 검색 자료를 고정한 채 모델, 검색 출처, 메모리 전략을 비교한다. 모든 에이전트에 같은 증거 수집 정책을 적용하므로, 어떤 정보가 언제 제공됐는지도 재현할 수 있다.1

고정된 증거로 시험한 모든 LLM은 예측 정확도에서 시장보다 뒤처졌다. 진단 결과, 격차가 큰 상태에서는 공개 정보를 잘못 해석한 경우보다 필요한 공개 정보를 찾지 못한 경우가 더 큰 원인으로 나타났다. 검색 API만 바꿔도 한 모델의 브라이어 점수는 최대 0.043 달라졌는데, 이는 시험한 모델 간 점수 차이보다 컸다. 또 이전 정보를 지속적으로 기록한 메모 방식은 모든 증거를 매번 다시 읽는 방식과 비슷한 점수를 내면서 입력 토큰은 절반만 썼다.1

다만 첫 공개판은 150개 질문과 수집된 검색 결과에 한정된 평가다. 논문이 보여 주는 핵심은 특정 모델의 우열보다 평가 조건의 영향이다. 예측 에이전트가 무엇을 읽었는지 고정하지 않으면, 모델을 비교한 결과처럼 보이는 수치가 실제로는 검색 출처와 시점의 차이를 반영할 수 있다.

Footnotes

  1. arXiv, “ForecastGym: A Live, Controlled, and Replayable Benchmark for Forecasting Agents” ↩ ↩2 ↩3 ↩4

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. ForecastGym: A Live, Controlled, and Replayable Benchmark for Forecasting Agents — arXiv (cs.AI/cs.CL/cs.LG)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.