무작위 미해결 추측 평가셋 공개

ai.euno.news 자동 뉴스 요약

언어모델의 수학 능력을 유명 난제 몇 건이 아니라 무작위로 뽑은 미해결 추측으로 평가하는 데이터셋 OpenConjecture가 공개됐다. 2026년 10월 29일 arXiv에 제출된 논문은 2026년 2월 이후 arXiv 수학 논문에 실린 추측을 모으고, 그중 200개를 무작위 표본으로 골라 최전선 GPT 모델에 풀게 했다.¹ 특정 성공 사례를 선별하는 대신 재현 가능한 절차로 일반적인 수학 추론 능력을 살피려는 시도다.

연구진이 문제를 세 차례에 걸쳐 제시한 결과, 모델은 전체 추측의 약 60%, 즉 대략 120개에 후보 해답을 내놓았다. 반례가 증명보다 약 1.3배 많았다. 실험에는 문제별 수학적 지침을 넣지 않았다. 연구진은 이 조건이 어떤 문제에서 모델이 해답을 제안하는지, 또 보고된 성과에 어느 정도의 계산 자원이 필요한지를 비교하는 데 도움이 된다고 설명했다.¹

다만 ‘후보 해답’은 곧바로 검증된 해결을 뜻하지 않는다. 연구진은 제안된 증명과 반례를 전문가에게 맡겨 모두 판정하는 대신, 해답이 나온 문제의 유형과 해답의 성격을 분석했다. 기존 문헌을 어떻게 인용하고 활용했는지, 제안에 새로움이 있는지, 추측의 오류나 불충분한 명세를 파고든 것인지도 평가 대상에 포함했다. 일부 증명은 기존 결과에서 밀접하게 이어졌지만, 적어도 중간 수준의 새로움을 보인 제안도 있었다.¹

이 과정은 정답률만으로는 드러나지 않는 평가 문제를 보여준다. 모델은 저자가 의도한 범위를 벗어나 자명군을 반례로 드는 식의 해답을 내놓기도 했다. 형식상 문장을 반박했더라도 원래 수학적 질문을 해결했다고 보기 어려운 경우다. 따라서 OpenConjecture의 약 60%라는 수치는 해결률이 아니라, 후보 해답을 생성한 비율을 나타낸다.

논문이 강조하는 평가 기준도 여기에 있다. 수학 언어모델을 판단하려면 정확성뿐 아니라 문제의 의도를 충실히 따랐는지, 선행 연구를 제대로 밝혔는지, 실제 수학적 기여가 무엇인지까지 살펴야 한다. 무작위 표본은 화제가 된 돌파구만 골라 볼 때 생기는 편향을 줄이지만, 이번 연구 자체는 후보 해답의 전면적인 전문가 검증을 하지 않았다는 한계를 남긴다.¹

읽기 목록은 이 브라우저에 저장됩니다.