제시 형식이 LLM 수학 성능 좌우

ai.euno.news 자동 뉴스 요약

대규모 언어 모델(LLM)의 수학 성능은 모델 자체의 추론 능력뿐 아니라 문제를 어떤 형식으로 제시하고, 이전에 생성한 풀이와 답 후보를 실행 경로에 어떻게 포함하느냐에 따라 크게 달라진다는 연구가 나왔다. 11월 8일 아카이브(arXiv)에 공개된 사전 논문은 같은 문제와 모델을 사용하더라도 제출 지시, 초안 재사용, 후보 답 제공 여부가 정답률과 출력 유효성을 좌우한다고 보고했다.¹

가장 극적인 차이는 답안 제출 형식에서 나타났다. 연구진이 개발용 수학 문제 65개를 대상으로 짧은 출력 호출 390회를 수행한 결과, 풀이를 계속 전개해도 된다는 지시에서는 유효한 최종 답이 한 건도 나오지 않았다. 반면 한 줄로 답을 제출하라고 명시하자 390개 출력 모두 형식 요건을 충족했고, 이 가운데 389개는 답을 기계적으로 해석할 수 있었다. 수학 지식이 같더라도 모델이 답을 ‘제출’하도록 만드는 지시가 평가 결과를 바꿀 수 있다는 뜻이다.

연구진은 이어 최초 제출에 실패한 문제 198개를 고정된 제출 방식으로 다시 풀게 했다. 제공 정보에 따른 정답률은 다음과 같았다.

후보 답을 고정하면 이전 초안이 정답률을 13.13%포인트 높였고, 초안을 고정하면 후보 답은 25.76%포인트를 더했다. 두 효과는 다중 비교를 보정하는 홀름(Holm) 보정 뒤에도 유의했지만, 정확도 기준으로는 두 효과를 단순히 더한 만큼 상승하지 않는 ‘부분가산적’ 관계를 보였다. 즉 실패한 출력도 버려야 할 잡음만은 아니며, 다음 시도에 재사용할 수 있는 중간 계산이나 단서를 남길 수 있다.

어느 부분을 보존하느냐도 중요했다. 평균 길이가 비슷한 초안에서 앞부분보다 뒷부분을 남겼을 때 정답률이 10.10%포인트 높았고, 홀름 보정 후 p=0.027이었다. 다른 완성 모델에서도 입력 조건에 따른 효과의 방향은 같았다. 다만 최초 답이 이미 해석 가능한 집단에서는 초안을 함께 줄 경우 후보 답이 정답을 추가하지 못했고, 초안이 없을 때만 27%포인트를 더했다.

이 결과는 LLM 수학 벤치마크가 모델 능력만 재는 단순한 척도가 아닐 수 있음을 보여준다. 제출 형식과 초안 보존 방식, 후보 답 제공 여부가 달라지면 같은 모델의 점수도 달라질 수 있다. 다만 이번 결과는 개발 문제 65개와 실패 사례 198개 등 특정 실험 구성에서 얻었으며, 동료평가를 거치지 않은 사전 논문이라는 점은 함께 고려해야 한다.

읽기 목록은 이 브라우저에 저장됩니다.