채점 규칙 따라 멀티모달 LLM 정확도 22%p 차이

ai.euno.news 자동 뉴스 요약

멀티모달 대규모언어모델(LLM)의 객관식 벤치마크에서 모델이 똑같은 답변을 내놓아도 채점 규칙만 바꾸면 정확도가 최대 22%포인트 달라진다는 연구 결과가 나왔다. 11월 2일 아카이브(arXiv)에 공개된 논문은 데이터셋뿐 아니라 자유 형식의 응답을 정답·오답으로 바꾸는 채점 코드가 최종 점수를 크게 좌우한다고 지적했다.¹

멀티모달 LLM은 선택지의 알파벳만 출력하지 않고 답을 문장으로 풀어 쓰기도 한다. 벤치마크는 이 응답에서 선택지를 추출해야 하는데, 논문에 따르면 채점 규칙은 대개 코드 안에 묻혀 있으며 선택 근거도 충분히 제시되지 않는다. 연구진은 동료평가를 거친 벤치마크 8개의 공식 채점기를 재현하고, 16GB 그래픽처리장치(GPU) 한 대에서 구동할 수 있는 오픈 비전언어모델(VLM) 5종의 출력을 비교했다.

모델이 실제로 고른 답은 평가자가 모델 정보를 모르는 상태에서 사람과 LLM 판정자가 함께 확인했다. 이 판정의 코언 카파(Cohen’s kappa)는 0.956으로, 평가자 사이의 일치도가 높았다. 이를 기준으로 살펴보니 채점 규칙에 따른 정확도 차이는 최대 22%포인트였다. 반면 모델이 선택지 알파벳을 깔끔하게 출력하면 차이는 정확히 0이었다. 성능이 높은 모델 위주의 리더보드에서는 문제가 잘 드러나지 않을 수 있다는 뜻이다.

오류의 원인은 답변이 길어진다는 사실 자체보다, 형식에 맞지 않는 출력을 처리하는 ‘폴백’ 규칙에 있었다. 형식 미준수율이 가장 높았던 벤치마크도 채점기가 추측하지 않고 기권하도록 설계돼 점수 왜곡이 0이었다. 반대로 형식 미준수율이 0.000인 추론 모델은 사고 과정에서 정규표현식이 어느 일치 항목을 선택하느냐에 따라 점수가 9.5%포인트 움직였다.

어떤 규칙도 일관된 해법은 아니었다. 응답을 가장 가까운 선택지에 강제로 맞추면 말하지 않은 답을 정답으로 인정하거나 실제 정답을 놓칠 수 있고, 기권 처리는 문장으로 명시한 답까지 버릴 수 있다. 답 토큰의 가능도를 비교하는 방식도 토큰별 사전 편향을 따른다. 연구진은 단일 점수가 모델 능력과 우연을 뒤섞는다며, 벤치마크가 형식 미준수율과 최소 두 가지 채점 규칙의 결과를 함께 공개해야 한다고 제안했다. 다만 이 결론은 현재 아카이브에 제출된 초판 논문의 결과다.

읽기 목록은 이 브라우저에 저장됩니다.