LLM 코드, 실행 실패에도 높은 확신

2분 LLM코드 생성과신실행 테스트
최근 30일 조회수 — 좋아요 —

핵심 요약

오픈소스 코드 모델 4종 분석 결과, 확신도만으로 코드의 실행 성공 여부를 판별하기 어려웠다.

LLM 코드, 실행 실패에도 높은 확신 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모 언어 모델(LLM)이 만든 코드가 실행 검사에서 실패해도 정답 코드와 비슷한 수준의 확신을 보인다는 실증 연구가 나왔다. 10월 8일 arXiv에 공개된 논문은 오픈소스 코드 모델 4종을 실행 기반 벤치마크 3종에서 분석한 결과, 토큰별 확신도만으로는 코드의 실행 성공 여부를 안정적으로 가려내기 어렵다고 보고했다.1

연구진은 먼저 모델이 출력한 토큰의 확신도와 엔트로피가 실행 정확성의 대리 지표로 쓸 만한지 살폈다. 분석 결과 기존 불확실성 지표는 실패를 어느 정도 포착했지만, 효과가 제한적이었고 모델에 따라 달라졌다. 잘못된 프로그램이 올바른 프로그램과 구별하기 어려울 만큼 높은 확신을 보이는 현상은 프로그램 전체를 요약한 수준뿐 아니라 개별 토큰 수준에서도 이어졌다.

확신도가 높은 생성물만 골라 받는 ‘선택적 생성’도 일관된 해법은 아니었다. 불확실성이 큰 답을 제외했는데도, 채택한 코드 집합의 정확도가 모델과 조건 전반에서 꾸준히 높아지지는 않았다. 이는 모델의 확신 점수를 품질 필터처럼 사용하는 방식이 실행 테스트를 대신하기 어렵다는 뜻이다. 문법적으로 그럴듯한 코드와 실제로 동작하는 코드는 별개이며, 모델이 스스로 표시하는 확신도 그 차이를 충분히 드러내지 못했다.

명령어 튜닝도 문제를 없애지 못했다. 연구진에 따르면 명령어 튜닝은 실패한 생성물의 확신도를 오히려 높일 수 있었지만, 정답과 오답을 구분하는 능력을 일관되게 개선하지는 않았다. 일반적인 완화 기법들 역시 신뢰성의 일부 측면은 개선했으나, 높은 확신을 동반한 실패를 안정적으로 해소하지 못했다.

다만 잠재 표현을 탐색한 분석에서는 출력 확신도에 나타나지 않는 정답 관련 신호가 모델 내부 표현에 담겼을 가능성이 관찰됐다. 논문도 이를 탐색적 결과로 제시한 만큼 곧바로 검증 수단으로 볼 수는 없다. 현재 단계에서 모델의 확신도는 보조 신호일 뿐이며, 실행 테스트와 프로그램 분석은 여전히 필수라는 것이 연구의 결론이다.1

Footnotes

  1. arXiv, “Characterizing Overconfident Failure in LLM-Based Code Generation” ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Characterizing Overconfident Failure in LLM-Based Code Generation — arXiv (cs.SE)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.