LLM 코드 개선법, 단순 샘플링과 비슷

ai.euno.news 자동 뉴스 요약

대규모언어모델(LLM)이 만든 코드의 품질 개선 기법을 같은 연산 예산 아래 다시 비교한 연구가 공개됐다. 10월 28일 arXiv에 제출된 논문은 프롬프팅, 계획 수립, 자기 개선, 리뷰어 에이전트, 검색 결합 등 널리 쓰이는 방법이 단순히 여러 답을 생성해 가장 나은 결과를 고르는 best-of-n 샘플링보다 뚜렷하게 낫다는 근거가 부족하다고 결론 내렸다.¹

연구진은 먼저 2021년 7월부터 2026년 10월까지 발표된 1차 연구 628편을 체계적으로 검토했다. 기존 연구는 대부분 자신이 개선하려는 품질 항목만 측정했고, 정확도가 유지됐는지 보고하지 않는 경우가 많았다. 연산량과 결과의 분산, 학습 데이터 오염 가능성 역시 좀처럼 공개되지 않았다. 특히 하나의 자동 품질 신호만 최적화하면 모델이 그 지표를 공략할 수 있어, 실제 코드 품질 향상으로 곧장 해석하기 어렵다는 문제가 드러났다. 문헌 검토에는 사용 사실을 공개하고 저자가 결과를 검토하는 조건으로 LLM을 활용했다.¹

이어 연구진은 네 개 모델에서 10개 기법의 연산 예산을 맞춘 뒤 정확성·유지보수성·효율성·보안을 평가했다. 실험 범위는 최신 모델 13개와 저장소 단위 작업으로 넓혔고, Gemma 4 31B에서는 주요 기법 66개를 직접 비교했다. 호출 한 번으로 품질 개선을 요구하는 프롬프트는 분석기가 찾은 문제 수를 오히려 늘렸으며, 복잡도와 평가 모델 점수는 거의 바꾸지 못했다.¹

같은 예산에서는 여러 결과를 뽑아 분석기 점수를 반영해 순위를 매긴 best-of-n이 프롬프팅, 계획, 자기 개선, 리뷰어 에이전트, 검색을 대체로 따라잡거나 앞섰다. 순위기가 직접 최적화하지 않은 평가 항목에서도 같은 경향이 나타났다. 분석기 피드백 반복과 미세조정은 분석기 문제 수에서만 best-of-n을 이겼다. 66개 기법 가운데 주된 목표 지표에서 95% 구간을 넘어 best-of-n보다 나은 기법은 하나뿐이었고, 연구진은 이를 우연과 부합하는 비율로 봤다.¹

다만 HumanEval+에서는 정확도가 크게 떨어졌는데, 논문은 이 벤치마크가 성능 상한에 가깝고 학습 데이터에 섞였을 가능성을 짚었다. 모델의 학습 종료 시점 뒤에 열린 대회 문제에서는 같은 하락이 나타나지 않았다. 연구진은 품질 개선 주장을 검증하려면 연산 예산을 맞춘 샘플링을 기준선으로 삼고, 기법이 활용한 신호와 독립적인 지표로 평가해야 한다고 제안했다.¹

읽기 목록은 이 브라우저에 저장됩니다.