LLM 기반 C→러스트 번역기 11종서 결함
최근 30일 조회수 — 좋아요 —핵심 요약
연구진이 C-to-Rust 번역기 11종을 재검증해 결함 160건과 자체 평가 절차의 허점을 확인했다.
대규모 언어 모델(LLM)로 C 코드를 러스트(Rust)로 옮기는 도구들의 정확성 검증이 충분하지 않다는 연구가 공개됐다. 11개 번역기의 공개 결과물을 원본 C 프로그램과 다시 대조한 결과, 모든 번역기에서 결함이 발견됐다. 연구진이 확인한 결함은 160건이며, 이 가운데 93건은 일반적인 입력에서도 발생하는 명백한 오류였다.1
연구진은 먼저 LLM을 이용하는 C-to-Rust 번역기 34개를 조사했다. 각 번역기는 자체 정확성 검사를 거쳐 성공률을 제시했지만, 검사 방식 자체를 시험했다고 보고한 번역기는 하나뿐이었다. 원본 C 코드와 변환된 러스트 코드를 실제로 실행할 수 있는 형태로 공개한 사례도 11개에 그쳤다. 연구진은 이 11개를 대상으로 생성한 입력을 두 프로그램에 각각 넣고, 모든 출력을 비교했다. 원본 C에서 정의되지 않은 동작(undefined behavior)이 발생하지 않는 경우에만 결과 차이를 결함으로 집계했다.
재검증 결과는 번역 성능뿐 아니라 평가 절차의 문제를 드러냈다. 각 번역기의 자체 검사는 결함이 있는 번역 86건을 정상으로 판정했다. 그중 81건에서는 결함을 드러내는 입력으로 두 프로그램을 한 번도 비교하지 않았다. 나머지 5건 가운데 3건은 그런 입력을 실행했지만 출력의 일부만 비교해 차이를 놓쳤다. 즉, 보고된 성공률이 코드의 실제 동작 일치를 그대로 뜻하지는 않았다.
연구진은 번역 성공을 집계하기 전에 원본 C와 러스트의 모든 출력을 비교해야 한다고 제안했다. 이때 번역을 고치는 반복 과정에서 쓰지 않은 입력을 별도로 사용하고, 검증기가 단언문(assertion)에 실제로 도달하는지도 확인해야 한다. 또 검사가 통과시킨 코드와 공개한 코드가 정확히 같아야 하며, 정확성 검사 자체를 어떤 방식으로 시험했는지도 보고해야 한다고 지적했다. 이번 결과는 러스트 변환의 가능성을 부정하기보다, 번역기의 성공률이 이를 측정한 검사보다 신뢰하기 어려울 수 있음을 보여준다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.