양자화 LLM 공급망의 검증 공백

ai.euno.news 자동 뉴스 요약

LLM의 원본 정밀도 가중치에 서명하더라도 사용자가 실제로 실행하는 양자화 모델의 무결성까지 보장할 수 없다는 연구가 공개됐다. 논문 ‘서명한 것과 실행하는 것은 다르다(What You Sign Is Not What You Run)’는 배포 가중치 (W)를 양자화 산출물 (Q)로 바꾸는 과정이 현재 공개 관행만으로는 하나로 확정되지 않는다고 지적한다. 원본의 서명이 유효해도 실행 파일이 그 원본에서 올바르게 만들어졌는지 제3자가 확인하기 어렵다는 뜻이다.¹

연구진은 이 간극을 독립 검증률(Independent Verifiability Rate·IVR), 즉 제3자가 양자화 파일을 비트 단위까지 똑같이 다시 만들 수 있는 비율로 측정했다. 다운로드 수가 많은 허깅페이스(Hugging Face) GGUF 저장소 200개 가운데 조사 대상 198개를 살펴본 결과, 양자화에 사용한 빌드 환경을 산출물이나 모델 카드에 기록한 곳은 없었다. 기록된 입력만 사용하는 검증 절차에서 IVR은 0/198이었다.

그렇다고 양자화 파일 자체가 재현 불가능한 것은 아니었다. 입력 정보를 공개한 저장소 4개를 대상으로 시험하자, 모델 카드의 내용만으로는 Q4_K_M 파일을 하나도 재현하지 못했다. 하지만 카드에 빠진 두 요소인 부동소수점 연산 축약 설정과 하이브리드 모델의 텐서별 양자화 방식을 추가하자 목표 파일 8개 중 x86에서는 7개, arm64에서는 5개가 비트 단위로 일치했다. fp16 파일은 제공자의 체크포인트로 재현됐지만, 보정용 imatrix는 다시 계산한 결과가 일치하지 않아 파일을 함께 배포하고 해시로 결합해야 했다. 명령어 집합까지 고정된 이전 릴리스 하나는 재현에 실패했다.

이 결과는 컴파일러 설정과 하드웨어를 포함한 실행 환경 (E)가 검증에 필요한 입력임을 보여준다. 연구진이 시험한 한 컴파일러 설정은 여러 플랫폼에서 동일한 결과를 만들었고, 품질 차이는 퍼플렉시티 기준 0.06% 증가에 그쳤다. 다만 변조 탐지는 정확한 재생성에 기대야 한다. 무작위로 퍼뜨린 니블 플립은 정상적인 부동소수점 차이와 구분됐지만, 표적화한 임베딩 수정은 통계적 탐지를 피했다. 허용할 실행 환경이 늘수록 탐지 가능한 변조의 하한도 커졌으며, 공격자가 fp16 원본부터 조작하는 경우는 이번 검증 범위에 포함되지 않았다.¹

읽기 목록은 이 브라우저에 저장됩니다.