가중치로 LLM 계보 찾는 스펙트럼 지문

ai.euno.news 자동 뉴스 요약

대규모언어모델(LLM)의 입출력을 시험하지 않고 가중치만으로 모델 고유의 ‘스펙트럼 지문’을 만드는 기법이 공개됐다. 10월 22일 arXiv에 제출된 논문은 게이트형 피드포워드 네트워크(FFN)의 투영 가중치에서 특이값 분포를 추출해 작은 크기의 지문으로 압축한다. 별도 학습이나 입력 샘플, 생성 결과, 순전파 활성값, 보조 검증기는 필요하지 않다.¹

모델 지문은 공개 가중치 체크포인트의 소유권을 입증하거나, 외부 환경에서 모델의 계보를 점검하는 데 쓰인다. 기존 방식은 주로 특정 질의에 대한 응답과 생성물, 입력으로 유도한 내부 활성값을 증거로 삼았다. 하지만 이런 결과는 프롬프트 선택과 디코딩 설정, 추론 환경, 순전파 구현에 따라 달라질 수 있다. 이번 연구는 추론 과정 대신 모델 매개변수 자체를 검사해 이런 변수의 영향을 줄이려 했다.¹

연구진이 제안한 핵심은 GATE 스펙트럼 스칼라 특성이다. 각 FFN 층의 GATE 투영 가중치에 나타나는 특이값 분포를 수치 특성으로 바꾼 뒤, 모델 깊이를 여러 구간으로 나눠 층별 특성을 통합한다. 이 ‘깊이 방향 구간 풀링’은 층이 놓인 대략적인 위치를 보존하면서도 두 모델의 층을 정확히 일대일로 맞출 필요를 줄인다. 따라서 깊이가 서로 다른 LLM도 비교할 수 있다는 설명이다. 최종 지문 사이의 유사도는 선형 중심 커널 정렬(linear centered kernel alignment)로 계산한다.¹

논문이 보고한 실험에서는 같은 원천과 연관된 모델과 무관한 모델의 지문이 뚜렷하게 분리됐다. 명령어 튜닝뿐 아니라 양자화, 가지치기, 증류 관련 변경을 거친 뒤에도 유사도가 안정적으로 유지됐다는 것이 연구진의 결론이다. 모델의 동작을 관찰하지 않고도 후처리된 파생 모델과 원본의 연관성을 확인할 가능성을 보인 셈이다.¹

다만 공개된 자료는 1차 제출 논문의 초록이며, 모델별 점수나 오탐률 같은 세부 수치는 제시하지 않는다. 어느 정도의 구조 변경까지 지문이 유지되는지, 독립적인 재현에서도 같은 분리 성능이 나오는지는 이 자료만으로 판단할 수 없다. 현재 확인되는 결과는 저자들이 대표적인 LLM 계열과 후처리 변형을 대상으로 수행한 실험 보고로 한정된다.

읽기 목록은 이 브라우저에 저장됩니다.