OpenAI, 적대적 증류 방어책 공개
최근 30일 조회수 — 좋아요 —핵심 요약
OpenAI가 모델 추론과 능력의 무단 복제를 막는 다층 방어책과 내부 평가 결과를 공개했다.
OpenAI가 경쟁 모델이 자사 최전선 모델의 출력과 내부 추론을 학습해 능력을 복제하는 ‘적대적 증류(adversarial distillation)’ 대응책을 공개했다. 모델 훈련과 분류기, API 보호 장치, 공격적 시험을 결합하고, 조직적인 능력 추출 시도도 조사한다는 내용이다. 특히 GPT‑6.2 Astra와 GPT‑6.2 Sol에는 내부 추론을 빼내기 어렵게 만든 방어책을 적용했다.1
증류는 한 모델이 다른 모델이 만든 답변이나 추론, 평가 결과를 학습하는 기법이다. 훈련 데이터를 만드는 모델은 교사(teacher), 이를 학습하는 모델은 학생(student)이라 부른다. OpenAI가 문제 삼은 것은 허가 없이 교사 모델의 능력을 옮긴 뒤, 원본과 비슷한 안전장치 없이 학생 모델을 배포하는 경우다. OpenAI는 지식재산권 우려와 별개로, 이를 심각한 안전 문제로도 봤다.
핵심 방어 대상은 모델이 답을 만드는 동안 내부적으로 생성하는 사고 과정인 연쇄 사고(chain-of-thought)다. 이 추론 흔적에는 최종 답변에서 빠진 정보가 담길 수 있어 다른 모델을 훈련하는 자료로서 가치가 크다. OpenAI의 내부 적응형 평가에서는 자동화된 레드팀이 이전 질문에 답하면서 생성된 내부 추론을 복원하도록 시도했다. 평균 공격 성공률은 기존 보호 장치를 쓴 GPT‑6 Astra의 54.0%에서, 개선된 GPT‑6.2 Astra의 0.2%로 낮아졌다. 다만 이는 OpenAI가 수행한 내부 평가 결과이며, 외부 검증 결과는 자료에 제시되지 않았다.1
위험은 사이버보안과 생물학처럼 방어와 공격에 함께 쓰일 수 있는 분야에서 두드러진다. 예컨대 취약점을 찾는 능력은 공격자가 취약점을 악용하는 데에도 쓰일 수 있다. 원본 모델이라면 거절하거나 차단했을 요청을, 안전장치가 약한 복제 모델은 처리할 수 있다는 것이다.
OpenAI는 최종 답변과 추론 요약, 도구 사용 기록처럼 사용자에게 보이는 내용만 학습한 경우를 기준으로 삼고, 교사의 정확한 추론 흔적까지 제공했을 때 학생 모델에 사이버 능력이 얼마나 더 전달되는지도 내부 연구에서 비교했다. 모든 훈련은 같은 사전학습 학생 모델에서 시작했다. 다만 공개된 자료에는 이 연구의 최종 비교 수치가 포함돼 있지 않아, 추론 흔적이 실제로 능력 이전을 얼마나 늘렸는지는 확인할 수 없다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Combatting adversarial distillation — OpenAI News
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.