뉴런 10개 미만 편집으로 AI 백도어 삽입

ai.euno.news 자동 뉴스 요약

마이크로소프트 연구진이 AI 에이전트 모델의 뉴런을 10개 미만으로 편집해 ‘잠복 에이전트’를 심을 수 있다는 연구 결과를 공개했다. 짧은 악성 페이로드를 가중치에 주입하면 모델은 일반 평가를 모두 통과하면서도, 문맥에 특정 트리거 문자열이 들어오는 순간 공격자가 지정한 명령을 실행한다. 마이크로소프트는 아직 이 기법을 실제 공격자가 악용한 사례는 관찰하지 못했다고 밝혔다.¹

위험의 핵심은 공격 비용과 실행 권한에 있다. 별도의 학습용 인프라 없이 추론만 가능한 컴퓨팅 자원으로 가중치를 조작할 수 있다. 즉 모델을 구동할 만큼의 메모리를 갖춘 장비라면 백도어도 삽입할 수 있다는 설명이다. 이렇게 변조된 모델이 트리거에 반응해 명령을 출력하면, 에이전트는 자신에게 부여된 시스템 접근 권한으로 이를 실행한다. 권한을 가진 에이전트가 사람의 감독 없이 작동하는 환경에서는 모델 가중치 자체가 보안 경계가 되는 셈이다.

연구 과정도 눈에 띈다. 마이크로소프트에 따르면 Claude Code와 Opus 4.5가 위협의 대부분을 자율적으로 발견했다. 동시에 프런티어 AI 에이전트는 비정상적인 가중치 편집을 찾아내는 감사 도구로도 효과를 보였다. 에이전트가 새로운 공격 방식을 드러내고, 인간 연구자가 이를 체계화해 탐지·완화 절차로 만드는 구조다. 이번 결과는 앤트로픽의 에이전트 백도어 연구와 MIT의 가중치 공간 프로그래밍 연구와도 맞닿아 있다.¹

마이크로소프트는 배포 전과 업데이트 후마다 체크포인트를 선언된 기반 모델과 비교하라고 권고했다. 정상적인 미세조정이나 양자화는 가중치를 넓고 분산된 형태로 바꾸지만, 잠복 에이전트 삽입은 소수의 가중치 벡터를 크게 바꾸는 경향이 있어 통계적 이상치로 선별할 수 있다. 모델 허브에는 출처와 감사 상태를 표시하고, 파일 해시를 검증하며, 제3자 미세조정·병합·양자화 모델과 어댑터는 감사 전까지 신뢰하지 않아야 한다. 다만 감사를 통과해도 안전이 보장되는 것은 아니므로 가중치 비교와 행동 기반 백도어 검사를 함께 적용해야 한다.¹

읽기 목록은 이 브라우저에 저장됩니다.