툴 연동 LLM 에이전트 공격 막는 통합 방어 프레임워크 공개

ai.euno.news 자동 뉴스 요약

툴 연동 LLM 에이전트를 노리는 프롬프트 인젝션과 메모리 오염, 백도어 공격을 하나의 방어 체계로 막을 수 있다는 연구 결과가 나왔다. arXiv에 2026년 9월 14일 공개된 논문 “Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks”는 공격 유형별로 따로 대응하던 기존 방식 대신, 네 가지 공격 전부에 통하는 통합 방어 프레임워크를 제시한다¹.

연구진이 겨냥한 공격은 직접 프롬프트 인젝션, 간접 프롬프트 인젝션, 메모리 오염, 백도어 공격 네 가지다. 이들은 모두 LLM 에이전트가 외부 도구를 호출해 다단계 작업을 처리하는 과정에서 공격자가 프롬프트를 조작하거나 도구 호출 자체를 변조하는 방식으로 이뤄진다. 도구 연동으로 프롬프트 인젝션과 도구 조작에 노출되는 것 자체가 논문이 짚는 문제의식이다¹.

방어는 두 축으로 구성된다. 하나는 도구 단위에서 작동하는 두 가지 범용 방어로, “공격 도구 필터링(Attacker Tool Filtering)“은 아이솔레이션 포레스트(Isolation Forest) 같은 이상 탐지 기법으로 의심스러운 도구를 골라내 제거하고, “정상 도구 복원(Normal Tool Recalling)“은 화이트박스 방식으로 계획 수립 전에 에이전트의 원래 도구 목록을 되살린다. 다른 하나는 프롬프트 단위 방어로, 사고 사슬(Chain-of-Thought) 프롬프팅과 자기반성(self-reflection) 기법으로 추론 과정을 강화하고, 과제를 다르게 바꿔 말하는 패러프레이징으로 공격을 완화한다¹.

이 네 가지 방어를 테스트한 모델 구성은 개방형 모델 Gemma2-9B, Qwen2-7B, LLaMA3-8B, LLaMA3.1-8B와 상용 모델 GPT-3.5, GPT-4, GPT-5로 총 일곱 종이다. 논문에 따르면 이 방어를 적용했을 때 여러 설정에서 공격 성공률(Attack Success Rate, ASR)이 0%까지 떨어졌고, 동시에 원래 과제의 성공률은 유지되거나 오히려 개선됐다고 밝혔다. 방어를 걸었다고 정상 작업 수행 능력이 희생되지는 않았다는 뜻이다¹.

논문은 이 결과를 근거로 “간단하고 모듈화된 다층 방어”가 툴 연동 LLM 에이전트의 보안과 견고성을 높이는 데 효과적이라고 결론짓는다. 코드는 논문에 명시된 링크를 통해 공개돼 있다고 밝혔으나, 구체적인 저장소 주소나 실험 세부 설정(공격별 ASR 수치, 데이터셋 규모 등)은 초록 수준에서는 확인되지 않는다. 이 논문은 2026년 9월 14일 제출된 상태로, 동료 심사 여부나 후속 검증 결과는 아직 알려진 바 없다.

읽기 목록은 이 브라우저에 저장됩니다.