프롬프트 인젝션 레드팀 기법 ‘AutoPI’ 제안

최근 30일 조회수 — 좋아요 —

핵심 요약

AutoPI는 공격 성공률과 기법 커버리지를 함께 측정해 LLM 에이전트의 다양한 취약점을 탐색한다.

프롬프트 인젝션 레드팀 기법 ‘AutoPI’ 제안 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모언어모델(LLM) 에이전트의 프롬프트 인젝션을 공격 성공률뿐 아니라 공격 기법의 다양성까지 따져 탐색하는 레드팀 기법 ‘AutoPI’가 제안됐다. 11월 18일 arXiv에 공개된 논문에서 연구진은 AutoPI가 공격 분류체계 PIAtlas를 탐색 지도로 삼고, 실패 결과에 관한 피드백을 반영해 공격문을 반복 수정한다고 설명했다.1

연구진이 문제 삼은 것은 기존 적응형 레드팀 평가가 주로 공격 성공률(ASR)을 극대화한다는 점이다. ASR은 표적 모델이 얼마나 자주 뚫리는지는 보여주지만, 서로 다른 방식으로 얼마나 폭넓게 뚫렸는지는 드러내지 못한다. 몇 가지 잘 통하는 수법을 반복해도 높은 ASR을 얻을 수 있어, 평가에서 시도되지 않은 공격 기법은 모델을 강화하는 과정에서도 빠질 수 있다는 지적이다.

AutoPI는 각 평가 시나리오에서 공격자 LLM이 PIAtlas에 정의된 모든 하위 기법별로 인젝션을 작성하도록 한다. 실패한 인젝션은 LLM 판정자가 제공한 결과 피드백을 바탕으로 다시 만든다. 연구진은 분류체계의 클래스·기법·하위 기법 가운데 하나 이상의 공격이 성공한 비율을 ‘기법 커버리지’로 계산해 ASR과 함께 보고했다. 공격 횟수만 세던 평가에 “어떤 공격 공간을 실제로 시험했는가”라는 축을 추가한 셈이다.

AutoPI는 표적 모델 내부에 접근하지 않는 블랙박스 방식이며 별도 훈련도 필요 없다. 기존 벤치마크의 고정 공격 템플릿을 대체할 수 있고, PIAtlas가 갱신되면 탐색 범위도 함께 바뀐다. 연구진은 AgentDojo와 IPI Arena에서 공개 가중치 모델과 독점 모델을 대상으로 AutoPI를 평가했다.

AgentDojo에서 AutoPI는 Qwen3.6-35B를 상대로 PIAtlas의 6개 클래스 모두에서 공격에 성공했고, 전체 기법의 90% 이상에서 성공 사례를 찾았다. 평가 대상 중 가장 견고했던 Claude Haiku 5.5에서는 최근 적응형 레드팀 기법보다 ASR이 2050%, 클래스 수준 커버리지가 25400% 높았다고 연구진은 밝혔다. 다만 이는 논문 저자들의 벤치마크 결과이며, 초록에는 절대 ASR과 비교 기법별 수치가 제시되지 않아 실제 공격 성공 규모와 개선 폭의 기준을 이 자료만으로 세밀하게 판단하기는 어렵다. 연구진은 재현 가능한 평가를 위해 코드와 생성된 공격문을 공개했다.

Footnotes

  1. arXiv, “AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents — arXiv (cs.CR)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.