다중 에이전트 공격 기법 ReMAS 공개

ai.euno.news 자동 뉴스 요약

대규모언어모델(LLM)로 구성한 다중 에이전트 시스템(MAS)을 외부에서 자동 공격하고 취약점을 검증하는 레드팀 기법이 공개됐다. 10월 20일 arXiv에 제출된 논문은 강화학습으로 공격자 LLM을 미세조정해 특정 하위 에이전트가 호출될 가능성을 높이고 해당 에이전트의 시스템 프롬프트를 드러내는 프레임워크 리마스(ReMAS)를 제안했다. 연구진은 다중 에이전트 시스템에 맞춘 강화학습 기반 레드팀 프레임워크로는 ReMAS가 처음이라고 밝혔다.¹

기존 블랙박스 공격은 주로 단일 에이전트를 겨냥했다. 블랙박스 공격은 내부 구조나 시스템 프롬프트를 직접 보지 못한 채 입력과 출력만으로 취약점을 찾는 방식이다. 하지만 다중 에이전트 시스템에서는 여러 하위 에이전트가 작업을 나눠 처리하고, 일부는 사용자와 직접 대화하지 않는다. 논문에 따르면 이 구조에서는 단일 에이전트용 공격의 효과가 크게 떨어졌다. 공격 문구가 목표 하위 에이전트까지 전달되지 않으면 해당 에이전트의 시스템 프롬프트를 추출할 기회도 얻기 어렵기 때문이다.

ReMAS는 이 문제를 두 단계로 푼다. 먼저 ‘재작성 단계’에서 기본 공격 프롬프트를 다듬어 시스템 프롬프트 추출 성공 가능성을 높인다. 이어 ‘템플릿 생성 단계’에서는 특정 하위 에이전트가 호출되도록 유도하는 공격 템플릿을 만든다. 단순히 더 강한 탈옥 문구를 찾는 데 그치지 않고, 다중 에이전트 시스템의 작업 분배 경로를 공략 대상으로 삼은 셈이다. 강화학습은 이 두 과정에서 효과적인 적대적 프롬프트를 생성하도록 공격자 LLM을 조정하는 데 쓰인다.

연구진은 실험에서 ReMAS가 기존 블랙박스 공격보다 공격 성공률을 상당히 높였으며, 서로 다른 백엔드 LLM과 다중 에이전트 구조 사이에서도 공격이 전이됐다고 보고했다. 이는 한 시스템에서 학습한 공격 전략이 다른 모델이나 구성에도 통할 수 있음을 뜻한다. 다만 공개된 초록에는 비교 대상, 구체적인 성공률, 실험에 사용한 모델과 시스템 구성이 제시되지 않았다. 따라서 개선 폭과 일반화 범위는 논문 본문과 후속 검증을 통해 확인해야 한다. 현재 확인되는 것은 다중 에이전트 시스템에서 사용자에게 드러난 대화 창뿐 아니라 내부 하위 에이전트의 호출 조건과 프롬프트도 공격 표면이 된다는 점이다.¹

읽기 목록은 이 브라우저에 저장됩니다.