TRAP, LLM 안전장치 자동 우회 성능 입증

2분 TRAPLLM탈옥AI안전
최근 30일 조회수 — 좋아요 —

핵심 요약

트리형 전략과 강화학습을 결합한 블랙박스 탈옥 기법 TRAP이 7개 LLM 중 6개에서 비교 기법을 앞섰다.

TRAP, LLM 안전장치 자동 우회 성능 입증 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

정렬된 대규모 언어 모델(LLM)의 안전장치를 자동으로 우회하는 기법 TRAP(Tree-Guided Reinforcement-Augmented Probing)이 공개됐다. TRAP은 탈옥 전략을 트리 구조로 정리하고 강화학습으로 유망한 경로를 선택한다. 표적 모델의 내부 구조나 가중치를 알 필요 없이 입출력만 이용하는 블랙박스 방식이다. 연구진은 AdvBench와 정렬된 LLM 7종으로 실험한 결과, 공통 주 평가자와 논문에 명시한 설정을 적용했을 때 6개 모델에서 비교 기법보다 높은 성능을 냈다고 밝혔다.1

기존 자동 탈옥 기법은 여러 프롬프트 후보를 탐색하거나 과거 공격 경험을 재사용한다. 그러나 역할극, 인코딩, 난독화처럼 서로 연관된 전략을 지속적인 계층 구조로 묶어 학습하지는 못했다는 게 연구진의 문제의식이다. TRAP은 넓은 공격 접근법부터 구체적으로 재사용할 수 있는 전략까지 연결한 ‘의미 기반 전략 트리’를 만들어 이 관계를 탐색에 활용한다.

전략 선택에는 트리 구조의 그래디언트 밴딧에 기반한 강화학습 정책을 쓴다. TRAP이 트리에서 한 경로를 고르면 평가자의 피드백에 따라 그 경로에 포함된 전략의 선호도를 갱신한다. 이 선호도는 공격 목표가 바뀌어도 유지되므로, 앞선 시도에서 얻은 경험이 다음 목표의 전략 선택에 반영된다. 이어 검색 증강 프롬프트 생성이 선택된 전략과 관련 있는 과거 성공 사례를 찾아 현재 목표에 맞는 공격 프롬프트로 바꾼다.

보고된 공격 성공률은 비교 기법을 앞선 6개 모델에서 45.6~97.9%였다. 모델에 따라 성공률 차이가 52.3%포인트에 이른다는 점은 TRAP의 효과가 표적 모델별로 크게 달라질 수 있음을 보여준다. 또한 이 결과는 특정 실험 설정과 공통 주 평가자를 기준으로 한 수치다. 논문은 2026년 10월 12일 제출된 arXiv 초판으로, 초록에는 모델별 결과나 다른 평가자를 적용했을 때의 성능은 제시되지 않았다. 따라서 현재 확인할 수 있는 결론은 계층적으로 축적한 공격 경험이 자동 취약점 탐색에 유효했다는 데 한정된다.1

Footnotes

  1. arXiv, “TRAP: Tree-Guided Reinforcement-Augmented Probing for Automated LLM Jailbreaking” ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. TRAP: Tree-Guided Reinforcement-Augmented Probing for Automated LLM Jailbreaking — arXiv (cs.CR)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.