LLM 7종 평가서 난독화 탈옥 공격 최다 성공
최근 30일 조회수 — 좋아요 —핵심 요약
난독화 공격의 평균 성공률은 54.3%였고, 자기 상기 프롬프트가 두 취약 모델의 방어에 가장 효과적이었다.
대형 언어모델(LLM) 7종을 상대로 탈옥 공격 5개 계열과 방어 기법 4종을 같은 틀에서 비교한 평가 연구가 공개됐다. 연구진은 난독화 공격이 모든 모델을 한 번 이상 우회했으며, 전체 모델의 평균 공격 성공률(ASR)이 54.3%로 가장 높았다고 보고했다. 특정 모델에 맞춘 공격을 넘어 여러 모델에 통하는 공격 경로라는 뜻이다.1
평가 대상은 공개 가중치 모델과 API로 접근할 수 있는 모델을 아우른다. Llama-3-8B, Llama-3.1-8B, Llama-3.2-3B, Mistral-7B, Qwen2.5-7B, Gemma2-9B, Phi-4-14B 등 7종이다. 공격은 직접 요청, 역할극 기반 탈옥, 가상 상황 설정, 지시 덮어쓰기, 난독화로 나눴다. 이처럼 공격 유형과 모델을 교차 평가해, 한 가지 탈옥 문구나 일부 모델에서 얻은 결과를 일반화하기 어렵다는 문제를 짚었다.1
모델 규모와 안전성도 비례하지 않았다. 파라미터 규모와 적대적 공격 견고성의 스피어만 상관계수는 -0.57이었지만, 통계적 유의성을 뒷받침하기에는 부족했다(p=0.18). 같은 아키텍처 계열에 속한 모델끼리도 취약성 양상이 크게 달랐다. 크기나 모델 계열만 보고 탈옥 저항성을 추정하기 어렵다는 결과다.1
연구진은 가장 취약한 모델 2종에 키워드 차단, 자기 상기 프롬프트, 바꿔쓰기 기반 입력 정화, 퍼플렉시티 기반 필터링을 적용했다. 이 가운데 안전 지침을 모델에 다시 일깨우는 자기 상기 프롬프트가 가장 일관된 효과를 냈다. Mistral-7B의 ASR은 44%에서 10%로, Llama-3.1-8B는 48%에서 5%로 줄었다. 연구진은 오탐이 없었고 추가 추론 비용도 들지 않았다고 밝혔다.1
다만 방어 실험은 7종 전체가 아니라 취약성이 가장 큰 2종에만 진행됐다. 따라서 같은 효과가 나머지 모델에도 그대로 적용된다고 단정할 수는 없다. 논문은 2026년 10월 29일 arXiv에 제출된 초판이며, 코드와 데이터셋은 공개됐다고 명시했다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Systematic Evaluation of Adversarial Jailbreaking Attacks and Defenses Across Seven Large Language Models — arXiv (cs.CR)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.