LLM 시스템 프롬프트 추출 기법 제안

ai.euno.news 자동 뉴스 요약

최근 대규모언어모델(LLM) 서비스의 복잡한 시스템 프롬프트를 추출하기 위한 계층적 공격 기법 ‘ExtraHerO(Extraction with Hierarchical Optimization)’가 제안됐다. 11월 3일 arXiv에 공개된 논문은 ExtraHerO가 기존 공격보다 챗봇과 에이전트에서 프롬프트 충실도뿐 아니라 실제 공격에 활용되는 정도까지 높였다고 보고했다.¹

시스템 프롬프트는 서비스의 동작과 제약을 정하는 지침으로, 사업자의 핵심 지식재산이기도 하다. 논문에 따르면 최근 시스템 프롬프트에는 도구 스키마와 실행 논리, 안전 가드레일 등이 들어가면서 길고 구조적인 문서가 됐다. 에이전트형 서비스에서는 원시 텍스트 응답을 숨기고 후처리된 행동만 외부에 보여주는 경우도 있다. 연구진이 검증한 결과, 이런 변화 속에서 기존 프롬프트 추출 공격의 성능은 크게 떨어졌다.

ExtraHerO는 프롬프트 전체를 한 번에 복원하는 대신 미리 정의한 구조 템플릿에 따라 계층적으로 재구성한다. 이어 피드백과 템플릿 사이의 차이를 바탕으로 적대적 질의를 반복 수정해 서로 다른 출력을 관찰한다. 최적화 과정의 정보 이득도 추적한다. 새 정보가 충분히 늘지 않으면 공격을 조기에 끝내거나 과정을 초기화해 효과와 질의 비용 사이의 균형을 맞춘다.

평가 방식도 손봤다. 기존 충실도 지표는 텍스트가 비슷한지만 따져 프롬프트의 구조를 놓칠 수 있다는 게 연구진의 지적이다. 이에 전체 텍스트 유사도를 측정하되 구조를 나타내는 핵심어에 더 큰 비중을 뒀다. 추출한 프롬프트가 후속 공격에 얼마나 도움이 되는지 측정하는 시스템 수준 지표 ‘적대적 효용(adversarial utility)’도 도입했다.

실험에서 ExtraHerO는 기존 기법 대비 챗봇의 충실도를 평균 12.5%, 기능성을 2.3%, 적대적 효용을 6.0% 개선했다. 에이전트에서는 개선 폭이 각각 12.2%, 34.3%, 30.5%였다. 특히 에이전트의 기능성과 적대적 효용에서 차이가 컸다는 점은 문장 유사도만으로 추출 성공 여부를 판단하기 어렵다는 연구진의 주장과 맞물린다. 다만 이 결과는 2026년 11월 제출된 arXiv 초판 논문의 저자 보고이며, 자료에는 실험 대상 서비스와 질의 비용 등 세부 조건이 제시돼 있지 않다.

읽기 목록은 이 브라우저에 저장됩니다.