명확한 시스템 프롬프트, 안전 식별력 개선 못해

ai.euno.news 자동 뉴스 요약

시스템 프롬프트를 더 명확하게 쓴다고 해서 대규모 언어 모델(LLM)이 안전한 요청과 위험한 요청을 더 잘 가려내는 것은 아니라는 연구가 공개됐다. 11월 8일 arXiv에 제출된 논문은 시스템 프롬프트가 모델의 안전 판단 식별력보다 ‘얼마나 쉽게 거부할지’를 정하는 응답 편향에 더 큰 영향을 미친다고 보고했다.¹

연구진은 기존 안전성 평가가 주로 위험한 요청은 거부하고 안전한 요청은 받아들이는지를 측정해 왔다고 지적한다. 그러나 같은 요청도 시스템 프롬프트에 따라 답변 방식이 달라질 수 있어, 거부율만으로는 모델의 판단 능력을 평가하기 어렵다는 설명이다. 거부가 늘었다고 해서 위험을 더 정확히 알아본 것은 아닐 수 있기 때문이다.

이를 확인하려고 연구진은 안전 작업을 지시하는 시스템 프롬프트를 8개 유형으로 나누고, 각 유형에 3단계의 명확성을 적용했다. 요청 항목은 그대로 유지한 채 HarmBench, XSTest, IHEval 벤치마크에서 13개 모델을 평가했다. 이어 신호탐지이론을 이용해 안전·위험 요청을 구별하는 능력인 ‘식별력’과, 요청을 거부하는 쪽으로 기우는 정도인 ‘응답 기준’을 분리해 분석했다.

결과를 보면 식별력은 모델마다 상당한 차이가 났지만, 시스템 프롬프트가 일으킨 변화는 주로 응답 기준에 집중됐다. 프롬프트를 명확하게 만들수록 모델은 요청을 더 자주 거부했으나, 안전한 요청과 위험한 요청을 구별하는 능력이 안정적으로 좋아지지는 않았다. 식별력 변화는 상대적으로 작았고 모델이나 조건에 따라 일관되지 않았다.

영향은 수락과 거부의 양자택일에만 머물지 않았다. 프롬프트 유형에 따라 모델의 답변은 추가 설명 요청, 안전한 범위의 도움 등 여섯 가지 행동 정책 사이에서 달라졌다. 이는 시스템 프롬프트가 모델 내부의 안전 판단을 일관되게 개선한다기보다, 판단 이후 어떤 방식으로 반응할지를 조정하는 수단에 가깝다는 뜻이다.

다만 이 결과는 세 벤치마크와 통제된 프롬프트 조건에서 13개 모델을 비교한 arXiv 사전 공개 논문의 결론이다. 따라서 “명확한 안전 지침”의 효과를 평가할 때도 전체 거부율만 볼 것이 아니라, 안전한 요청을 잘못 거부했는지와 위험한 요청을 놓쳤는지를 함께 분리해 측정해야 한다.¹

읽기 목록은 이 브라우저에 저장됩니다.