CTI 개체 추출, 환각보다 배경 오인이 문제
최근 30일 조회수 — 좋아요 —핵심 요약
LLM은 CTI 문서의 무관한 배경 정보를 주로 오인하며, 신뢰도는 검토 순서 결정에만 유효했다.

사이버 위협 정보(CTI) 문서에서 대규모 언어 모델(LLM)이 개체를 추출할 때, 가장 큰 문제는 없는 정보를 지어내는 환각보다 사건과 무관한 배경 정보를 끌어오는 데 있다는 감사 연구가 공개됐다. 연구진은 신뢰도 점수로 결과의 검토 순서를 정할 수는 있지만, 사실 여부를 판정해서는 안 된다고 결론 내렸다.1
10월 14일 arXiv에 공개된 이 사전 논문은 공개 말뭉치에 담긴 354개 침해 캠페인과 고유 보고서 315건을 분석했다. 저비용 신세대 모델인 DeepSeek-V4-Flash와 GLM-5.3-Flash를 GPT-6.1-Sol과 비교했으며, 모두 630개의 모델·보고서 조합을 평가했다. 평가 방식은 사전 등록한 뒤 고정했고, 정답 데이터와 비교한 추출 품질뿐 아니라 신뢰도 보정과 문장 하나를 바꿨을 때의 견고성까지 측정했다.
결과는 모델 등급을 높여도 불안정성이 사라지지 않았음을 보여준다. 두 데이터 분할에서 마이크로 정밀도는 0.030.34에 그쳤고, 모델이 말로 표현한 신뢰도의 기대 보정 오차(ECE)는 0.530.94였다. 플래그십 모델도 이 격차를 좁히지 못했다.
오류의 구성은 흔히 떠올리는 환각과 달랐다. 연구진이 전체 언급을 조사하고 후보 360개를 3단계로 분류한 결과를 전체에 역산하자, 65.6%는 보고서에 실제로 등장하지만 해당 사건과 무관한 배경 언급이었다. 정답 데이터의 범위가 실제 언급을 놓친 경우도 19.9%였다. 문서에서 근거를 찾을 수 없는 후보는 1.2%에 불과했다. 평가 대상과 다른 업체의 LLM 두 개가 독립적으로 주석을 달았고, 사전 등록한 수용 기준에서 코언의 카파는 0.79였다.
신뢰도 신호는 유용성과 위험을 함께 드러냈다. 추가 비용 없이 여러 출력의 일치 빈도를 쓰는 자기일관성 방식은 테스트 분할의 6개 모델·개체 유형 조합 모두에서 상위 30%의 정밀도 향상 기준을 통과했다. 본문 출현 빈도와 자기일관성 빈도를 결합한 방식도 조합별로 3승 2무 1패를 기록했다.
그러나 높은 신뢰도가 사실을 보증하지는 않았다. 표적 45개를 대상으로 한 관계 수준의 반사실 실험에서 잘못 귀속한 문장 하나만 넣어도 고신뢰 판단이 95.6~100% 뒤집혔다. 무관하다고 명시한 배경 문장조차 가짜 취약점과 연결된 비율이 최대 26.7%였다. 이 연구가 제시하는 운영 경계는 분명하다. 신뢰도 등급은 사람이 먼저 살펴볼 항목을 정하는 데는 쓸 수 있지만, 진위를 대신 판정하는 장치로 쓰기에는 취약하다.
Footnotes
-
arXiv, 「From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.