로컬 임상 비식별화 도구 DeidSharp 공개
최근 30일 조회수 — 좋아요 —핵심 요약
규칙·NER·로컬 LLM을 결합해 의료정보 유출 없이 PHI 탐지율과 정밀도를 조절하는 도구가 공개됐다.
로컬 대규모 언어 모델(LLM)에 규칙 기반 탐지기와 임상 개체명 인식(NER) 모델을 겹쳐 쓰는 임상 문서 비식별화 도구 ‘DeidSharp’가 오픈소스로 공개됐다. 11월 9일 arXiv에 제출된 논문에 따르면, DeidSharp는 환자 정보가 외부 서버로 나가지 않도록 로컬에서 작동하면서 재현율 우선 설정과 정밀도 우선 설정을 각각 제공한다.1
.NET 기반인 DeidSharp는 패턴 탐지기, 임상 NER 모델, 260억 매개변수 규모의 전문가 혼합(MoE) LLM이 찾은 결과를 합친다. 탐지기 하나라도 오류를 내면 문서를 그대로 통과시키지 않는 ‘실패 시 차단(fail closed)’ 방식도 채택했다. 연구진은 설정 조정에 쓴 데이터와 평가 데이터를 절반씩 나눈 뒤, deid·Philter·Stanford/Penn 비식별화 도구·OpenAI Privacy Filter·GLiNER와 비교했다. 평가 자료는 PHI 889개가 포함된 PhysioNet 간호 기록, PHI 2만9023개를 넣은 반합성 MIMIC-IV-Note 퇴원요약, 합성 ASQ-PHI 질의였다.1
간호 기록에서 재현율 우선 설정은 PHI의 98.9%를 찾아 Stanford/Penn보다 2.8%포인트 높았다. 다만 정밀도는 9.3%포인트 낮았다. NER을 뺀 정밀도 우선 설정은 재현율 96.5%로 Stanford/Penn과 같았고, 정밀도는 83.2%로 19.6%포인트 높았다. 퇴원요약에서는 재현율 우선 설정이 95.3%를 기록해 Stanford/Penn보다 21.5%포인트 앞섰다. 두 설정 모두 20%포인트 넘게 앞선 차이는 대부분 자동 생성된 비정형 이름에서 나왔으며, 유형이 표시된 PHI만 보면 세 설정 모두 재현율이 99%를 넘었다.1
결과가 모든 기존 도구보다 우수한 것은 아니다. deid가 개발된 원래 말뭉치에서는 DeidSharp의 어떤 설정도 deid를 통계적으로 유의하게 앞서지 못했다. Philter는 퇴원요약에서 재현율 우선 설정보다 더 많은 PHI를 찾았지만 정밀도가 23%포인트 낮았다. 또 LLM이 핵심 탐지기 역할을 했고 NER은 주로 장소명을 보완했지만, LLM에 스스로 찾은 결과를 재검증하게 하자 실제 PHI의 4분의 1을 버렸다. 재검증을 덧붙인다고 항상 안전성이 높아지는 것은 아니라는 대목이다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- A local language model layered with rule-based and neural detectors for clinical text de-identification: an open-source toolkit and evaluation — arXiv (cs.SE)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.