AWS, LLM 기반 모델-비종속 PII 탐지기 공개

ai.euno.news 자동 뉴스 요약

AWS가 대규모 언어모델(LLM)로 개인식별정보(PII)를 탐지하는 모델-비종속(model-agnostic) 탐지기를 공개하고, 공개 PII 코퍼스 5종을 대상으로 9종의 LLM 기반 탐지기를 비교한 벤치마크 결과를 블로그를 통해 발표했다. AWS 머신러닝 블로그가 2026년 9월 10일 게재한 글에 따르면, 이번 벤치마크에는 오픈AI의 PrivacyFilter도 비교 대상으로 포함됐다.

AWS는 이 문제의 출발점을 모델 파인튜닝용 학습 데이터에서 찾는다. 실제 텍스트로 구성한 학습 코퍼스에는 이름, 주소, 이메일과 전화번호, 주민등록번호 성격의 국가식별번호, 은행 계좌, 생년월일 같은 PII가 섞여 들어가기 마련이다. 정제되지 않은 텍스트로 학습한 모델은 이 정보를 그대로 기억했다가, 해당 정보를 노출할 의도가 전혀 없던 프롬프트에 응답하면서 실존 인물의 개인정보를 유출할 수 있다는 것이다.

기존에 이 문제를 다루던 방식은 양방향 토큰 분류(token-classification) 모델, 즉 각 토큰에 학습 시점에 고정된 PII 유형 라벨을 붙이는 트랜스포머 태거였다. 하지만 AWS는 이 방식의 한계를 지적한다. 사번이나 암호화폐 지갑 주소처럼 특정 도메인에서만 쓰이는 식별자는 파인튜닝용 커스텀 데이터셋에 흔히 등장하는데, 고정된 스키마 밖에 있는 이런 항목을 추가하려면 재라벨링과 재학습이 필요하다. 게다가 이런 태거는 특정 모델과 특정 배포 환경에 묶여 있다는 것이 AWS의 설명이다.

AWS가 제시하는 대안은 LLM이 추론 시점에 지시문(instruction)을 읽는다는 특성을 활용하는 것이다. 탐지할 엔티티 종류, 출력 형식, 배포 백엔드를 모두 코드가 아닌 설정값으로 다룰 수 있다는 논리다. 새로운 엔티티 유형을 탐지 대상에 추가하려면 재학습 대신 프롬프트만 수정하면 되고, 관리형 API나 자체 VPC(Virtual Private Cloud) 안에서도 구동할 수 있으며, 번역 단계 없이 8개 언어에 걸쳐 맥락을 추론할 수 있다고 밝혔다.

탐지기 구조는 두 가지 설계 선택에 기반한다. 첫째는 지시문 기반 탐지(instruction-driven detection)로, 탐지 로직 전체를 지시문과 얇은 파싱 계층에만 담아 특정 모델의 특이한 동작 방식에 좌우되지 않도록 했다. 둘째는 구성 가능한 백엔드(configurable backend)로, Inferencer라는 균일한 추론 인터페이스를 통해 모델에 접근한다. 패키지에는 Amazon Bedrock용 어댑터가 기본 포함돼 Mistral이나 OSS-GPT 같은 관리형 모델을 쓸 수 있고, 동일한 인터페이스로 자체 GPU 인프라에서 서빙하는 OSS-GPT 20B 같은 오픈 모델용 커스텀 어댑터도 붙일 수 있다. AWS는 이 방식이 Bedrock에 접근할 수 없는 보안 환경이나 에어갭(air-gapped) 환경까지 포괄한다고 설명했다.

사용자가 조정할 수 있는 요소는 두 가지로 나뉜다. 정확도·지연시간·비용을 좌우하는 모델 선택(프런티어급 Bedrock 모델 또는 단일 GPU에서 돌아가는 소형 오픈 모델)과, 무엇을 PII로 볼지 정의하는 엔티티 집합이다. 엔티티 집합은 지시문 한 줄만 고치면 도메인 특화 식별자를 추가하거나 제거할 수 있어, 재학습과 재배포 없이 확장이 가능하다는 것이 AWS의 설명이다.

탐지기 코드는 pii-detector 패키지로 sample-llm-pii-detection 저장소에 공개돼 있다. 다만 이번에 제공된 자료에는 9종 탐지기 각각의 정확도·재현율 등 구체적인 벤치마크 수치는 담겨 있지 않아, 어떤 모델이 얼마나 앞섰는지는 확인되지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.