Elastic, 지식베이스 병합에 원자적 주장 검증 도입

ai.euno.news 자동 뉴스 요약

Elastic가 지원 지식베이스 문서를 병합하는 과정에서 LLM(거대언어모델)이 만들어내는 환각을 억제하기 위해 ‘원자적 주장 검증(atomic claim verification)’ 방식을 도입한 사례를 24일 자사 블로그를 통해 공개했다.

Elastic 지원팀은 4년 넘게 중복된 지식베이스 문서를 통합하는 작업을 미뤄왔다고 밝혔다. 같은 문제를 다룬 문서가 18개월 간격으로 각기 다른 엔지니어에 의해 작성되면서, 한쪽은 근본 원인 설명이 낫고 다른 쪽은 실제로 문제를 해결하는 명령어를 담고 있는 식의 중복이 쌓였다. 고객은 검색 순위가 높은 문서를 찾지만 절반짜리 답만 얻는 경우가 많았다. 두 문서를 항목별로 대조해 기술적 세부사항을 보존하면서 하나로 재작성하는 작업은 목록까지 만들어 놓고도 실행되지 못했는데, 규모 있게 처리하기에는 문서 하나당 최소 한 시간의 지루한 작업이 필요했기 때문이다.

Elastic은 텍스트 통합이야말로 LLM이 적합한 작업이라 보고 시도했지만, 단순한 접근은 실패로 드러났다. 두 문서를 모델에 붙여넣고 병합을 요청하면 문체가 일관되고 중복 없는 결과물이 나오지만, 원문과 대조하면 사전 조건 단계가 누락되거나 버전 조건이 “8.12+“에서 “8.x”로 흐려지고, 특정 설정에 대한 주의사항이 사라지는 경우가 발견됐다. 심지어 실제 존재한 적 없는 매개변수가 명령어에 등장한 사례도 있었다.

Elastic은 이 문제를 일반적인 챗봇 환각과 다른 성격으로 짚었다. 대화형 인터페이스에서 환각은 사용자가 바로 반박할 수 있는 오답이지만, 문서 병합 워크플로에서는 환각이나 조용한 누락이 지식베이스에 정본으로 기록되고 원본 문서는 폐기된다. 오류를 비교할 대상 자체가 사라지는 셈이다. 더 큰 문제는 90% 충실한 병합 결과와 100% 충실한 결과가 표면적으로 똑같이 매끄럽게 읽힌다는 점이다. 이 때문에 사람이 검토할 때도 훑어보는 방식으로는 오류를 잡아낼 수 없었다고 한다.

Elastic이 내린 핵심 설계 결정은 “생성과 검증은 서로 다른 작업이므로 같은 패스가 수행해서는 안 된다”는 것이다. 두 문서를 병합하도록 요청받은 모델은 좋은 문서를 만드는 데 최적화되어 있어서, 정확성과 완전성은 부차적 목표에 그치고 오히려 매끄러운 문장을 위해 불편한 예외 사항을 누락시키는 방향과 경쟁 관계에 놓인다는 설명이다.

이에 따라 도구는 두 단계 패스로 작동한다. 1단계는 병합으로, 코드 블록·명령어·설정 스니펫·URL·버전 번호는 그대로(verbatim) 옮기고 절대 의역하지 않도록 하드 제약을 걸어 통합 문서를 생성한다. 산문은 다시 쓸 수 있지만 기술적 내용(technical payload)은 손댈 수 없다. 2단계는 검증으로, 이 단계는 병합 결과를 신뢰할 수 있는 것으로 전제하지 않는다. 대신 각 원본 문서를 원자적 주장(atomic claim), 즉 독립적으로 검증 가능한 최소 단위의 진술로 분해한다. 예컨대 “이 문서는 샤드 할당 실패를 다루는 방법을 설명한다”처럼 문서 전체를 하나의 주장으로 묶지 않고, “이 증상은 이 원인을 가리킨다”, “이 설정은 재시작 전에 적용해야 한다”처럼 개별 단위로 쪼갠다는 것이다.

제공된 자료는 여기서 끊겨 있어, 이렇게 분해된 원자적 주장을 병합 결과와 실제로 어떻게 대조·검증하는지, 그 정확도나 도입 효과를 수치로 확인하는지는 원문에서 확인되지 않는다.

읽기 목록은 이 브라우저에 저장됩니다.