LLM 임상 2차 소견 벤치마크 공개

ai.euno.news 자동 뉴스 요약

복잡한 임상 사례에서 거대언어모델(LLM)의 ‘다학제 2차 소견’ 능력을 평가하는 벤치마크 AI Consilium이 공개됐다. 10월 15일 arXiv에 제출된 논문에 따르면, 연구진은 단순히 감별진단을 맞히는지를 넘어 답변이 사실에 근거하는지, 임상적으로 일관되는지, 실제 조치로 이어질 수 있는지, 안전한지를 함께 평가했다.¹

AI Consilium은 진단이 확정된 NEJM–MedQA 사례 300건으로 구성됐다. 이 가운데 110건은 의사의 참조 평가와 채점 모델 보정에, 나머지 190건은 보정 과정과 분리한 평가에 사용했다. 연구진은 8개 단일 모델 파이프라인에 서로 다른 임상 역할을 맡겨 독립 의견을 만들게 한 뒤, 역할 간 상호 검토를 거쳐 하나의 협진 보고서를 작성하도록 했다. 자유 서술 조건과 구조화된 임상 추론 조건을 모두 적용했으며, 의사 평가에 맞춰 보정한 LLM 심판이 최종 보고서 3,040건과 구조화된 주 역할 답변을 채점했다.

결과에서는 답변 형식보다 어떤 모델을 썼는지가 보고서 품질을 더 뚜렷하게 갈랐다. 다만 구조화된 최종 보고서는 8개 파이프라인 중 7개에서 전체 평균 점수가 더 높았다. 효과가 가장 컸던 항목은 환자 관리로, 구조화 형식이 2.740점, 자유 서술 형식이 2.436점이었다.

협진 과정 자체의 효과도 나타났다. 구조화된 최초 주 역할 의견과 완성된 종합 보고서를 비교하자, 종합 보고서가 공통 평가 기준 5개 모두에서 더 높은 통합 점수를 받았다. 특히 문제의 우선순위 설정, 사실적 근거, 추론의 일관성에서 상승 폭이 컸다. 평가 대상 가운데 GPT-5.6-Sol은 모든 구성 요소에서 가장 높은 성적을 냈고, 가장 적은 검토 회수로 합의에 도달했다.

다만 이 결과는 AI가 실제 진료에서 안전한 2차 소견을 제공한다는 임상 검증과는 다르다. 평가 사례는 NEJM–MedQA 300건으로 한정됐고, 최종 채점도 의사 평가로 보정한 LLM이 맡았다. 또한 현재 공개본은 arXiv에 v1으로 제출된 논문이다. AI Consilium의 의미는 임상 배치를 입증했다기보다, 모델 역량과 보고서 구조, 다학제 종합 과정이 각각 결과에 어떤 차이를 만드는지 같은 사례 집합에서 분리해 측정할 틀을 제시했다는 데 있다.

읽기 목록은 이 브라우저에 저장됩니다.