암 진료 전 과정 평가 LLM 벤치마크 제안

ai.euno.news 자동 뉴스 요약

암 치료의 한 시점이 아니라 진단부터 치료 후 추적 관찰까지 이어지는 전 과정을 환자별 기준으로 평가하는 대규모언어모델(LLM) 벤치마크가 제안됐다. 10월 26일 아카이브(arXiv)에 공개된 ‘NPC-RubricBench’는 비인두암을 대상으로 진료 단계마다 달라지는 임상적 책임과 추론 능력을 측정한다. 연구진이 30개 범용·의료 LLM을 시험한 결과, 진단을 잘하는 모델도 이후 치료 과정에서는 일관된 성능을 내지 못했다.¹

NPC-RubricBench는 두 암센터 환자 405명의 장기 진료 기록을 바탕으로 만들었다. 연구진은 암 진료 과정을 연속된 6단계로 나누고, 환자와 진료 단계를 묶은 941개 평가 단위를 구성했다. 평가 기준은 환자별로 세분화한 1만7,688개 원자적 항목이며, 다섯 가지 평가 차원을 포괄한다. 특히 각 판단에는 당시 의료진이 실제로 확인할 수 있었던 임상 근거만 쓰도록 제한했다. 나중에 드러난 정보를 앞선 의사결정 평가에 끌어오는 일을 막기 위한 설계다.¹

결과는 단계에 따라 오류 양상까지 뒤집힌다는 점을 보여준다. 해부학적 병기 판정에서는 잘못된 결정을 명시적으로 내린 사례가 전체 실패 유형의 48.2%로 가장 두드러졌다. 반면 최초 정밀검사와 치료 후 추적 관찰에서는 필요한 결정을 빠뜨리는 오류가 각각 33.4%, 30.4%를 차지했다. 평가 대상 안에서는 의료 분야에 맞춰 조정한 모델이 범용 모델보다 오히려 누락률이 높았다.¹

질문의 구체성도 성능을 한 방향으로만 높이지 않았다. 포괄적인 개방형 요청은 30개 모델 모두에서 의사결정 품질을 떨어뜨렸다. 상세한 체크리스트형 지시는 의사결정 품질을 높였지만, 주어진 근거를 충실히 따르는 정도와 안전 지침 준수는 낮췄다. 결국 정적 진단 시험의 높은 점수만으로 장기 암 진료의 신뢰성을 보장하기 어렵고, 진료 단계별 실패 유형에 맞춘 안전장치가 필요하다는 것이 연구진의 결론이다. 다만 이번 결과는 비인두암이라는 한정된 질환 맥락과 논문에서 평가한 모델 집합을 기준으로 해석해야 한다.¹

읽기 목록은 이 브라우저에 저장됩니다.