실제 기상경보 없으면 LLM 38% 오판

ai.euno.news 자동 뉴스 요약

대규모언어모델(LLM)이 미국 기상청(NWS)의 실제 경보를 확인하지 못한 채 악천후 안내를 만들면, 경보가 발령 중인데도 상황이 평온한 듯한 인상을 줄 수 있다는 평가 결과가 나왔다. 연구진은 이를 ‘잘못된 안도감(false reassurance)’으로 정의했다. 실제 NWS 경보를 모델에 제공하자 이런 응답은 사라졌지만, 모델이 경보를 볼 수 없다는 사실을 스스로 밝히게 하는 지시만으로는 문제가 해결되지 않았다.¹

연구진은 실제 NWS 경보를 바탕으로 고정한 117개 사례를 재생해 클로드(Claude) 기반 재난 대비 파이프라인을 시험했다. 경보 사례 69개, 경보가 없는 대조군 32개, 미국 밖 지역 16개로 구성했으며, 경보 접근 여부와 프롬프트 설계가 다른 다섯 조건을 비교했다.

잘못된 안도감으로 분류된 57건은 모두 암묵적이었다. 모델이 “경보가 없다”고 명시적으로 부정한 사례는 없었다. 이 때문에 단순 문구를 찾는 정규표현식 기반 자동 측정은 실제 사례 57건 가운데 53건을 놓쳤고, 연구진은 해당 지표를 결과 분석에서 제외했다. 실제 경보 제공의 개선 효과는 통계적으로 유의했지만(p < 0.0001), 한계 고지 지시는 효과가 없었다(p = 0.40).

다만 경보 데이터만 연결한다고 안전한 안내가 완성되는 것도 아니었다. 중립 프롬프트는 경보가 없는 대조군의 87.5%에서 어느 정도 위험을 제기한 반면, 운영용 프롬프트에서는 그 비율이 0%였다. 경보를 빠뜨리는 문제와 불필요한 불안을 일으키는 문제를 함께 다뤄야 한다는 뜻이다. 연구진은 운영용 지침의 문장 하나가 이 차이의 일부를 설명한다고 보고했다.

평가에는 한계가 있다. 경보 사례 응답 342개를 한 명의 평가자가 직접 분류했고, 최초 이진 판정 뒤에 만든 7개 범주 체계를 사용했다. 연구진은 이 체계와 데이터·레이블·코드를 공개해 재검증이 가능하도록 했다. 아울러 NWS 시험용 경보를 실제 경보로 받아들이는 오류와 복잡한 사례에서 토큰 예산이 부족해지는 문제도 확인했다.¹

읽기 목록은 이 브라우저에 저장됩니다.