열화상 낙상 탐지, 프롬프트 따라 성능 변동
최근 30일 조회수 — 좋아요 —핵심 요약
멀티모달 LLM이 열화상 영상의 낙상을 최대 83% 탐지했지만 프롬프트와 해상도에 따라 성능이 크게 달라졌다.

저해상도 열화상 영상과 음성 트랙이 있는 경우 음성을 함께 입력받아 낙상 여부를 가리는 멀티모달 대규모언어모델(LLM) 실험 결과가 공개됐다. 연구진은 별도 학습 없이 판단하는 ‘제로샷’ 방식으로 Gemini 3.8 Flash를 시험했다. 실험실 데이터에서는 낙상을 최대 83%까지 찾아냈고 일상생활 영상에서는 오탐이 없었지만, 프롬프트 문장 하나와 영상 해상도에 따라 성능이 크게 흔들렸다.1
연구진은 공개된 32×24 픽셀 열화상 데이터에서 직접 찾은 낙상 438건과 비낙상 구간 563건을 사용했다. 실제 프로토타입처럼 짧은 영상마다 한 번씩 요청하고, 음성이 있으면 함께 입력했다. 배포용 프롬프트를 쓴 Gemini 3.8 Flash는 학습에 포함되지 않은 피험자의 낙상 중 69%를 잡았다. 전체 피험자 기준으로는 침대 낙상을 제외하고 67%였다. 반면 바닥에 누워 있거나 일어나는 장면을 포함한 비낙상 499건은 한 건도 낙상으로 판단하지 않았다.1
사람이 생활하는 방에서 76시간 동안 촬영한 160×120 영상에서도 일상생활 클립 395건 가운데 오탐은 없었다. 다만 카메라에 보인 연출 낙상 9건 중 탐지한 것은 4건뿐이었다. 표본을 바탕으로 계산한 오탐 상한은 하루 1.2건이었다.
| 조건 | Gemini 3.8 Flash | Gemini 3.7 Flash |
|---|---|---|
| 기존 프롬프트, 미학습 피험자 | 69% | 80% |
| 주의 문장 제거 | 83% | 92% |
| 가정 내 보이는 낙상 9건 | 4건→9건 | 제시되지 않음 |
성능을 가른 것은 “사람이 화면 밖으로 나가면 낙상이 아니다”라는 주의 문장이었다. 이를 빼자 Gemini 3.8 Flash의 민감도는 69%에서 83%로, 이전 모델인 Gemini 3.7 Flash는 80%에서 92%로 올랐다. 가정 실험에서도 보이는 낙상 9건을 모두 잡았고 일상생활 오탐은 없었다. 대신 일부러 눕는 행동까지 낙상으로 판정하는 대가가 따랐다.1
해상도를 8×6 픽셀로 낮추면 민감도는 34%로 급락했다. 같은 요청을 반복했을 때도 전체 구간의 4%에서 답이 달랐다. 낙상이라고 판정한 경우에는 설명이 주석으로 표시한 착지 시점과 1초 이내로 맞은 비율이 99%였다.
실험실 데이터로 학습한 기존 탐지기 두 종은 미학습 피험자의 낙상을 거의 모두 찾았지만, 가정 영상에서는 하루 14.2건과 23.9건의 오탐을 냈다. 멀티모달 LLM이 학습 환경 밖에서 오탐을 억제할 가능성을 보여주는 대목이다. 그러나 이번 결과는 아직 arXiv에 제출된 연구이며, 프롬프트 민감성과 저해상도 성능 저하를 고려하면 단독 안전장치로 쓸 수준인지는 별도 검증이 필요하다. 연구진은 공개 데이터의 프레임 단위 낙상 주석과 모델 응답 전체를 함께 공개했다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Asking a Multimodal LLM Whether Someone Fell: Zero-Shot Screening of Low-Resolution Thermal Video in a Laboratory and an Occupied Home — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.