LLM 시민 제안, 담당자 배정 불안정

ai.euno.news 자동 뉴스 요약

대규모 언어 모델(LLM)이 시민 의견을 집단 제안으로 정리할 때, 같은 의견을 다시 입력해도 ‘누가 무엇을 언제까지 해야 하는지’ 같은 담당자 배정이 달라질 수 있다는 연구가 나왔다. 하나의 결과만 공개하면 참여자들은 다른 배정안이 존재했다는 사실조차 알기 어렵다. 연구진은 대체 가능한 배정안을 드러내고 각 제안의 목표를 공개해야 한다고 지적했다.¹

연구진은 시민 숙의 자료인 델리버레이션뱅크(DeliberationBank)와 폴리스(Polis)의 의견을 이용해 오픈웨이트 모델 3개와 상용 모델 1개를 중재자로 시험했다. 각 작업에서 시민 의견 30개를 토대로 제안을 다섯 번 작성하게 하고, 무작위 시드나 의견 제시 순서를 바꿨다. 그 결과 오픈웨이트 모델의 5회 실행 묶음 가운데 17%에서는 어떤 실행에 배정이 포함된 반면 다른 실행에는 없었다. 상용 모델에서는 이 비율이 20%였다.

의견 순서만 바꿔도 배정은 자주 흔들렸다. 순서 변경이 배정에 미친 영향은 아예 다른 시민들의 의견으로 교체했을 때와 거의 비슷했다. 세 명의 인간 평가자는 실행 사이에서 검출된 차이가 실제로 존재한다고 확인했다. 다만 차이의 발생 빈도를 판정한 LLM 심사자는 그 빈도를 실제보다 높게 평가했다.

일반적으로 안정성을 높일 것으로 기대되는 장치도 문제를 없애지는 못했다. 생성의 무작위성을 줄이는 온도 0 설정, 상용 모델 사용, 여러 초안 중 하나를 고르는 방식, 초안을 병합하는 방식까지 네 가지 안전장치를 적용했지만 상당한 변동이 남았다. 이는 공개된 최종안이 입력 의견에서 곧바로 도출된 유일한 결론이 아니라, 생성 과정에서 선택된 여러 가능성 중 하나일 수 있음을 뜻한다.

프롬프트에 담긴 목표도 누구의 의견이 반영되는지를 바꿨다. 합의를 찾도록 지시한 프롬프트는 의견 차이를 기술하도록 한 프롬프트보다 소수 의견을 훨씬 적게 포함했다. 연구진은 대체 가능한 배정안을 드러내는 감사 절차를 마련하고, 각 제안이 합의 도출과 차이 기술 중 어떤 목표로 작성됐는지 공개하자고 제안했다.

다만 이 결과는 2026년 11월 3일 제출된 arXiv 사전논문에 보고된 것으로, 초록에 동료평가 여부나 모델별 세부 성능은 제시되지 않았다. 따라서 수치의 일반화 범위는 논문이 다룬 네 모델과 두 의견 자료, 해당 실험 조건 안에서 해석해야 한다.¹

읽기 목록은 이 브라우저에 저장됩니다.