사용자 선택으로 세션 중 LLM 개인화

2분 LLM개인화선호학습결투밴딧
최근 30일 조회수 — 좋아요 —

핵심 요약

이전 사용자들의 선택 패턴을 활용해 신규 사용자의 답변 취향에 실시간 적응하는 LLM 학습법이 공개됐다.

사용자 선택으로 세션 중 LLM 개인화 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모언어모델(LLM)이 사용자들의 선택 기록을 함께 학습하면서 새 사용자의 취향에 세션 도중 적응하는 개인화 학습법이 공개됐다. 10월 12일 아카이브(arXiv)에 올라온 논문은 정해진 페르소나 프롬프트 가운데 답변 방식을 실시간으로 고르는 문제를 다룬다. 사용자별 데이터를 충분히 모은 뒤 모델을 다시 학습하는 방식과 달리, 아무런 사전 선호 정보가 없는 사용자에게도 이전 사용자들에게서 얻은 패턴을 활용하는 접근이다.1

연구진이 상정한 환경에서 사용자는 순서대로 접속해 짧은 질문을 여러 개 던진다. 시스템은 질문마다 서로 다른 답변 두 개를 보여주고, 사용자가 어느 쪽을 골랐는지 한 번 관찰한다. 각 답변은 여섯 가지 교수 스타일 중 하나를 나타내는 프롬프트로 생성된다. 학습기는 이 선택을 토대로 같은 세션 안에서 취향을 좁혀 가는 동시에, 종료된 다른 사용자 세션에서 공통 패턴을 배운다.

연구진은 이를 문맥적 결투 밴딧(contextual dueling bandit)의 변형으로 정의했다. 평가지표는 누적 강한 후회(cumulative strong regret)다. 화면에 제시한 두 답변 각각이 해당 사용자에게 가능한 최선의 답변보다 얼마나 효용이 낮은지를 합산한다. 따라서 둘 중 하나만 만족스러운 답변을 고르는 것으로는 충분하지 않고, 비교 대상으로 내놓는 두 답변을 모두 개선해야 점수가 좋아진다.

실험을 위해 연구진은 교육 질문과 여섯 교수 스타일의 LLM 답변, 숨겨진 선호 프로필을 지닌 LLM 모의 학생들의 쌍대 비교 판단으로 구성한 재현 가능한 벤치마크를 만들었다. 판단 데이터에는 브래들리-테리(Bradley-Terry) 모형을 맞춰 후회 계산에 쓸 기준 효용을 구했다. 제안한 기준선은 완료된 세션에서 사용자 유형의 혼합 사전분포를 학습한 뒤, 새 사용자의 선택이 들어올 때마다 이를 조정한다.

개발에 쓰지 않은 학생과 주제로 평가했을 때 이 방법은 무작위 답변 쌍이 만든 초과 후회의 44~48%를 줄였다. 사후에 사용자별 데이터를 모두 보고 맞춘 선형 오라클과 비교해서도 절반이 넘는 성능을 냈다. 다만 결과는 고정된 프롬프트 집합과 튜터링 사례, LLM이 모사한 학생에 한정된다. 실제 사용자 취향이 같은 방식으로 묶이고 세션 안에서 안정적으로 드러나는지는 이번 자료만으로 확인할 수 없다. 연구진은 코드와 프롬프트, 데이터셋을 함께 공개했다.1

Footnotes

  1. arXiv, Online LLM Personalization from Pairwise Preferences Across Users ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Online LLM Personalization from Pairwise Preferences Across Users — arXiv (stat.ML)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.