문체 아닌 AI 발상 추적하는 아이디어렌즈

ai.euno.news 자동 뉴스 요약

문장을 사람이 직접 썼더라도 글의 발상이나 구성안이 인공지능(AI)에서 나왔는지를 가려내려는 탐지기 ‘아이디어렌즈(IdeaLens)’가 공개됐다. 10월 5일 아카이브(arXiv)에 제출된 논문에서 연구진은 기존 AI 탐지기가 단어를 누가 작성했는지 판별하는 데 초점을 맞췄다면, 아이디어렌즈는 글의 ‘아이디어 출처’를 추적한다고 설명했다.¹

아이디어렌즈는 원문을 그대로 분석하지 않고 글을 개요로 바꾼다. 각 항목에는 글에서 맡는 담화상의 역할과 내용을 짧게 바꿔 쓴 설명이 담긴다. 원문과 겹치는 단어나 표현을 최소화해 문체보다 발상과 전개 방식에 집중하려는 설계다. 학습에는 웹 문서 모음인 파인웹(FineWeb) 문서 100만 건이 쓰였다. 정답 표지는 산문 출처 탐지기 팽그램(Pangram)이 붙인 ‘실버 레이블’, 즉 사람이 직접 확정한 정답이 아니라 다른 모델이 생성한 추정값이다.

통제 실험에서는 사람이 만든 계획이 구체적일수록 두 탐지기의 판단이 크게 갈렸다. AI가 글을 쓰되 사람의 계획을 점점 상세하게 제공하자 아이디어렌즈의 AI 판정률은 95%에서 7%로 떨어졌다. 반면 문장 작성자를 겨냥한 팽그램 4(Pangram 4)는 여전히 92%를 AI 글로 판정했다. 계획부터 AI가 만들었을 때 아이디어렌즈의 판정률은 96% 이상을 유지했다. 이 결과는 아이디어렌즈가 최종 문장의 작성 주체보다 글의 기획 단계에 더 민감하다는 연구진의 설명을 뒷받침한다.

반대 조건에서도 차이가 나타났다. AI가 만든 계획을 바탕으로 인간 작가가 직접 쓴 이야기 50편 가운데 아이디어렌즈는 68%를 AI에서 유래한 것으로 판정했지만, 팽그램 4의 AI 판정률은 8%였다. 연구진은 기존 탐지 벤치마크 19개에서도 낮은 오탐률을 유지하면서 분야·형식·언어를 아울러 강한 탐지 성능을 보였다고 밝혔다. 또 예측 결과 9만 건을 분석해 인간과 AI의 발상에서 반복적으로 나타나는 차이를 살폈으며, 모델과 표지 데이터셋도 공개했다.

다만 이 논문은 아직 아카이브에 올라온 초고이고, 학습 정답도 팽그램의 추정에 기대고 있다. 따라서 아이디어렌즈가 포착한 신호를 곧바로 아이디어의 실제 창작자와 동일시하기는 어렵다. 특히 인간과 AI가 계획을 함께 다듬은 글처럼 출처가 섞인 사례를 어디까지 구분할 수 있는지는 제시된 초록만으로 확인되지 않는다.

읽기 목록은 이 브라우저에 저장됩니다.