연속 확산 언어 모델용 트랜스포머 공개

ai.euno.news 자동 뉴스 요약

연속 확산 언어 모델(Continuous Diffusion Language Model·CDLM)에 맞춘 트랜스포머 설계 원칙을 체계적으로 비교한 연구가 공개됐다. 연구진이 제안한 언어 확산 트랜스포머(Language Diffusion Transformer·LangDiT)는 기존 모델의 표현 방식과 학습 목표, 추론 샘플러를 그대로 둔 채 백본만 교체해 생성 퍼플렉서티(GenPPL)를 낮췄다. 이는 CDLM의 성능 차이가 확산 방식뿐 아니라 트랜스포머 구조에서도 비롯된다는 결과다.¹

CDLM은 문장을 순차 생성하는 인과적 대규모 언어 모델과 달리 병렬 생성을 지향한다. 하지만 기존 연구는 인과적 언어 모델이나 이미지 생성용 확산 트랜스포머(Diffusion Transformer·DiT)의 구조를 주로 가져다 썼다. 논문은 이런 구조가 CDLM에 최적화되지 않았다고 지적하고, LangDiT에 특징값과 쿼리·키 정규화, 더 넓은 잡음 조건화, 우도 지름길(likelihood shortcut)의 그래디언트 경로 조정과 보정, 신뢰도 게이트를 적용한 학습 단계 자기 조건화를 결합했다.¹

연구진은 대표적인 CDLM인 LangFlow에 LangDiT를 플러그인 방식으로 적용해 OpenWebText의 1,024토큰 무조건 생성 과제를 평가했다. NFE는 생성 과정에서 모델을 평가하는 횟수로, 여기서는 계산량과 품질의 절충을 보여주는 기준이다.

퍼플렉서티는 낮을수록 생성된 문장에 더 높은 확률을 부여했다는 뜻이다. 논문은 두 설정 모두 연속 언어 생성에서 당시 최고 성능이라고 보고했다. 특히 Plaid 방식에 맞춰 LangDiT를 변형했을 때 1,024 NFE에서 11.33, 128 NFE에서 27.51을 기록해, 특정 CDLM 공식화에만 묶이지 않는다는 점을 보였다.¹

다만 공개된 자료에는 기존 백본의 구체적인 비교 수치나 학습 비용, 실제 생성 속도가 제시되지 않았다. 또한 이 논문은 2026년 10월 15일 arXiv에 v1으로 제출됐다. 현재 확인되는 결론은 동일한 표현·목표·샘플러 조건에서 LangDiT가 GenPPL을 개선했다는 범위까지다.

읽기 목록은 이 브라우저에 저장됩니다.