메타모델 제약 반영한 DSL 생성 프레임워크

ai.euno.news 자동 뉴스 요약

대규모 언어 모델(LLM)이 도메인 특화 언어(DSL) 코드를 만들 때 문법뿐 아니라 메타모델의 구조와 의미 제약까지 지키도록 유도하는 디코딩 프레임워크 ‘MeMoDecode’가 제안됐다. 10월 21일 arXiv에 공개된 논문에 따르면 MeMoDecode는 네 가지 DSL과 매개변수 6억~700억 개 규모의 공개 가중치 모델 6종을 대상으로 한 실험에서 비제약 디코딩보다 일관성을 평균 23%, 문법 제약 디코딩보다 평균 8% 높였다.¹

DSL로 작성한 결과물이 올바르려면 문자열 차원의 구체 구문만 맞아서는 부족하다. 메타모델이 정의하는 추상 구문, 즉 어떤 개념이 어떤 요소와 연결될 수 있는지 같은 구조를 따라야 하며 의미론적 정합성 조건도 충족해야 한다. 기존 제약 디코딩은 대체로 문법을 보장하거나 생성된 텍스트에 표현할 수 있는 일부 의미 제약만 검사해, 생성 도중 메타모델 수준의 모순을 막기 어려웠다.

MeMoDecode는 LLM이 하나의 메타모델 개념을 완성할 때마다 현재 출력을 부분 모델로 변환한다. 이어 검증기를 통해 이 부분 모델이 앞으로 제약을 만족하는 완전한 모델로 확장될 가능성이 남아 있는지 확인한다. 모순이 발견되면 생성을 처음부터 다시 시작하지 않고, 완성 가능한 것으로 확인된 가장 최근 스냅숏으로 돌아가 디코딩을 재개한다. 구체 구문과 추상 구문, 정합성 조건을 생성 후 별도로 검사하는 대신 디코딩 과정에서 함께 적용하는 방식이다.

연구진은 이 방법이 일관성뿐 아니라 벤치마크 성능도 개선했으며 실행시간 증가는 크지 않았다고 보고했다. 또한 자연스러운 가정을 만족하는 정렬 평가 지표에서는 백엔드 검증기가 건전하다면 문법 제약 디코딩보다 나쁜 결과를 내지 않는다고 설명했다.

다만 이 보장은 검증기의 건전성을 전제로 한다. 공개된 초록에는 DSL별 결과, 실패 사례, 정확한 실행시간 증가 폭이 제시되지 않아 평균 개선치가 각 언어와 모델 규모에서 얼마나 고르게 나타났는지는 판단하기 어렵다. 현재 결과는 2026년 10월 제출된 프리프린트의 보고 내용이다.¹

읽기 목록은 이 브라우저에 저장됩니다.