IBM, Granite 4.1에 LLMON 도입

2분 IBMLLMONGranite 4.1LLM 보안
최근 30일 조회수 — 좋아요 —

핵심 요약

IBM이 LLM 문맥 구조와 보안을 강화하는 전용 마크업 LLMON의 실험용 모델과 도구를 공개했다.

IBM, Granite 4.1에 LLMON 도입 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

IBM이 대규모 언어 모델(LLM)의 문맥 구조를 명시하는 전용 마크업 언어 LLMON(LLM Object Notation)을 Granite 4.1 기반 3B·8B 모델에 도입했다. IBM은 LLMON을 읽고 생성하도록 학습한 실험용 프리뷰 모델 granite-4.1-3b-LLMON-preview와 granite-4.1-8b-LLMON-preview를 공개하고, 변환 도구와 워크플로 예제를 담은 깃허브 저장소도 함께 내놨다.1

LLM의 문맥에는 시스템 프롬프트와 이전 대화, 검색 문서, 도구 응답, 사용자 데이터, 출력 조건, 추론 과정이 뒤섞인다. 기존 애플리케이션은 이를 암묵적으로 구분하거나 JSON으로 표현하지만, JSON은 파서용 형식이지 인과적 언어 모델에 맞춰 설계된 문법이 아니다. 가령 따옴표가 문서 내용인지 필드의 끝인지 모델에는 같은 토큰으로 보이며, 중첩 구조도 긴 구간에 걸쳐 괄호 수를 추적해야 한다. IBM은 이런 문제가 특히 작은 모델을 불안정하게 만들고 프롬프트 인젝션의 틈도 제공한다고 설명했다.1

LLMON은 의미 단위마다 태그를 붙이는 XML 계열 구조를 쓰되, 구조 구분자를 일반 문자가 아닌 예약 특수 토큰으로 처리한다. 태그와 구간 경계를 명시하고 중첩 관계를 가까운 위치에 기록해, 모델이 긴 문맥 전체의 계층을 계속 기억할 필요를 줄였다. 각 지시에는 고유 ID를 부여할 수 있으며, 문맥 어디에 있든 특정 데이터와 연결할 수 있다. 프로그래밍 언어에서 함수와 인자를 결합하는 방식과 비슷하다.

이 구분은 보안과 응답 정확도를 함께 겨냥한다. IBM에 따르면 LLMON 모델은 사용자 데이터 속에 숨은 간접 프롬프트 인젝션을 대부분 무시했고, 일부 벤치마크에서는 공격 성공률이 거의 0까지 떨어졌다. 일반 지시 학습 모델이 높은 확률로 탈취된 것과 대비된다는 설명이다. 지시가 적용될 데이터를 정확히 묶으므로 관련 없는 문단이나 오래된 대화, 다른 도구의 출력이 답변에 섞이는 현상도 줄일 수 있다고 밝혔다. 다만 구체적인 벤치마크 이름과 전체 수치는 제공된 자료에 나오지 않으며, 공개 모델 역시 정식판이 아닌 실험용 프리뷰다.

기존 JSON 파이프라인을 당장 버릴 필요는 없다. IBM은 JSON과 LLMON을 정보 손실 없이 상호 변환하는 도구를 제공하며, 사용자가 별도 태그 구조를 정의한 뒤 LLMON 모델 위에 LoRA를 추가 학습하는 방식도 지원한다고 설명했다.1

Footnotes

  1. Hugging Face Blog, 「LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B」 ↩ ↩2 ↩3

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B — Hugging Face Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.