LLM이 스스로 맥락 편집하는 CLM 공개
최근 30일 조회수 — 좋아요 —핵심 요약
메타·MIT·워싱턴대 연구진은 LLM이 맥락을 직접 편집해 정확도를 높이고 연산량을 줄이는 CLM을 공개했다.

메타(Meta)·매사추세츠공과대학(MIT)·워싱턴대 연구진이 대규모 언어 모델(LLM)이 자신의 컨텍스트를 파일처럼 직접 고쳐 쓰는 ‘컨텍스트 언어 모델(Context Language Models·CLM)’ 기법을 공개했다. InfoQ에 따르면 CLM은 기존의 요약·압축·검색 장치를 모델 바깥에서 일률적으로 적용하는 대신, 모델이 오래된 메시지를 다시 쓰고 불필요한 내용을 지우며 중요한 사실과 작업 진행 상황을 남기도록 한다.1 연구진은 이 방식이 여러 벤치마크에서 정확도를 높이는 동시에 연산량을 줄였다고 보고했다.
LLM의 컨텍스트가 계속 길어지는 것을 막는 기존 방식에는 각각 약점이 있다. 요약은 중요한 세부 내용을 버리거나 부정확한 정보를 넣을 수 있고, 압축은 미리 정한 규칙에 묶인다. 외부 메모리를 쓰면 에이전트가 어떤 정보를 다시 불러올지 판단해야 한다. CLM은 이 결정을 모델 내부 행동으로 옮긴다. 실패한 실험과 앞으로 검토할 아이디어를 따로 기록하거나, 중간 결과 가운데 쓸모없는 부분만 제거하는 식이다. 사용자가 자연어로 보존 전략을 지시할 수도 있으며, 모델은 유용한 절차를 ‘스킬 문서’로 축적해 재사용할 수 있다.
연구진은 별도 훈련이 없는 제로샷, 자연어 지침과 반복적인 스킬 최적화를 이용한 인컨텍스트 학습, 과제 성공률과 연산 효율을 함께 최적화하는 강화학습 등 세 가지 방식을 시험했다. 제로샷 CLM은 BrowseComp-Plus에서 정확도를 11.4% 높이면서 부동소수점 연산량(FLOPs)을 21.5% 줄였다. 12시간 EdgeBench에서는 점수가 5% 높아지고 FLOPs는 59% 감소했으며, 24시간 다중 저장소 에이전트 군집 과제에서는 같은 연산량으로 개선 폭이 65% 커졌다. 인컨텍스트 학습은 ContextBench 정확도를 더 적은 연산으로 최대 35.9%포인트 끌어올렸다. 강화학습을 적용한 Qwen3.5-9B는 BrowseComp-Plus 성능이 28.8%에서 42.5%로 올라 상대적으로 47.6% 개선됐고, FLOPs는 12% 줄었다.
다만 결과는 지정된 과제에서 나온 수치여서 일반화 여부는 확인되지 않았다. 모델이 중요한 정보를 지우면 나중에 복구하지 못할 수 있고, 편집 가능한 컨텍스트가 프롬프트 인젝션이나 모델이 스스로 만든 지시를 여러 턴에 걸쳐 유지하는 통로가 될 위험도 있다. 무엇보다 컨텍스트를 직접 통제할 권한이 커져도 무엇을 남기고 고칠지 모델이 올바르게 판단한다는 보장은 없다.
Footnotes
-
InfoQ, “Context Language Models: Self-Managing Context to Improve Performance and Reduce Compute Costs” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Context Language Models: Self-Managing Context to Improve Performance and Reduce Compute Costs — InfoQ
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.