리퀴드AI, 온디바이스 MoE 모델 공개
최근 30일 조회수 — 좋아요 —핵심 요약
토큰당 20억 매개변수만 활성화해 빠른 추론과 도구 사용에 집중한 LFM2.5-24B-A2B가 공개됐다.
리퀴드AI(Liquid AI)가 기기 안에서 에이전트를 구동하도록 설계한 혼합전문가(MoE) 모델 LFM2.5-24B-A2B를 공개했다. 전체 매개변수는 240억 개지만 토큰마다 20억 개만 활성화해 추론 비용을 낮춘 것이 핵심이다. 리퀴드AI는 애플 M5 Max에서 초당 184토큰, 엔비디아 B300 GPU 한 장에서 최대 초당 2만1000개의 출력 토큰을 처리했다고 밝혔다.1
새 모델은 이전 세대인 LFM2-24B-A2B의 구조를 유지한다. 40개 계층과 MoE 블록당 64개 전문가, 이 가운데 4개를 선택하는 라우팅을 사용하며, 게이트형 단기 합성곱과 그룹 쿼리 어텐션(GQA)을 결합했다. 대신 문맥 창은 3만2000토큰에서 13만1000토큰으로 약 4배 늘었고, 어휘 집합은 6만5000개에서 12만8000개로 확대됐다. 비라틴 문자 처리 효율을 높이려는 변경이다. 답변 전에 명시적인 사고 과정을 생성하는 추론 전용 모델이라는 점도 전작과 다르다.1
학습량도 커졌다. 사전학습 데이터는 약 17조토큰에서 33조토큰으로 늘었다. 이후 추론·수학·코드·지시 이행·다국어에 비중을 둔 3만2000토큰 문맥 데이터 2조토큰과, 장문 데이터 중심의 13만1000토큰 문맥 데이터 3000억토큰을 추가했다. 후처리는 지도 미세조정, 교사 모델 특화, 비에이전트 및 에이전트 과제의 온폴리시 증류, 에이전트 강화학습까지 다섯 단계로 진행됐다.1
성능은 도구 사용과 지시 이행에 집중됐다. 리퀴드AI가 vLLM과 각 벤치마크의 권장 생성 설정으로 평가한 결과, LFM2.5는 8개 도구·에이전트 벤치마크 가운데 5개에서 경쟁 모델과 동급이거나 앞섰다. LiveClaw 점수는 48.09로, 전체·활성 매개변수가 약 50% 더 많은 Qwen3.6-35B-A3B의 38.19를 웃돌았다. AutomationBench에서도 27.69로 차점 모델의 8.72보다 세 배 이상 높았다.1
다만 작은 활성 매개변수의 대가는 분명하다. GPQA Diamond에서는 LFM2.5가 74.42로 Qwen의 83.69에 못 미쳤고, SWE-Bench Verified에서도 51.0 대 66.2로 뒤졌다. 리퀴드AI 역시 지식 집약 작업에는 검색 증강이나 웹 검색을 함께 쓰라고 권고했다. 온디바이스 에이전트의 강점은 범용 지식보다 빠른 추론, 도구 호출, 지시 수행에 있다는 설명이다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Run fast, private agents on-device with LFM2.5-24B-A2B — Hugging Face Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.