허깅페이스, 로컬용 Inkling 2 Mini 공개
최근 30일 조회수 — 좋아요 —핵심 요약
260억 매개변수 중 30억만 활성화하며 이미지와 100만 토큰 문맥을 처리하는 경량 MoE 모델이다.

허깅페이스(Hugging Face)가 로컬 환경에서 실행하도록 설계한 멀티모달 경량 모델 ‘Inkling 2 Mini’를 11월 20일 공개했다. 허깅페이스 블로그에 따르면 Inkling 2 Mini는 물리적으로 약 260억 개의 매개변수를 담고 있지만, 토큰마다 약 30억 개만 활성화하는 전문가 혼합(Mixture-of-Experts·MoE) 모델이다. 텍스트와 이미지를 입력받으며 최대 100만 토큰의 문맥을 처리한다.1
Inkling 2 Mini의 핵심은 일부 계층을 반복해서 계산하는 ‘루프드 트랜스포머(looped transformer)’ 구조다. 디코더의 물리 계층은 24개지만, 가운데 12개 계층을 세 차례 통과한다. 처음 6개 계층과 마지막 6개 계층은 한 번씩 실행되므로 토큰당 계층 방문 횟수는 6 + 3×12 + 6, 즉 48회다. 48개 계층을 따로 저장하지 않고 반복 구간의 가중치를 재사용해 모델 용량을 줄였다.
반복 계산이 단순히 같은 입력을 세 번 처리하는 방식은 아니다. 각 반복은 처음 6개 계층의 출력에서 시작하되, 앞선 반복의 결과를 ‘교차 패스 메시지’로 받아 계산을 다듬는다. 작은 게이트 제어기가 현재 입력에서 얼마나 버리고 이전 결과를 얼마나 더할지 결정한다. 다만 물리 계층 수가 줄어도 실제 계산은 48회 이뤄지며, 방문마다 키·값(KV)과 단기 합성곱 상태를 따로 유지한다.
각 계층 방문에서는 128개 전문가 가운데 8개를 선택한다. 어텐션은 쿼리 헤드 24개와 KV 헤드 8개를 쓰며, 6개 계층으로 묶인 각 블록은 슬라이딩 윈도 계층 5개와 전체 어텐션 계층 1개로 구성된다. 로컬 윈도 크기는 최대 1,024토큰이다. 상위 모델 Inkling 2 Small과 비교하면 디코더 너비는 4,608에서 2,304로 줄었고, 계층별 전문가 수도 384개에서 128개로 감소했다.
Thinking Machines Lab은 전문가 가중치에 NVFP4와 MXFP8을 섞은 정밀도 형식으로 모델을 배포했다. 허깅페이스는 transformers, Llama App(llama.cpp), MLX를 지원하며, SGLang도 데이터센터용 추론을 출시 당일부터 지원한다고 밝혔다. 추가 메모리를 조금 쓰는 대신 속도를 높이는 DSpark 드래프터도 포함됐다.
허깅페이스는 자체 체감 평가에서 Inkling 2 Mini가 Qwen 3.8 27B와 적어도 비슷했다고 설명했지만, 추가 검증이 필요하다고 선을 그었다. 반복 횟수를 1회나 2회로 줄여 속도를 높일 수 있는 연구용 변형도 함께 공개됐으나, 생성 품질이 다소 낮아질 수 있고 아직 충분한 평가를 거치지 않았다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup — Hugging Face Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.