보틀캡AI, 사고 토큰 38.9% 줄인 모델 공개

ai.euno.news 자동 뉴스 요약

보틀캡AI(BottleCapAI)가 구글의 추론 모델을 바탕으로 사고 토큰을 평균 38.9% 줄인 ThinkingCap Gemma-4-26B-A4B를 공개했다. 12개 벤치마크에서 정확도 하락은 평균 0.15%포인트에 그쳤다. 정확도가 완전히 같다는 뜻은 아니지만, 회사는 이 차이가 시험을 반복할 때 흔히 나타나는 변동 폭보다 작다고 설명했다.¹

이번 모델은 ThinkingCap 시리즈의 다섯 번째 제품이자 구글 모델에 처음 적용한 사례다. 기반 모델인 gemma-4-26B-A4B-it는 전체 매개변수 260억 개 가운데 토큰마다 약 40억 개를 활성화하는 희소 전문가 혼합(Sparse Mixture of Experts) 구조다. 보틀캡AI가 밝힌 목표는 지식과 추론 능력, 답변 품질, 지시 이행, 안전성을 유지하면서 정답에 도달하기까지 쓰는 토큰만 줄이는 것이다.¹

과제군별 결과를 보면 사고량은 모든 영역에서 감소했지만 폭은 달랐다.

개별 시험에서는 longbench_v2의 평균 사고 토큰이 9,486개에서 2,934개로 69.1% 줄면서 정확도는 59.43%에서 60.88%로 올랐다. 반면 aa_lcr은 토큰이 6,519개에서 2,655개로 59.3% 감소했지만 정확도도 64.62%에서 60.62%로 4.00%포인트 떨어졌다. 평균치만으로 모든 과제에서 품질이 그대로라고 단정하기 어려운 대목이다.¹

같은 샘플링 설정과 vLLM 서빙 환경에서 반복 생성에 빠지는 응답 비율은 원본의 3.6%에서 0.8%로 낮아졌다. 기존 모델을 대체해 사용할 수 있도록 설정도 유지했다. PRO 버전은 사고 토큰을 최대 87.6%, 평균 62% 줄인다고 회사가 발표했지만, 제공된 자료에는 이를 뒷받침할 세부 벤치마크가 없다.¹

읽기 목록은 이 브라우저에 저장됩니다.