JustFit
1건
기사 통계를 확인하고 있습니다.
-
24GiB 맥북서 20만 토큰 로컬 LLM 추론, JustFit 공개
연구진이 KV 캐시 압축과 즉시 메모리 관리로 24GiB 맥북에서 20만 토큰 넘는 컨텍스트를 처리하는 추론 런타임 JustFit을 공개했다.
1건
기사 통계를 확인하고 있습니다.
연구진이 KV 캐시 압축과 즉시 메모리 관리로 24GiB 맥북에서 20만 토큰 넘는 컨텍스트를 처리하는 추론 런타임 JustFit을 공개했다.