AWS, 분산 KV 캐싱 스킬 공개

2분 AWSLLMKV 캐싱추론 최적화
최근 30일 조회수 — 좋아요 —

핵심 요약

AWS가 자체 호스팅 LLM의 추론 비용과 첫 토큰 지연을 줄이는 분산 KV 캐싱 스킬을 공개했다.

AWS, 분산 KV 캐싱 스킬 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

AWS가 자체 호스팅 대규모 언어 모델(LLM)의 중복 연산을 줄이는 ‘분산 키-값(KV) 캐싱 스킬’을 공개했다. AWS는 아마존 엘라스티캐시(Amazon ElastiCache)를 이용한 분산 KV 캐싱이 추론 비용을 최대 40%, 첫 토큰 생성 시간(TTFT)을 최대 80% 줄일 수 있다고 밝혔다. 새 스킬은 개발자가 코딩 에이전트와 대화하며 도입 효과를 계산하고 캐시를 구성·점검하도록 돕는다.1

LLM은 답변을 만들기 전 입력 토큰의 어텐션 상태를 계산하는 ‘프리필(prefill)’을 거친다. 문제는 대화나 문서의 맥락이 길어질수록 이 계산량도 커진다는 점이다. 서버별 로컬 캐시는 작고 서로 공유되지 않아, 요청을 다른 GPU 서버가 넘겨받으면 이미 처리했던 수십만 토큰을 다시 계산해야 할 수 있다. AWS가 제시한 법률 AI 사례에서는 사용자가 점심시간 뒤 긴 사건 기록이 담긴 대화로 돌아왔을 때 첫 응답까지 수분이 걸릴 수 있다. 코딩 에이전트와 문서 질의응답 서비스도 같은 병목을 겪는다.1

분산 KV 캐싱은 GPU의 로컬 캐시 옆에 공유 계층을 두는 방식이다. 어느 서버든 이전에 계산한 KV 상태를 다시 불러올 수 있고, 세션이 끊기거나 요청 경로가 바뀌고 서버 장애가 발생해도 캐시를 며칠간 재사용할 수 있다. 다만 캐시를 읽는 시간이 재계산보다 길 수 있는 짧은 프롬프트에는 이득이 없다. 손익을 가르는 프롬프트 길이와 반복 빈도, 사용하는 모델과 트래픽 패턴에 따라 효과가 달라진다.1

AWS의 스킬은 이 판단부터 맡는다. 읽기 전용 describe-instances 호출로 GPU 플릿과 EFA(Elastic Fabric Adapter) 인터페이스 수를 확인한 뒤, 추론 엔진과 모델, 텐서 병렬화 크기, KV 데이터 형식, 서버 가격, 프롬프트 반복률을 추가로 묻는다. 이어 무료 분석 도구 KVTrace로 실제 워크로드의 절감액을 추정하고, 캐시 비용을 상쇄하지 못하면 구성을 중단한다.1

도입이 타당하면 기존 vLLM이나 SGLang 엔진에 LMCache 커넥터를 추가한다. llm-d와 Ray Serve 아래에서 실행되는 vLLM 워커도 지원한다. 서버마다 KV 식별용 해시와 시드, 데이터 형식을 통일해 한 서버가 저장한 상태를 다른 서버가 찾지 못하는 문제도 막는다. 이 스킬은 AWS용 Agent Toolkit에 포함됐으며 Kiro, Claude Code, OpenAI Codex 등 Agent Skills 규격을 지원하는 코딩 에이전트에서 사용할 수 있다. 최대 절감 수치는 AWS가 공개한 성능 결과이며, 개별 환경의 효과는 KVTrace를 통한 사전 검증이 필요하다.1

Footnotes

  1. AWS Machine Learning Blog, “Cut self-hosted LLM cost and latency with the distributed KV caching agent skill” ↩ ↩2 ↩3 ↩4 ↩5

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Cut self-hosted LLM cost and latency with the distributed KV caching agent skill | Amazon Web Services — AWS Machine Learning Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.