구글, TPU 데이터 병목 줄이는 TPU Sync 공개

ai.euno.news 자동 뉴스 요약

구글 클라우드가 TPU의 데이터 이동 병목을 줄이는 네이티브 C++ 라이브러리 ‘TPU Sync’를 아파치 2.0 라이선스로 공개했다. TPU Sync는 대규모 언어 모델(LLM)의 KV 캐시 블록과 모델 가중치를 TPU의 고대역폭 메모리(HBM), 호스트 DRAM, 공유 스토리지, 데이터센터 네트워크 사이에서 옮긴다. 구글이 함께 발표한 TPU 8tx·8i Max의 연산 성능보다, 가속기가 데이터를 기다리는 시간을 줄이는 데 초점을 맞춘 소프트웨어다.¹

TPU Sync가 겨냥한 첫 번째 영역은 긴 문맥을 처리하거나 프리필과 디코드를 서로 다른 장비에서 실행하는 분리형 추론이다. 구글 발표에 따르면 Qwen3 235B의 KV 캐시 전송 지연 중앙값은 수 초에서 약 230밀리초로 줄었다. 낮은 동시성 조건에서 평균 첫 토큰 생성 시간(TTFT)은 Qwen3 235B가 60%, 480B 모델이 90% 감소했다. 64K 문맥의 접두어 캐싱 작업에서도 평균 TTFT가 최대 90% 줄었다. 다만 이 수치는 구글이 공개한 결과이며, 독립적인 재현 결과는 자료에 제시되지 않았다.¹

두 번째 영역은 강화학습이다. TPU Sync는 훈련기가 갱신한 가중치를 롤아웃 샘플러로 전달하는 기능을 같은 라이브러리에 담았다. GPU 진영의 엔비디아 다이너모(NVIDIA Dynamo)·NIXL, LMCache, Mooncake 등이 KV 캐시 이동과 계층형 저장을 다루는 것과 달리, TPU Sync는 PJRT와 TPU 타일 배치에 맞춰 설계됐고 강화학습용 가중치 전송까지 포함한다. 다만 Pathways와 멀티 컨트롤러 JAX용 가중치 동기화 모듈은 아직 실험 단계다.¹

개발자는 JAX와 PyTorch용 파이썬 휠을 통해 KV 캐시 관리자, KV 저장소, 가중치 동기화 API를 쓸 수 있다. TPU Sync는 vLLM-TorchTPU의 KVConnector, SGLang-TorchTPU의 분리형 추론·계층형 캐시 백엔드로 연결되며, GKE에서는 llm-d 1.0과 조합해 접두어 캐시를 고려한 라우팅을 지원한다.¹

당장은 운영 환경에 바로 넣기보다 버전 관리에 주의해야 한다. 저장소는 API가 빠르게 바뀐다고 경고하며 마지막 정상 동작 커밋을 고정하라고 권한다. 검증된 하드웨어도 TPU v7x와 v6e로 한정되고, PyTorch 휠에는 공개 인덱스에 없는 호환 torch_tpu 빌드가 필요하다. JAX·PyTorch 패키지는 개발 빌드만 배포됐고 스토리지 계층과 강화학습 가중치 동기화도 실험적이다. TPU Sync의 의미는 새 연산 장치를 추가하는 데 있지 않다. 긴 문맥 추론에서 연산 성능만큼 중요한 캐시 용량과 노드 간 데이터 이동을 TPU 소프트웨어 스택의 독립 구성요소로 꺼내 공개했다는 데 있다.¹

읽기 목록은 이 브라우저에 저장됩니다.