엔비디아, 하이브리드 모델용 ReplaySSM 공개

ai.euno.news 자동 뉴스 요약

엔비디아(NVIDIA)가 하이브리드 언어 모델의 상태공간모델(SSM) 계층에서 메모리 이동과 상태 복구 부담을 줄이는 디코딩 기법 ‘ReplaySSM’을 공개했다. SSM 상태 전체를 매 토큰마다 갱신해 저장하는 대신, 체크포인트와 최근 입력 버퍼로 표현하는 방식이다. 출력 계산과 상태 갱신을 분리해 메모리 트래픽, 추측 디코딩의 롤백, 양자화 오차 누적을 함께 다룬다.¹

하이브리드 모델은 다수의 SSM 계층 사이에 소수의 어텐션 계층을 배치한다. 엔비디아 네모트론 3(Nemotron 3), Qwen3.5~3.8, Kimi-K3, GLM-5.3-Flash가 이런 구조이며, SSM에는 Mamba-2나 게이티드 델타넷(Gated DeltaNet·GDN), 키미 델타 어텐션(Kimi Delta Attention·KDA)을 쓴다. SSM은 문맥 길이에 따라 커지는 키-값(KV) 캐시 대신 고정 크기 상태를 이용하지만, 실제 서빙에서는 이 상태가 오히려 병목이 될 수 있다.

엔비디아가 공개한 측정에 따르면 블랙웰 울트라 B300 GPU 한 장에서 배치 크기 256으로 Nemotron-3-Super-NVFP4를 실행했을 때, 문맥 길이 10만 토큰까지 어텐션보다 SSM 계층이 디코딩 시간을 더 많이 차지했다. 이 모델은 SSM 계층이 어텐션 계층보다 5배 많다. 계층 하나의 FP32 상태는 시퀀스당 4MiB로, 토큰당 0.5KiB인 FP8 KV 항목 8,000개와 같은 크기다. 연산량은 적지만 매 단계 전체 상태를 고대역폭 메모리(HBM)에서 읽고 다시 써야 해 연산 성능보다 메모리 대역폭에 묶인다.

추측 디코딩에서도 차이가 난다. 어텐션은 KV 캐시 포인터만 옮기면 미채택 토큰을 되돌릴 수 있지만, SSM은 초안 토큰을 상태에 합친 뒤 간단히 역산하기 어렵다. 기존 서빙 엔진은 초안 토큰마다 상태 스냅샷을 저장해 대응하며, 초안 길이가 T라면 단계마다 한 번 읽고 T번 써야 한다. ReplaySSM은 최근 입력을 보관했다가 체크포인트에서 상태를 재생해 이 부담을 피한다. 양자화된 상태의 반올림 오차가 재귀적으로 다시 유입되는 문제도 같은 분리 구조로 다룬다.

ReplaySSM은 프린스턴대 다오 AI 랩(Dao AI Lab)과 공동 개발됐으며 TensorRT-LLM, vLLM, FlashInfer에 통합됐다. GLM-5.3-Flash와 Kimi-K3에서는 운영 환경에도 적용됐다. 다만 공개 자료에 제시된 병목 분석과 효과는 엔비디아 측 평가이므로, 모델·배치 크기·GPU가 달라질 때의 실제 가속 폭은 별도 검증이 필요하다.

읽기 목록은 이 브라우저에 저장됩니다.