TensorRT LLM
1건
기사 통계를 확인하고 있습니다.
-
NVIDIA, 기밀 컴퓨팅으로 LLM 추론 성능 손실 5% 이내 억제
NVIDIA가 TensorRT LLM과 기밀 컴퓨팅을 최적화해 DeepSeek-R1 추론에서 처리량을 96~98% 수준으로 유지했다고 밝혔다.
1건
기사 통계를 확인하고 있습니다.
NVIDIA가 TensorRT LLM과 기밀 컴퓨팅을 최적화해 DeepSeek-R1 추론에서 처리량을 96~98% 수준으로 유지했다고 밝혔다.