Dynamo-Triton
1건
기사 통계를 확인하고 있습니다.
-
NVIDIA, Dynamo-Triton에 TensorRT 멀티 GPU 추론 통합
NVIDIA가 TensorRT 멀티 디바이스 추론을 Dynamo-Triton에 통합해 단일 gRPC 호출로 여러 GPU 분산 서빙을 지원한다.
1건
기사 통계를 확인하고 있습니다.
NVIDIA가 TensorRT 멀티 디바이스 추론을 Dynamo-Triton에 통합해 단일 gRPC 호출로 여러 GPU 분산 서빙을 지원한다.