TensorRT
2건
기사 통계를 확인하고 있습니다.
-
NVIDIA, Dynamo-Triton에 TensorRT 멀티 GPU 추론 통합
NVIDIA가 TensorRT 멀티 디바이스 추론을 Dynamo-Triton에 통합해 단일 gRPC 호출로 여러 GPU 분산 서빙을 지원한다.
-
엔비디아, 두 줄 명령으로 배포하는 'TensorRT Model Connect' 공개
엔비디아가 오픈 모델을 체크포인트에서 네이티브 C++ 추론 앱까지 두 명령으로 배포하는 참조 구현 도구를 발표했다.