TensorRT
4건
기사 통계를 확인하고 있습니다.
-
엔비디아, FLUX 3 추론 최대 4.45배 가속
엔비디아가 B200 GPU에서 양자화와 커널 융합 등으로 FLUX 3 Image Klein 추론을 최대 4.45배 가속했다.
-
엔비디아, 엣지 AI용 경량 추론 런타임 공개
TensorRT Edge-LLM은 DGX Spark에서 개발한 AI 모델을 로봇·차량·설비용 엣지 장치에 배포하도록 돕는다.
-
NVIDIA, Dynamo-Triton에 TensorRT 멀티 GPU 추론 통합
NVIDIA가 TensorRT 멀티 디바이스 추론을 Dynamo-Triton에 통합해 단일 gRPC 호출로 여러 GPU 분산 서빙을 지원한다.
-
엔비디아, 두 줄 명령으로 배포하는 'TensorRT Model Connect' 공개
엔비디아가 오픈 모델을 체크포인트에서 네이티브 C++ 추론 앱까지 두 명령으로 배포하는 참조 구현 도구를 발표했다.