엔비디아, 두 줄 명령으로 배포하는 'TensorRT Model Connect' 공개

ai.euno.news 자동 뉴스 요약

엔비디아가 오픈 모델을 체크포인트 상태에서 네이티브 C++ 추론 애플리케이션까지 두 줄의 명령으로 배포할 수 있는 참조 구현 모음 ‘TensorRT Model Connect’를 공개했다. 엔비디아 기술 블로그에 따르면, 이 도구는 허깅페이스(Hugging Face) 모델 ID나 로컬 체크포인트만 있으면 별도의 모델별 변환·전처리·후처리·런타임 코드를 새로 짤 필요 없이 TensorRT 엔진을 빌드하고 실행할 수 있게 해준다.¹

배포 과정은 두 단계로 나뉜다. 첫 단계는 파이썬 CLI로 배포 번들을 만드는 것이다. 예를 들어 trtmc build Qwen/Qwen3-0.6B -o qwen3-0.6B.bundle 명령 한 줄이면 Qwen3-0.6B 모델의 TensorRT 엔진과 런타임에 필요한 모델별 자산을 담은 번들 파일이 만들어진다. 두 번째 단계는 이 번들을 네이티브 C++ 애플리케이션에서 불러와 실행하는 것으로, trtmc::load()로 번들을 읽어들인 뒤 pipeline->generate()에 프롬프트를 넘기면 결과 텍스트를 바로 받을 수 있다. 모델을 준비하는 과정에는 파이썬을 쓰지만, 실제 배포되는 애플리케이션은 파이토치(PyTorch)나 파이썬 인터프리터 없이 순수 네이티브 환경에서 동작한다.

TensorRT Model Connect는 두 단계의 C++ API를 제공한다. 시맨틱(semantic) API는 프롬프트, 이미지, 오디오 같은 익숙한 입출력 단위로 작업할 수 있게 해주며, 모델별 전처리·실행·후처리는 내부에서 자동으로 처리된다. 더 세밀한 제어가 필요하면 모듈 레벨 API를 통해 이름이 붙은 텐서와 개별 TensorRT 구성 요소에 직접 접근해 파이프라인을 커스터마이징할 수 있다. 두 API는 같은 내부 구현을 공유하기 때문에, 처음에는 단순한 태스크 레벨 인터페이스로 시작했다가 필요할 때만 세부 제어로 넘어갈 수 있다.

커스텀 GPU 커널을 붙이는 확장성도 갖췄다. TVM FFI라는 언어 독립적 인터페이스를 통해 모델의 특정 부분만 커스텀 GPU 커널로 교체하고 나머지 추론 파이프라인은 TensorRT가 그대로 실행하도록 구성할 수 있다. 이 방식은 애플리케이션 전체를 별도 런타임 중심으로 다시 짜지 않고도 새로 개발한 커널을 끼워 넣을 수 있게 해준다는 게 엔비디아의 설명이다.

엔비디아는 TensorRT Model Connect가 새로운 추론 프레임워크나 TensorRT의 대체재가 아니라, 오픈 모델의 종단 간(end-to-end) 추론 경험과 TensorRT의 그래프 컴파일·가속 능력을 잇는 다리 역할이라고 규정한다. 각 모델의 구현체는 세 가지 용도로 쓰인다. TensorRT 기반 네이티브 애플리케이션에서 지원 모델을 그대로 실행하는 것, 완전하고 검사 가능한 구현체를 통해 모델과 추론 파이프라인 자체를 학습하는 것, 그리고 관련 아키텍처나 커스텀 체크포인트, 특정 애플리케이션 요구에 맞게 구현을 확장하는 것이다. 다만 이 발표는 엔비디아 자체 기술 블로그에 실린 것으로, 실제 지원 모델의 범위나 서드파티 벤치마크 결과는 이번 자료에서 확인되지 않는다.

읽기 목록은 이 브라우저에 저장됩니다.