파이썬으로 Jetson DLA 직접 구동

2분 엔비디아JetsonDLACUDA Python
최근 30일 조회수 — 좋아요 —

핵심 요약

엔비디아가 Jetson AGX Orin의 DLA 추론을 파이썬에서 관리하는 cuda.bindings.cudla를 공개했다.

파이썬으로 Jetson DLA 직접 구동 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

엔비디아가 Jetson AGX Orin의 딥러닝 가속기(DLA)를 파이썬에서 직접 구동하는 방법을 공개했다. cuda.bindings.cudla를 이용하면 개발자는 DLA 장치를 만들고, 컴파일된 신경망을 불러오고, 메모리 버퍼를 등록해 추론 작업을 제출하는 과정을 C++ 코드 없이 처리할 수 있다. 엣지 장치에서 여러 신경망을 제한된 전력과 연산 자원으로 실행할 때, 지원되는 추론을 DLA로 넘겨 GPU를 다른 작업에 남겨 두려는 용도다.1

DLA는 합성곱과 풀링처럼 신경망에서 자주 쓰이는 정해진 연산을 효율적으로 처리하는 고정 기능 가속기다. GPU보다 지원하는 계층은 적지만 여러 대중적인 신경망 구조에 쓰이는 폭넓은 계층을 실행할 수 있다. cuDLA는 이 하드웨어의 실행을 관리하는 런타임 API이며, 실제 추론은 DLA에서 수행된다. 파이썬 바인딩은 런타임 관리와 추론 조율을 파이썬 애플리케이션 안에 유지하도록 기존 C++ 방식에 선택지를 더한다.

cuda.bindings.cudla는 CUDA Python 프로젝트의 cuda-bindings 13.3.0에 도입됐다. cuDLA C++ API를 얇게 감싼 Cython 생성 계층으로, CUDA 스트림이 GPU 작업과 DLA 실행을 조율하는 하이브리드 모드용 함수 13개, 데이터형 9개, 열거형 8개를 제공한다. 엔비디아 기술 블로그의 예제는 이미지 분류를 기준으로 장치 생성, 네트워크 적재, 버퍼 관리, 실행 동기화, 출력 읽기까지 전체 추론 수명주기를 다루며, 한 파이썬 프로그램에서 GPU 단계와 DLA 단계를 연결하는 흐름도 보여준다.1

JetPack을 설치한 Jetson Orin에는 기반 런타임인 libcudla.so가 포함돼 있어 별도 cuDLA SDK나 추가 런타임 라이브러리가 필요 없다. 바인딩은 다음과 같이 설치한다.

pip install "cuda-bindings>=13.3.0"

최소 파이썬 버전은 3.10이므로 JetPack의 기본 파이썬이 더 오래됐다면 새 환경을 마련해야 한다. TensorRT는 학습된 모델을 DLA가 직접 실행할 바이너리인 ‘DLA 로더블’로 컴파일할 때만 필요하다. 이미 만들어진 로더블을 실행할 때는 JetPack에 포함된 libcudla.so만 있으면 된다. 다만 DLA가 모든 GPU 연산을 대신하는 것은 아니며, 모델에 DLA가 지원하지 않는 계층이 있는지는 별도로 확인해야 한다.

Footnotes

  1. NVIDIA Technical Blog, “Run Native DLA Inference in Python on NVIDIA Jetson AGX Orin Using cuDLA” ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Run Native DLA Inference in Python on NVIDIA Jetson AGX Orin Using cuDLA | NVIDIA Technical Blog — NVIDIA Technical Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.