구글, 온디바이스용 LiteRT API 공개

ai.euno.news 자동 뉴스 요약

구글이 온디바이스 머신러닝 모델을 C++로 직접 구성하고 CPU·GPU·NPU에서 실행할 수 있는 LiteRT Tensor API를 공개했다. InfoQ에 따르면 이 경량 API는 전처리부터 추론, 후처리까지 가속기 버퍼를 복사하지 않는 제로카피 연동을 지원한다. 하드웨어가 달라져도 모델 그래프를 다시 작성하지 않고 같은 코드를 쓸 수 있다는 것이 구글의 설명이다.¹

기존에는 세밀한 제어가 필요할 때 개발자가 연산을 C++로 직접 구현했다. 그러나 코드는 Metal, OpenCL, Vulkan 같은 특정 백엔드에 강하게 묶였고, 새 하드웨어를 지원하려면 다시 작성해야 했다. CPU·GPU·NPU 사이의 버퍼 공유와 동기화도 개발자가 직접 처리해야 했다. LiteRT Tensor API는 연산을 하나씩 추가해 계산 그래프를 만드는 방식을 택했다. 개발자는 모델 구조와 가속기 실행을 제어하면서도 LiteRT를 통해 여러 하드웨어를 겨냥할 수 있다.

가중치는 체크포인트에서 바로 읽으며 허깅페이스의 .safetensors 파일도 지원한다. 그래프가 일반 C++ 코드로 표현되므로 AI 코딩 에이전트가 코드를 생성해 그래프를 구성·수정하고, 유효성을 검사하거나 성능을 측정할 수도 있다. 구글은 실제로 코딩 에이전트를 이용해 다중 객체 분할·추적 앱을 만들고 SAM 2를 시험했다. 동일한 C++ 코드를 macOS 노트북과 iOS 스마트폰의 Metal GPU, 안드로이드 스마트폰의 OpenCL GPU에서 실행했다. 구글 자체 시험에서 MacBook Pro의 SAM 2는 이미지 인코더와 마스크 디코더를 포함한 FP16 조건에서 애플 MLX보다 약 1.5배 빨랐다. 다만 구체적인 기기 사양과 전체 측정 조건은 자료에 제시되지 않았다.

코딩 에이전트는 객체가 계속 보이는지 판단하는 SAM 2의 프레임별 로직을 CPU 코드에서 그래프로 옮겼고, WebGPU에서 CPU 폴백을 일으키던 연산을 GPU 호환 산술 연산으로 바꿨다. Arm의 AI 담당 이사 로런스 모로니(Laurence Moroney)는 WebGPU에서 512×512 해상도 성능이 초당 10프레임 미만에서 30프레임 이상으로 올랐다고 평가했다. 동시에 일반적인 개발은 모델 변환부터 시작하고, 그래프 단위 제어나 전·후처리를 가속기에 유지해야 할 때만 C++ API를 쓰라고 조언했다.

구글은 직접 ML Drift 백엔드 지원, NPU 친화 연산 확대, 전체 그래프 자동 양자화, 이미지·배치·시퀀스 크기를 위한 동적 형태 지원을 추가할 계획이다. 이 기능들은 아직 제공 중인 기능이 아니라 개발 계획 단계다.

읽기 목록은 이 브라우저에 저장됩니다.