구글, 온디바이스 AI 엔진 ML 드리프트 공개

ai.euno.news 자동 뉴스 요약

구글이 온디바이스 인공지능(AI) 추론을 여러 제조사의 그래픽처리장치(GPU)에서 실행할 수 있는 오픈소스 엔진 ‘ML 드리프트(ML Drift)’를 공개했다. 아파치 2.0 라이선스를 적용했으며 OpenGL ES, OpenCL, Metal, WebGPU를 지원한다. 기기마다 다른 GPU 구조와 드라이버, 저수준 API를 하나의 계층으로 감춰 개발자가 실행 환경을 미리 알기 어려운 엣지 애플리케이션의 이식성을 높이는 것이 목표다.¹

ML 드리프트는 구글의 경량 추론 런타임 LiteRT에서 GPU 가속을 담당하는 핵심 엔진이다. 기존 컴퓨터 비전과 오디오·깊이 처리부터 생성형 AI까지 다루며, 애플리케이션 개발자는 LiteRT 가속기로 이용할 수 있다. GPU·시스템 엔지니어에게는 사용자 정의 GpuModel 연산 그래프와 셰이더를 만들 수 있는 저수준 C++ API도 제공한다.

기존 TensorFlow Lite GPU 델리게이트와 비교하면 텐서 가상화를 통한 통합 셰이더, 확장 가능한 사용자 정의 연산, 5차원 텐서 지원이 추가됐다. Arm·인텔·퀄컴 GPU에 맞춘 최적화도 포함됐다. 데스크톱에서는 크로미엄의 WebGPU 구현체인 Dawn을 통해 윈도와 리눅스를 지원한다. Dawn이 WebGPU의 하드웨어 추상화 계층을 제공하므로 개발자가 DirectX나 Vulkan을 직접 다룰 필요가 없다. macOS에서는 네이티브 Metal 백엔드를 유지한다.¹

구글이 개발자용 워크스테이션에서 Gemma 모델로 측정한 결과, ML 드리프트의 메모리 오버헤드는 llama.cpp와 MLX LM 등 다른 프레임워크보다 12% 낮았다. 실제 서비스에서는 유튜브 쇼츠의 분할 기반 효과 평균 프레임 지연 시간을 안드로이드와 iOS에서 최대 40% 줄였고, 구글 포토의 계산 사진·분할 처리는 최대 2초 단축했다. 어도비 라이트룸과 포토샵의 일부 AI 편집 기능은 최대 30% 빨라졌으며, 스냅챗의 안드로이드 얼굴·스타일 생성 효과는 모델 지연 시간이 30% 감소했다. 구글은 크롬과 미트 등을 포함해 이미 수백만 대의 기기에서 ML 드리프트가 작동한다고 밝혔다.¹

다만 이 수치는 구글이 공개한 자체 측정 결과다. 최근 아이폰에서 널리 쓰이는 Core ML과의 지연 시간·메모리 비교 자료는 제시되지 않았다. 구글은 앞으로 기존 TensorFlow Lite GPU 델리게이트의 업데이트를 중단하며, 기존 모델의 호환성을 유지하려면 LiteRT의 ML 드리프트 GPU 가속기로 이전하라고 권고했다.¹

읽기 목록은 이 브라우저에 저장됩니다.