구글, 엣지 GPU 엔진 ML 드리프트 공개

2분 구글 AI엣지 AIGPU오픈소스
최근 30일 조회수 — 좋아요 —

핵심 요약

구글이 다양한 엣지 GPU와 API를 통합 지원하는 AI 추론 엔진 ML 드리프트를 오픈소스로 공개했다.

구글, 엣지 GPU 엔진 ML 드리프트 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

구글 AI 엣지 팀이 온디바이스 AI·머신러닝 추론용 GPU 컴퓨팅 엔진 ‘ML 드리프트(ML Drift)’를 아파치 2.0 라이선스로 오픈소스 공개했다. ML 드리프트는 서로 다른 모바일·엣지 GPU와 저수준 API의 차이를 추상화해, 개발자가 한 기반 위에서 실시간 영상 효과부터 생성형 AI까지 구현하도록 설계됐다. 구글의 경량 추론 런타임 LiteRT에서 핵심 GPU 가속 엔진으로 쓰이며, 맞춤형 그래픽·추론 런타임을 위한 독립 라이브러리로도 제공된다.1

데이터센터는 대체로 구성이 일정한 가속기 클러스터에서 모델을 실행하지만, 엣지 환경은 GPU 아키텍처와 드라이버 버전, 지원 API가 기기마다 다르다. ML 드리프트는 OpenGL ES, OpenCL, Metal, WebGPU를 포괄해 이 차이를 하나의 실행 기반으로 묶는다. 기존 텐서플로 라이트 GPU 델리게이트가 마련한 가속 구조를 확장해 컴퓨터 비전·오디오·깊이 처리 같은 전통적 모델뿐 아니라, 연산량과 메모리 요구가 큰 생성형 AI까지 겨냥했다.

핵심 변화는 ‘텐서 가상화’다. 이전에는 논리적 텐서를 GPU의 텍스처나 버퍼에 연결하는 방식을 백엔드별 셰이더 코드에 직접 넣어야 했다. ML 드리프트는 논리 표현과 물리 할당을 분리하고, 컴파일러 초기화 단계에서 동적 셰이더 템플릿이 좌표를 변환하도록 했다. 구글은 이 방식이 실행 시 부하를 작게 유지하면서도 백엔드별 코드 중복을 줄이고 모델 이식성을 보존한다고 설명했다.1

맞춤 연산자 프레임워크도 손봤다. 개발자는 저수준 셰이딩 언어에 접근하는 등록 API로 특수 모델 블록을 실행 그래프에 넣을 수 있다. 코딩 에이전트가 맞춤 셰이더의 작성·등록·검증을 돕도록 SKILL.md 안내서도 포함했다. 아울러 4차원 텐서에 고정됐던 기존 구조를 넘어 5차원 텐서를 기본 지원한다. 이에 따라 3D 합성곱 신경망과 시공간 모델을 엣지 GPU에서 직접 처리할 수 있으며, 구글은 YOLO 11n, MobileViT v2, Swin Transformer v2를 사례로 들었다.1

다만 이번 자료는 구글의 공개 발표로, 구체적인 기기별 성능 수치나 기존 GPU 델리게이트와의 벤치마크 결과는 제시하지 않았다. 따라서 여러 플랫폼을 하나의 구조로 지원한다는 설계상의 이점과 실제 제품 환경에서의 속도·메모리 효율은 구분해 볼 필요가 있다.

Footnotes

  1. Google Developers Blog, “ML Drift: Next-Gen GPU AI/ML Inference at the Edge” ↩ ↩2 ↩3

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. ML Drift: Next-Gen GPU AI/ML Inference at the Edge — Google Developers Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.