넷플릭스, GPU 신뢰성 플랫폼 공개

ai.euno.news 자동 뉴스 요약

넷플릭스(Netflix)가 대규모 인공지능 학습·추론용 GPU 장애를 개별 하드웨어 문제가 아닌 분산시스템 문제로 다루는 신뢰성 플랫폼을 공개했다. 쿠버네티스(Kubernetes) 위에서 여러 계층의 상태 점검과 단계별 자동 복구, 체크포인트 기반 재시작을 결합한 결과, 넷플릭스가 집계한 GPU 노드 가용성은 99.95%를 넘었고 작업 성공률은 약 98%에서 99.5% 이상으로 올랐다.¹

수백 개 GPU가 보조를 맞춰 몇 주 동안 학습하는 환경에서는 GPU 하나나 네트워크 어댑터 하나가 고장 나도 전체 작업이 멈출 수 있다. 고장까지는 아니더라도 특정 장비가 느려지면 동기식 작업의 처리량이 함께 떨어진다. 가상머신이 실행 중이고 네트워크로 접근된다는 일반적인 클라우드 상태 점검만으로는 이런 이상을 찾기 어렵다. GPU가 상태 조회에는 정상 응답하지만 메모리를 할당하거나 연산을 오래 수행하면 실패할 수 있고, 네트워크 어댑터도 일부 링크만 살아 있어 통신 속도를 크게 낮출 수 있기 때문이다.¹

넷플릭스는 엔비디아 데이터센터 GPU 관리자(NVIDIA DCGM)로 오류와 메모리, 인터커넥트, 온도를 확인하고, 고속 엘라스틱 패브릭 어댑터(Elastic Fabric Adapter)의 상태와 개수도 검사한다. 쿠버네티스 노드 에이전트는 결과를 컨트롤러가 처리할 수 있는 노드 상태로 변환한다. 진단 도구가 멈춰 제한 시간을 넘기면 정상으로 간주하지 않고 해당 장비를 비정상 처리하는 ‘페일 클로즈’ 방식도 적용했다. GPU 진단 기능 자체가 고장 날 때를 대비해 커널 로그를 이용하는 우회 경로도 마련했다.¹

복구는 곧바로 장비 전체를 교체하는 대신 수위를 높여 간다. 일시적 문제라면 새 작업 배치부터 막고 기존 작업은 계속 실행한다. 이상이 지속되면 노드를 비우고 작업을 옮긴 뒤, 원인에 따라 문제 작업 종료, GPU 초기화, 재부팅, 장비 교체를 수행한다. 카펜터(Karpenter)의 노드 자동 복구 기능에는 장애별 허용 시간과 한 번에 중단해도 되는 클러스터 규모를 정하는 정책을 덧붙였다.¹

하드웨어 장애를 완전히 없앨 수 없다는 전제도 설계에 반영했다. 대규모 학습은 체크포인트와 탄력적 워커를 이용해 마지막 정상 지점부터 재개하며, 플랫폼은 실패한 작업을 자동으로 다시 시도한다. 다만 소프트웨어 결함이 있는 작업을 계속 재시작하지 않도록 애플리케이션 오류는 별도로 분류한다. 작업 전체를 분산시스템으로 관찰해 다른 워커를 붙잡는 느린 랭크도 찾아낸다.¹

추론 영역에서는 엔비디아 멀티 인스턴스 GPU(MIG)로 메모리를 격리한 채 소규모 작업이 GPU를 공유하도록 했다. 넷플릭스는 앞으로 쿠버네티스 동적 자원 할당(DRA)을 도입해 GPU와 네트워크 어댑터, CPU의 장비 내부 위치까지 고려하는 배치를 추진하고 있다. 다만 공개된 수치는 넷플릭스 자체 보고이며, 구체적인 측정 기간과 작업 구성은 자료에 제시되지 않았다.¹

읽기 목록은 이 브라우저에 저장됩니다.