엔비디아, GPU 장애 진단 AI 에이전트 공개

ai.euno.news 자동 뉴스 요약

엔비디아가 대규모 GPU 클러스터의 장애를 여러 계층에 걸쳐 진단하고 대응 방안을 제시하는 ‘AI 팩토리 운영 에이전트(AI Factory Operations Agent)’를 공개했다. 엔비디아 기술 블로그에 따르면 이 체계는 사내 엔비디아 DGX 슈퍼팟(DGX SuperPOD) 운영에 적용됐으며, 사이트 신뢰성 엔지니어(SRE)가 여러 대시보드를 오가며 수행하던 원인 분석을 하나의 채팅 인터페이스로 묶는다.¹

GPU 클러스터가 커질수록 장애 원인은 컴퓨트와 네트워크, 하드웨어, 작업 스케줄러에 걸쳐 얽힌다. 훈련 성능이 떨어졌을 때도 각 계층을 따로 확인해서는 상관관계를 찾기 어렵다. 엔비디아는 이를 해결하기 위해 운영 영역별 전문 에이전트를 두고, 에이전트끼리 모델 콘텍스트 프로토콜(MCP)로 정보를 주고받게 했다. 실제 운영 환경에서는 이들이 장애를 감지하고 계층을 넘나들며 근본 원인을 연결한 뒤 권고 사항을 내놓는다. SRE는 자연어로 조사 대상을 바꾸거나 이전 작업을 이어갈 수 있으며, 에이전트가 실행한 조치는 감사 목적으로 추적할 수 있다.

개발 예제의 중심에는 엔비디아 네모클로(NemoClaw) 블루프린트가 있다. 네모클로가 사용자 요청을 적절한 도메인 에이전트와 도구로 보내고, 에이전트는 오픈클로(OpenClaw) 플러그인과 MCP 서버를 거쳐 인프라에 접근한다. 각 MCP 서버에는 승인된 운영 도구만 노출된다. 추론에는 로컬에서 제공하는 엔비디아 네모트론(Nemotron) 공개 모델을 쓰며, 프레임워크는 온프레미스 구성이 가능하다. 엔비디아 내부에서는 DGX H100·B200·GB300 운영 클러스터에 걸쳐 가동되고 있다.¹

배포 단위는 쿠버네티스(Kubernetes) 제어 평면 애플리케이션이다. Helm이 사용자 인터페이스와 게이트웨이, MCP 도구 서버, 추론 엔드포인트, 오픈셸(OpenShell) 런타임을 각각 서비스로 배포한다. 셸 명령은 주 게이트웨이 파드가 아니라 세션별 샌드박스에서 실행되며, 기존 서비스와 운영 워크로드는 수정하지 않는다고 엔비디아는 설명했다.

권한도 분리했다. 쿠버네티스 점검은 등록된 읽기 전용 자격 증명과 고정된 kubectl을 사용하는 서버 측 도구가 맡고, 오픈셸에는 kubectl이나 쿠버네티스 자격 증명을 주지 않는다. 공개된 예시에서 에이전트는 파드와 컨피그맵을 조회할 수 있지만 시크릿 조회나 파드 생성·수정은 할 수 없다. 다만 엔비디아가 제시한 내용은 자사 배포 경험과 개발 예제를 설명한 것으로, 장애 진단 정확도나 SRE 업무량 감소 폭을 보여주는 정량 평가는 공개되지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.