엔비디아, AI 에이전트 런타임 공개

ai.euno.news 자동 뉴스 요약

엔비디아(NVIDIA)가 대규모 AI 에이전트의 유휴 자원 낭비를 줄이는 오픈소스 런타임 ‘에이전트 서브스트레이트(Agent Substrate)’를 공개하고 클라우드 네이티브 컴퓨팅 재단(CNCF) 샌드박스에 기증했다. 여러 에이전트 세션을 소수의 쿠버네티스(Kubernetes) 워커 파드에 나눠 싣고, 쉬는 세션의 메모리와 파일시스템을 체크포인트로 저장하는 방식이다. 엔비디아는 표준 컨테이너보다 최대 10배 높은 밀도로 수백만 개의 에이전트와 도구를 안전하게 실행하도록 설계했다고 밝혔다.¹

쿠버네티스는 오래 실행되는 웹 서비스에는 잘 맞지만, 짧게 작업하고 자주 기다리는 에이전트에는 비효율적이다. 에이전트는 셸 명령 실행, 파일 수정, 테스트, 거대언어모델(LLM) 호출을 마친 뒤 사람의 입력이나 도구·모델의 응답을 기다린다. 대기 시간은 수 밀리초에서 수 분까지 이어지지만 작업 디렉터리와 프로세스 등 상태는 유지해야 한다.

세션마다 파드를 하나씩 계속 띄우면 쉬는 동안에도 메모리를 점유한다. 반대로 요청이 올 때마다 파드를 만들면 API 서버, 어드미션, etcd, 스케줄러, kubelet, 이미지 내려받기와 네트워크 설정을 거쳐야 해 수 초가 걸린다. 10밀리초짜리 명령을 초당 수백 번 처리해야 하는 샌드박스에는 이 지연이 크다.

에이전트 서브스트레이트는 준비된 워커 파드 풀과 별도의 제어 영역을 둬 이 문제를 피한다. 에이전트가 쉬기 시작하면 gVisor 또는 마이크로 가상머신에서 상태를 스냅샷으로 빼내 워커를 반환한다. 다음 요청이 들어오면 새 파드를 생성하지 않고 비어 있는 워커에 메모리와 파일시스템을 복원한다. 워커 자체는 일반 쿠버네티스 파드이므로 기존 클러스터의 스케줄링, 할당량, 배치 정책도 계속 적용된다.

주요 대상은 지속적인 개발 환경이 필요한 코딩 도우미와 에이전트 서비스, 그리고 강화학습(RL) 후처리다. 특히 검증 가능한 보상을 쓰는 강화학습은 코드 샌드박스·컴파일러·브라우저·시뮬레이터 수요가 일시에 몰리며, 실험 단계의 수백 개 환경이 운영 단계에서 수십만 개로 늘 수 있다. 가장 느린 환경이 다음 학습 배치의 도착 시점을 좌우하므로 콜드 스타트는 GPU까지 기다리게 만든다. 다만 10배 밀도와 수백만 개 규모는 엔비디아가 밝힌 설계 목표·성능 주장으로, 자료에는 독립적인 벤치마크 결과가 제시되지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.