LLM 에이전트, 응답 대기 중 실행 환경 낭비

2분 LLM 에이전트서버리스AgentCore자원 효율
최근 30일 조회수 — 좋아요 —

핵심 요약

LLM 에이전트가 모델 응답을 기다리며 서버리스 실행 환경을 장시간 점유해 자원 배치 효율을 떨어뜨린다는 분석이 나왔다.

LLM 에이전트, 응답 대기 중 실행 환경 낭비 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모언어모델(LLM) 에이전트가 모델의 답을 기다리는 동안 서버리스 런타임의 실행 환경을 사실상 놀린다는 분석이 나왔다. 11월 19일 공개된 논문 「Held While Waiting」에 따르면 아마존 베드록 에이전트코어(Amazon Bedrock AgentCore)에서 에이전트는 모델 응답 하나를 평균이 아닌 중앙값 기준 2.7초 기다렸지만, 실제 연산 시간은 5~40밀리초로 추정됐다. 짧은 연산을 위해 대기 시간 내내 메모리를 갖춘 가상머신이 대화마다 하나씩 묶이는 구조다.1

에이전트코어는 대기 중인 중앙처리장치(CPU) 사용료를 청구하지 않는다. 문제는 요금보다 자원 배치다. 대화 1,000개가 동시에 진행되면 실행 환경도 1,000개가 예약되지만, 연구진이 계산한 실제 작업량은 프로세서 코어 2~15개 수준이다. 처리 능력이 바닥나기 전에 실행 환경 수가 먼저 한계에 닿는 셈이다.

낭비는 대화가 끝난 뒤에도 이어졌다. 연구진의 고객 서비스 벤치마크에서 대화는 평균 33초 동안 진행됐지만, 클라이언트가 명시적으로 닫지 않으면 실행 환경은 이후 15분 동안 더 유지됐다. 이 문제는 클라이언트가 세션을 종료하도록 구현하는 것만으로 줄일 수 있다.

더 근본적인 원인은 실행 환경 하나가 대화 하나만 맡는 격리 방식이다. 연구진의 시뮬레이션에서는 실행 환경 하나를 64개 대화가 공유했을 때 필요한 환경 수가 59분의 1로 줄었다. 응답 100개 가운데 99개에 추가된 지연도 최대 40밀리초였다. 다만 공유 구조는 플랫폼 차원의 지원이 필요하며, 연구진이 조사한 에이전트 런타임 가운데 이를 일부라도 허용한 곳은 하나뿐이었다.

여기에는 보안상의 이유가 있다. 에이전트는 모델이 고른 도구를 실행하고 때로는 코드까지 돌리므로, 서로 다른 대화를 분리해야 한다. 논문은 대기 중인 대화마다 별도 환경을 예약하지 않으면서도 이 격리를 유지하는 일을 미해결 과제로 꼽았다. 또한 5~40밀리초라는 연산 시간은 직접 측정값이 아니라 추정치다. 모형 모델을 쓰거나 모델 호출 전후에 타이머를 두는 방식, 작업 단계를 연속 실행하는 방식은 모두 그럴듯하지만 실제보다 낮은 수치를 냈다고 연구진은 밝혔다.1

Footnotes

  1. arXiv, 「Held While Waiting: What LLM Agent Sessions Reserve on Serverless and Agent Runtimes」 ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Held While Waiting: What LLM Agent Sessions Reserve on Serverless and Agent Runtimes — arXiv (cs.DC)

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.