에이전트 AI 추론 플랫폼 검증법 공개
최근 30일 조회수 — 좋아요 —핵심 요약
실측·재생·합성 워크로드를 결합해 실제 에이전트 트래픽의 추론 성능을 단계별로 검증하는 방법론이 제안됐다.

기업이 에이전트형 인공지능(AI) 워크로드를 폐쇄형 API에서 자체 오픈웨이트 모델로 옮길 때, 시험부터 운영까지 추론 플랫폼을 단계별로 검증하는 방법론이 공개됐다. 11월 19일 아카이브(arXiv)에 제출된 논문은 소규모 시험, 용량 산정, 사전 운영, 실제 운영을 잇는 종단 간 평가 파이프라인을 제안하고, 시험한 구성에서 실시간 실행, 트레이스 재생, 합성 워크로드가 상호 보완적이라고 설명한다.1
이 연구가 겨냥한 문제는 임시로 조합한 평가 도구의 정확도를 제대로 확인하지 않은 채 배포 규모를 결정하는 관행이다. 특히 같은 세션을 실시간으로 다시 실행해도 토큰 부하가 크게 변할 수 있다. 연구진은 실제 에이전트 세션에서 캡처한 트레이스를 재생하는 방식으로 이 변동을 줄였다.
실험 결과 95백분위에서 트레이스 재생의 입력 토큰 수는 기록 당시의 1.18배 이내였다. 반면 에이전트를 실시간으로 다시 실행한 경우에는 4.98배까지 벌어졌다. 따라서 적은 수의 기록 세션만 있어도 세션별 토큰 부하를 반복해서 재현할 수 있다는 것이 연구진의 결론이다. 다만 재생만으로 모든 동작을 대신할 수는 없다. vLLM 코드 커버리지를 분석하자 실시간 실행, 트레이스 재생, 합성 워크로드가 각각 다른 방식에서는 도달하지 못한 파이썬 서빙 경로를 실행했다. 세 평가 방식이 서로 대체재가 아니라 보완재라는 뜻이다.
실제 배포 사례에서는 차이가 더 뚜렷했다. 연구진이 llm-d에서 대규모 전문가 혼합(Mixture-of-Experts·MoE) 모델 4종을 시험한 결과, 캡처한 워크로드에서 달성한 동시성은 공개 트레이스로 측정한 최적치의 약 절반에 그쳤다. 처리량도 공개 트레이스 기준의 약 60%였다. 공개 벤치마크만으로 시스템 규모를 정하면 실제 에이전트 트래픽에서 성능을 과대평가할 수 있음을 보여준다.
연구진은 평가 도구와 트레이스 데이터셋을 공개했다. 다만 코드 커버리지의 상호 보완성은 논문에서 시험한 vLLM 구성과 측정 실행에 한정된 결과이며, 논문 역시 동료평가를 거친 확정 연구가 아니라 아카이브에 제출된 초판이다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Validation-driven Deployment of LLM Inference Platforms for Agentic Workloads — arXiv (cs.AI/cs.CL/cs.LG)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.