규제 AI 위한 LLM 추론 검증 파이프라인
최근 30일 조회수 — 좋아요 —핵심 요약
마스터컨트롤이 성능·비용·규정 준수·감사 가능성을 함께 검증하는 내부 도구 런웨이를 제안했다.
규제 산업에서 대규모 언어 모델(LLM)의 추론 구성을 성능뿐 아니라 계약·법률 준수, 비용, 감사 가능성까지 따져 승인하는 의사결정 파이프라인이 제안됐다. 마스터컨트롤(MasterControl)이 개발한 내부 검증 도구 런웨이(Runway)는 엔비디아 AIPerf의 측정 결과를 토대로, 고객 요청을 처리하기 전에 특정 구성이 의무 조건을 충족하는지 판단하도록 설계됐다.1
핵심은 측정과 의사결정을 분리하는 데 있다. AIPerf는 추론 성능을 측정하고, 런웨이는 측정 전 단계에서 실험을 설계한다. 측정이 끝난 뒤에는 결과를 규정 준수 여부와 비용, 감사에 필요한 근거로 연결한다. 논문 저자들은 캐시와 감사를 하나의 저장 구조로 처리했다고 설명한다. 이미 수행한 실험 결과를 재사용하면서도 어떤 구성과 조건에서 결과가 나왔는지 추적할 수 있게 만든 셈이다.
이 구조가 필요한 이유는 가장 빠른 추론 엔진을 고르는 것만으로는 계약·법률 준수 요건을 충족하기 어렵기 때문이다. 런웨이로 여러 구성을 탐색한 결과, 텐서RT-LLM(TensorRT-LLM)과 vLLM의 성능 순위는 동시 요청 수에 따라 뒤집혔다. 하드웨어 가격만으로 비용을 판단하기도 어려웠다. 저자들은 더 새롭고 비싼 GPU 인스턴스가 요청당 비용에서는 오히려 저렴할 수 있다고 보고했다.
추측 디코딩(speculative decoding) 역시 엔진에 공통으로 적용되는 단순한 가속 옵션은 아니었다. 부하가 걸리면 엔진마다 작동 양상이 달라졌고, 경우에 따라서는 어떤 엔진을 선택했는지보다 엔진을 어떻게 설정했는지가 결과에 더 큰 영향을 줬다. 따라서 런웨이는 단일 벤치마크 순위 대신 동시성, GPU 인스턴스, 디코딩 설정을 함께 검증하는 접근을 취한다.
다만 이번 자료는 2026년 11월 9일 제출된 arXiv 사전 논문이며, 런웨이는 마스터컨트롤의 내부 도구다. 초록에는 성능이나 비용 차이를 보여주는 구체적인 수치가 제시되지 않아, 세 결과의 크기와 다른 규제 환경에서의 재현 가능성까지 판단하기는 어렵다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Inference Validation for Regulated AI: Building a Decision Pipeline on NVIDIA AIPerf — arXiv (cs.SE)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.