GPU 커널 배치 불변성 통과율 91.9%

ai.euno.news 자동 뉴스 요약

대규모언어모델(LLM) 에이전트가 생성한 GPU 커널이 배치 구성에 따라 서로 다른 출력을 내는 문제를 막기 위한 기법이 제안됐다. 10월 27일 arXiv에 공개된 논문은 정적 의존성 분석과 동적 검증을 결합해 배치 불변성(Batch Invariance·BI)을 강제한다. 연구진이 이 기법을 적용한 결과, 커널의 BI 통과율은 67.6%에서 91.9%로 24.3%포인트 높아졌다.¹

LLM 서빙 시스템은 GPU를 효율적으로 쓰기 위해 여러 사용자의 요청을 동적으로 묶어 처리한다. 이때 같은 요청도 실행할 때마다 서로 다른 요청과 한 배치에 들어갈 수 있다. 커널에 BI가 보장되지 않으면 입력이 같아도 함께 처리된 요청에 따라 수치 출력이 달라져 재현성이 깨진다. 기존 커널 생성 에이전트는 주로 연산의 정확성과 실행 속도를 최적화했지만, 논문은 BI가 별도의 신뢰성 조건으로 충분히 다뤄지지 않았다고 지적한다.

실제 공개 결과물에서도 문제가 확인됐다. 연구진이 배치 처리에 적용할 수 있는 커널 산출물 83개를 조사한 결과, 19개에서 BI 위반이 확인됐다. 약 23%에 해당하는 비율로, 개별 입력의 정확성 검사만 통과했다고 해서 배치 구성이 바뀐 환경에서도 같은 결과를 낸다고 볼 수 없다는 뜻이다.

제안 기법은 먼저 명시된 계약을 기준으로 정적 의존성 분석을 수행해 구조적으로 위험한 후보를 걸러낸다. 이어 서로 다른 배치 문맥에서 결과가 비트 단위로 일치하는지 동적으로 확인한다. 두 검사는 에이전트의 최적화 반복 과정에서 연속된 승인 관문으로 작동한다. 위험하거나 실제로 출력이 달라지는 후보는 성능 측정 전에 거부하고, 그 이유를 에이전트에 돌려줘 다음 커널 생성에 반영한다.

이 방식은 기존 커널 에이전트에 붙이는 플러그인 구성이라 원래의 최적화 기능을 그대로 활용할 수 있다. 세 가지 에이전트 프레임워크와 실제 LLM 서빙 작업을 대상으로 한 실험에서는 BI 통과율을 끌어올리면서도, 기존 방식이 달성한 기하평균 속도 향상의 91.8%를 유지했다. 다만 논문이 제시한 수치는 세 프레임워크와 해당 작업 범위의 결과다. 더 다양한 커널과 하드웨어에서도 같은 수준의 신뢰성과 성능 균형을 보이는지는 이번 자료만으로 확인할 수 없다.

읽기 목록은 이 브라우저에 저장됩니다.