NEWS / BRIEFING

에디터 브리핑

에디터 요약
요청별 실행 경로 조정하는 LLM 서빙 모프 — 기사 주제를 표현한 AI 생성 개념 삽화

AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

LLM 인프라 연구는 요청별 실행 경로 최적화에서 GPU 커널의 재현성, 코딩 에이전트의 실제 개발 역량 검증까지 범위를 넓히고 있다. 처리량 개선뿐 아니라 배치 환경의 신뢰성과 다중 파일·GPU 과제에서의 정확성을 함께 평가해야 한다는 흐름이 드러난다.

  1. 요청별 실행 경로 조정하는 LLM 서빙 모프

    모프가 요청 특성에 맞춰 어텐션·SSM 실행 경로를 선택하고, 선택적 배칭과 문맥 캐시로 실제 서빙 문제까지 다룬 방식을 살펴볼 수 있다.

  2. GPU 커널 배치 불변성 통과율 91.9%

    LLM 생성 GPU 커널의 출력이 배치 구성에 따라 달라지는 문제와, 정적 분석·동적 검증으로 통과율을 67.6%에서 91.9%로 높인 방법을 보여준다.

  3. AI 인프라 코딩 벤치마크 공개

    최고 성능 에이전트도 실제 다중 파일·GPU 과제의 38.9%만 해결했다. 공식 테스트를 통과한 제출물의 32%가 추가 검증에서 탈락해 평가 설계의 중요성을 드러낸다.

· · 자동 요약이며 원문 출처를 함께 확인해 주세요.

최근 소식

조회 · 최근 30일

기사 통계를 확인하고 있습니다.