투게더 AI, 추론 최적화 컴파일러 공개
최근 30일 조회수 — 좋아요 —핵심 요약
투게더 AI는 모델·하드웨어·트래픽에 맞춰 추론 커널을 지속 재최적화하는 TKCC를 공개했다.

투게더 AI(Together AI)가 모델·하드웨어·트래픽 변화에 맞춰 추론 엔진의 커널을 계속 재최적화하는 투게더 컴파일러(Together Compiler·TKCC)를 공개했다. 회사 발표에 따르면 TKCC는 24시간 안에 최신 오픈소스 모델의 초당 처리 토큰 수(TPS)를 최대 2.6배 높였으며, 현재 수조 개 토큰을 처리하는 서비스에 투입돼 있다.1
TKCC가 겨냥한 문제는 AI 추론 환경의 파편화다. 투게더 AI는 오픈라우터(OpenRouter)의 상위 10개 오픈소스 대규모 언어 모델(LLM)이 모두 서로 다른 아키텍처를 쓴다고 설명한다. 고객별 배치 크기와 문맥 길이, 혼합 전문가(MoE) 모델의 전문가 쏠림, 어텐션 희소성도 제각각이다. H100·B200·B300·NVL72·VR·Groq 등 하드웨어마다 알맞은 최적화 전략 역시 다르다. 사람이 각 조합을 일일이 튜닝하기 어려운 규모라는 뜻이다.1
트래픽도 고정돼 있지 않다. 투게더 AI가 관측한 사례에서는 한 국가의 업무 시간대 프롬프트가 다른 국가보다 1.4배 길었다. 평균 길이는 각각 9만7천 토큰과 7만 토큰이었다. 새 모델 출시 2주 뒤에는 사용 방식이 채팅·평가에서 에이전트 작업으로 옮겨가며 프롬프트 길이가 80% 늘기도 했다. 요청이 갑자기 몰리면 프롬프트 길이가 두 배로 뛰고 캐시 적중률이 떨어질 수 있다.1
TKCC는 이런 트래픽 형태와 모델, 하드웨어를 입력받아 여러 에이전트가 추론 엔진의 최적화안을 생성하고 시험하는 구조다. 핵심은 엔진을 계속 띄워 두는 ‘퍼시스턴트 엔진(persistent engine)’이다. 기존 에이전트 기반 최적화 시스템은 실험할 때마다 vLLM, SGLang, TRT-LLM 같은 엔진을 시작하고 종료해 수십 분을 소비한다. TKCC는 엔진을 한 번만 시작한 뒤 후보 순전파 코드를 핫 리로드한다. 여러 에이전트는 메시지 보드로 아이디어를 공유하며 병렬로 실험을 공급한다. 투게더 AI는 이 방식이 기존 시스템보다 실험 처리량을 252배 높였다고 밝혔다.1
회사 측 측정에서 TKCC는 세미애널리시스(SemiAnalysis)의 InferenceX 저지연 벤치마크에서 MiniMax M3.1-Flash 1,111 TPS, DeepSeek v4.1-Flash 1,205 TPS를 기록했다. Llama 1B, 배치 크기 1 조건에서는 공개 메가커널보다 1.7배 빨랐다. 다만 이 수치는 투게더 AI가 공개한 결과이며, 자료에는 외부의 독립 재현 결과나 비교 실험의 세부 조건이 제시되지 않았다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Together Compiler: Continual Compilation for AI inference — Together AI Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.