투게더 AI, 메가커널 대신 컴파일러 공개
최근 30일 조회수 — 좋아요 —핵심 요약
투게더 AI가 다양한 모델과 하드웨어에 맞춰 추론을 지속 최적화하는 컴파일러를 공개했다.

투게더 AI(Together AI)가 모델 전체의 순전파를 하나의 거대한 GPU 커널로 합치던 ‘메가커널’을 버리고, 여러 모델·하드웨어·트래픽 조건에 맞춰 추론을 지속적으로 최적화하는 투게더 컴파일러(Together Compiler)를 공개했다. 회사는 기본 토치 인덕터(Torch Inductor) 커널에 CUDA 그래프(CUDA Graphs)와 PDL을 적용하는 것만으로 기존 메가커널 성능의 98%를 회복했으며, ‘멀티커널’과 에이전트 루프를 더하면 오히려 최대 1.7배 빨라졌다고 밝혔다.1
메가커널은 모델의 연산을 강하게 결합해 커널 실행 오버헤드를 줄이고 연산과 메모리 이동을 겹칠 여지를 넓힌다. 기록적인 속도를 냈지만 운영 환경에 적용하기는 어려웠다. 투게더 AI가 수개월간 작업한 결과도 모델 하나, 배치 크기 하나, 고객 한 명을 지원하는 데 그쳤다. 새 모델 구조가 매주 나오고 요청의 배치 크기와 시퀀스 길이가 계속 달라지는 데다 하드웨어 종류까지 늘어나는 상황에서는, 특정 조합에 맞춘 단일 커널의 최고 속도보다 변화에 대응하는 최적화 체계가 더 중요하다는 판단이다.1
출발점은 torch.compile의 한계였다. torch.compile은 토치다이나모(TorchDynamo)로 파이썬 실행을 추적해 FX 그래프를 만들고, 인덕터가 이를 중간 표현으로 변환한 뒤 GPU 커널을 생성한다. 파이토치의 모듈식 개발 방식을 유지하면서 연산을 결합할 수 있지만, 투게더 AI는 휴리스틱과 벤치마킹 방식 때문에 성능 여지가 남는다고 봤다. CUDA 그래프는 반복 실행할 작업을 묶어 커널 실행 부담을 줄이며, 회사의 실험에서는 이처럼 비교적 단순한 구성 요소가 메가커널 성능 대부분을 대신했다.1
투게더 AI가 제시한 수치 가운데 대표 사례는 H100에서 실행한 라마 1B(Llama 1B)다. 멀티커널과 에이전트 루프를 적용했을 때 초당 1,100토큰(TPS)을 넘겼다. 다만 이는 회사가 공개한 자체 실험 결과다. 자료에는 다른 모델 크기나 GPU, 다양한 배치·시퀀스 길이를 아우르는 결과가 제시되지 않아, 투게더 컴파일러가 모든 운영 조건에서 같은 우위를 보이는지는 확인할 수 없다. 이번 공개의 핵심은 하나의 수작업 커널 기록이 아니라, 조건이 바뀔 때마다 최적화를 이어가는 생산 시스템으로 목표를 옮겼다는 데 있다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Last year we built megakernels. This year we deleted them: The road to Together Compiler — Together AI Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.