메타, GPU 확장 컴파일러 TLX 공개

ai.euno.news 자동 뉴스 요약

메타가 프로덕션 머신러닝(ML) 작업의 GPU 성능을 높이기 위해 트라이톤 저수준 확장(Triton Low-Level Extensions·TLX)을 공개했다. TLX는 트라이톤(Triton)의 생산적인 프로그래밍 방식을 유지하면서도 개발자가 워프 그룹과 클러스터 단위의 실행을 직접 조율할 수 있게 만든 확장 컴파일러다. 메타는 추천 시스템(RecSys) 학습·추론과 대규모 거대언어모델(LLM) 사전학습에서 성능 개선을 확인했다고 밝혔다.¹

TLX가 메우려는 간극은 GPU 하드웨어와 프로그래밍 모델 사이에 있다. 엔비디아 호퍼(Hopper)는 워프 특화와 텐서 메모리 가속기(TMA)를 도입했고, 블랙웰(Blackwell)은 텐서 메모리(TMEM), 클러스터 단위 실행, 페어드 CTA 실행 등 비동기 실행 기능을 더 확장했다. 이런 기능은 단순히 새 명령어를 추가하는 수준이 아니라 고성능 커널의 구성 방식 자체를 바꾼다. 기존의 고수준 모델만으로는 세밀한 실행 제어가 어렵고, 저수준 모델을 택하면 개발 속도를 잃기 쉽다는 게 메타의 문제의식이다.

TLX는 계산식보다 실행 조율에 초점을 맞춘다. 트라이톤이 퓨전과 컴파일러 기반 메모리 접근 최적화로 메모리 병목 작업을 다뤘다면, TLX는 실행 그룹과 비동기 데이터 이동, 공유 자원을 명시적으로 제어하는 기능을 보완한다. 이를 통해 개발자는 최신 GPU 기능을 활용하면서도 트라이톤 기반의 빠른 개발 흐름을 유지할 수 있다.

이 변화가 중요한 이유는 트라이톤이 이미 메타의 파이토치(PyTorch) 중심 ML 스택에서 핵심 위치를 차지하기 때문이다. 모델 코드는 그래프 캡처와 최적화, 컴파일, 하위 표현 변환을 거쳐 GPU 커널로 실행되며, 프로덕션 커널 가운데 상당수가 컴파일러 생성 또는 수작업 최적화 형태로 트라이톤에 구현돼 있다. 따라서 커널 계층의 개선은 여러 학습·추론 작업으로 확산될 수 있다. ML 엔지니어도 자동 튜닝과 퓨전, 메모리 배치 개선 등을 수시간 안에 반복할 수 있어 GPU 최적화가 일부 전문가만의 작업에 머물지 않는다.

메타에 따르면 TLX는 현재 사내 AI 학습부터 대규모 LLM 사전학습까지 실제 서비스 작업에 쓰이며 엔비디아와 AMD GPU를 모두 지원한다. 다만 공개 자료에는 작업별 측정 수치나 비교 조건이 제시되지 않아, 독립적인 성능 우위의 크기까지 판단하기는 어렵다.

읽기 목록은 이 브라우저에 저장됩니다.