TorchTitan, 최신 모델·TitanRL 지원

ai.euno.news 자동 뉴스 요약

PyTorch가 대규모 생성형 인공지능(AI) 학습 플랫폼 TorchTitan에 최신 오픈 웨이트 모델과 강화학습 도구 TitanRL을 추가했다. 21일 공개한 업데이트는 사전학습부터 사후학습, 강화학습까지 같은 PyTorch 모델과 코드베이스를 쓰도록 범위를 넓히고, 대규모 환경의 기본 성능과 통신 기능도 개선한 것이 핵심이다.¹

최신 모델을 5D 병렬화로 통합#

TorchTitan은 빠른 실험과 대규모 학습을 위한 PyTorch 네이티브 플랫폼이다. 최소한의 구현과 확장 지점을 유지해 연구와 실제 서비스 양쪽에서 활용할 수 있도록 설계됐다. 이번에는 Muse Spark Open·Muse Glimmer·Qwen3-VL·Qwen3.5·Kimi K2.7·Kimi K3·DeepSeek-V4를 새로 지원한다. 단순히 모델 정의만 추가한 것이 아니라 TorchTitan의 5D 병렬화 스택 전반에 걸쳐 학습 기능을 통합했다.¹

설정 방식도 바뀌었다. 타입이 지정된 파이썬 레시피와 모델 설정 변환, 구성요소별 덮어쓰기를 조합해 병렬화 전략이나 모델 부품, 하드웨어 전용 커널을 바꿀 수 있다. 모델마다 별도 포크를 관리할 필요를 줄이려는 설계다. Attention Gym의 Gated DeltaNet·Kimi Delta Attention·희소 어텐션 커널과 Helion의 융합 RoPE 커널을 선택적으로 적용하면서도 torch.compile과 호환된다. 멀티모달 데이터 파이프라인, 샘플 패킹, 허깅페이스 체크포인트 연동과 수치 검증 기능도 재사용할 수 있다.¹

학습과 추론의 모델을 하나로#

TitanRL은 TorchTitan에 강화학습을 연결한다. 기존 강화학습 스택은 학습용 모델과 추론용 모델을 따로 구현하는 경우가 있어, 구조 변경을 양쪽에 맞춰 반영해야 하고 보상·알고리즘·구현 불일치 가운데 무엇이 문제인지 가려내기 어렵다. TitanRL은 사전학습과 사후학습에 쓴 모델을 추론 엔진 vLLM 내부에서도 그대로 사용하는 방식으로 이 간극을 줄였다.¹

에이전트 강화학습을 위한 롤아웃은 비동기로 실행되며, 학습과 생성은 각각 여러 병렬화 방식을 이용해 확장된다. PyTorch 팀은 Qwen3.5-35B-A3B 기반 모델로 64K 문맥의 SWE-Rebench easy를 GB300 40개에서, 128K 문맥의 Tmax 15k 학습과 Terminal-Bench 2.1 평가를 GB300 20개에서 시험했다고 밝혔다. 장문 문맥, 코드 실행, 압축, 하네스, 자기대전 등이 필요한 작업에서 수백 단계 동안 혼합전문가(MoE) 모델과 밀집 모델의 학습이 안정적으로 진행됐다는 설명이다.¹

지원되는 온폴리시 설정에서는 배치 불변 모드를 켜 학습기와 생성기가 비트 단위로 같은 로그 확률을 내도록 할 수 있다. 두 출력의 차이를 매 단계 0으로 만들어 알고리즘이나 커널 변경의 영향과 수치 잡음을 구분하기 쉽게 한다. 다만 공개 자료는 몇 가지 시험 사례와 팀의 설명을 제시했을 뿐, 다른 프레임워크와의 정량 비교나 전체 벤치마크 결과는 담지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.