메타, AI 전용 네트워크 프로토콜 'MetaRoCE'와 칩 'MTIA 300' 공개

ai.euno.news 자동 뉴스 요약

메타가 인공지능 학습과 서빙을 뒷받침할 네트워크 전송 프로토콜과 자체 칩을 함께 공개했다. 새 RDMA 전송 프로토콜 'MetaRoCE'와 통신 기능을 내장한 첫 학습용 칩 'MTIA 300'이다. 두 발표 모두 8월 24일 메타 엔지니어링 블로그를 통해 나왔으며, MetaRoCE는 사양서와 참조 구현, 준수성 테스트 스위트를 오픈컴퓨트프로젝트(OCP)에 공개해 업계가 함께 쓸 수 있도록 했다.[^1]

메타에 따르면 MetaRoCE는 이런 문제의식에서 출발했다. 수십만 개 GPU를 여러 데이터센터와 리전에 걸쳐 묶어 학습이나 추론을 돌릴 때, 가속기 간 통신이 느려지면 그만큼 연산 자원이 놀게 된다는 것이다. 학습에서는 all-reduce, all-to-all 같은 집단 연산이 가장 느린 전송 속도에 맞춰 전체 작업 속도가 정해지고, 추론에서도 분산된 모델 조각 간 지연이 응답 시간에 그대로 반영된다.[^1]

MetaRoCE는 기존 RoCE(RDMA over Converged Ethernet)가 전제해온 무손실·순서 보장 네트워크 방식을 버렸다. 표준 RoCE는 PFC(우선순위 흐름 제어)로 손실 없는 전달을 스위치에 맡기고 패킷이 순서대로 도착하길 기대하는데, MetaRoCE는 이 지능을 엔드포인트, 즉 NIC로 옮긴다. 패킷을 여러 경로로 흩뿌려 보내는 것을 기본값으로 삼고, 각 패킷이 목적지 메모리 위치를 직접 담고 있어 순서가 뒤바뀌어도 재정렬 버퍼 없이 바로 기록된다. 경로별로 왕복 시간과 혼잡 상태를 따로 추적해 특정 경로가 막히면 그 경로만 우회시키고, 손실이 나도 재전송으로 처리할 뿐 별도의 일시정지 프레임을 쓰지 않는다.[^1]

MTIA 300은 이런 네트워크 철학을 칩 설계에 반영한 사례다. 메타 자체 개발 가속기(Meta Training and Inference Accelerator) 계열 중 랭킹·추천 모델 학습에 맞춘 첫 제품으로, 임베딩 테이블이 전체 파라미터의 99% 이상을 차지하는 추천 모델 특성상 연산량보다 통신량이 병목이라는 점에 착안했다. 칩 패키지 안에 800Gbps RDMA NIC 12개를 내장해 PCIe 버스를 거치지 않고 총 1.2TB/s의 입출력 대역폭을 확보했고, 작업 요청을 쓰는 동작 자체가 도어벨 역할을 하도록 만들어 연산당 약 800나노초를 절약했다. 통신 전용 처리 유닛인 메시지 엔진 16개가 별도로 마련돼 있어, GPU에서 NCCL 같은 라이브러리가 스트리밍 멀티프로세서를 잠식하며 연산과 통신을 경쟁시키는 구조와 달리 학습 연산과 집단 통신이 거의 완벽하게 격리된다고 메타는 설명한다.[^2]

다만 이번 자료에는 MetaRoCE나 MTIA 300을 경쟁 제품·기존 RoCE와 정량 비교한 벤치마크 수치는 포함돼 있지 않다. MTIA 300도 범용 대형언어모델 학습이 아니라 추천·랭킹 모델에 특화된 칩이라는 점에서, 메타가 강조하는 "GPU 대비 우월한 성능"이 어떤 조건에서의 비교인지는 원문에서 구체적으로 확인되지 않는다.

[^1]: Meta Engineering, "MetaRoCE: A New RDMA Transport Built for AI-Scale Ethernet"
[^2]: Meta Engineering, "MTIA 300: Meta's First Training Chip with Built-in NICs and Communication-Offloading Engines"

읽기 목록은 이 브라우저에 저장됩니다.