투게더 AI, IBM 클라우드에 B300 추론 클러스터 구축

ai.euno.news 자동 뉴스 요약

투게더 AI(Together AI)가 IBM·엔비디아(NVIDIA)와 손잡고 IBM 클라우드에 엔비디아 B300 GPU 기반 기업용 인공지능(AI) 추론 클러스터를 구축한다. 엔비디아 스펙트럼-X(Spectrum-X) 이더넷을 적용한 전용 대규모 클러스터로, 투게더 AI는 IBM 클라우드에서 이 인프라를 사용하는 첫 고객이라고 밝혔다.¹

세 회사의 역할은 분명히 나뉜다. 엔비디아는 B300 GPU와 고처리량 추론용 네트워크를 공급하고, IBM은 클라우드와 기업용 핵심 시스템 운영 역량을 맡는다. 투게더 AI는 그 위에서 오픈 모델을 실제 서비스에 배치하고 실행하는 추론 계층을 운영한다. 범용 연산 자원을 필요에 따라 빌리는 방식이 아니라, 처음부터 추론에 맞춘 전용 클러스터라는 점이 핵심이다.

이번 확충의 배경에는 빠르게 늘어나는 토큰 처리량이 있다. 투게더 AI는 현재 개발자 100만 명 이상에게 매달 수백조 개의 토큰을 제공하고 있으며, 앞으로 토큰 수요가 더욱 가파르게 증가할 것으로 예상한다고 설명했다. B300과 스펙트럼-X를 묶은 인프라는 이런 대규모 요청을 높은 처리량으로 소화하기 위한 선택이다.

투게더 AI는 기업과 AI 전문 기업이 오픈 모델을 택하는 이유로 데이터 주권과 비용을 들었다. 민감한 데이터를 자체 통제하면서 폐쇄형 모델보다 낮은 비용으로 최상위권 성능을 얻을 수 있고, 사용량이 커질수록 비용 차이가 벌어진다는 주장이다. 여기에 IBM의 기업 인프라 운영 경험을 결합해 처리량뿐 아니라 안정성·보안·통제 장치까지 갖추겠다는 구상이다.

다만 공개된 내용은 협력 방향과 구성 요소에 집중돼 있다. 클러스터의 GPU 수, 가동 시점, 처리 성능, 가격, 기존 인프라 대비 비용 절감 폭은 제시되지 않았다. ‘가장 빠르고 효율적인’ 오픈 모델 추론 플랫폼이라는 설명과 비용 우위 역시 투게더 AI의 자체 평가로, 이번 발표만으로 객관적인 비교 결과를 확인할 수는 없다.

읽기 목록은 이 브라우저에 저장됩니다.