Together AI, GPU 반값 선점형 컴퓨트 공개 프리뷰 출시

ai.euno.news 자동 뉴스 요약

Together AI가 GPU 클러스터의 사용료를 온디맨드 요금의 절반으로 낮춘 선점형 컴퓨트(preemptible compute)를 공개 프리뷰로 내놨다. Together AI 블로그에 따르면 모든 리전의 쿠버네티스 클러스터에서 바로 적용할 수 있고, 기존 클러스터든 신규 클러스터든 오늘부터 추가할 수 있다.

선점형 컴퓨트는 기존 “스탠다드 노드”와 별도로 운영되는 두 번째 컴퓨트 유형이다. 스탠다드 노드는 요청하면 동기적으로 확보되고 절대 회수되지 않는 반면, 선점형 노드는 같은 NVIDIA 가속 컴퓨트를 쓰면서도 남는 유휴 용량에서 배정받기 때문에 다른 곳에서 필요해지면 회수될 수 있다. 그 대가로 가격은 온디맨드 요금의 50%로 고정된다. 스팟 시장처럼 수요에 따라 가격이 출렁이는 구조가 아니라 항상 정해진 반값이라는 점이 특징이다. 과금은 1~2분 단위로 집계되는 시간 단위 이하(sub-hourly) 방식이어서, 12분 돌린 노드는 12분만큼만 청구된다.

노드가 회수될 때는 최대 5분의 드레인(drain) 절차를 거친다. 회수 시점(T+0)에 노드가 코든(cordon) 처리되고 TogetherPreempted 쿠버네티스 이벤트가 발생하면서 파드에 SIGTERM이 전달된다. 이후 최대 5분(terminationGracePeriodSeconds) 동안 체크포인트를 저장하고 종료할 시간이 주어지며, T+5:00에 노드가 제거된다. 클러스터는 노드가 사라진 뒤에도 목표로 설정한 선점형 용량 수치를 유지하면서 여유 용량이 생기는 대로 자동으로 다시 채워 넣는다. 사용자가 대체 용량을 따로 요청할 필요는 없다.

선점형 노드는 별도 클러스터가 아니라 기존 클러스터에 together.ai/compute-class=preemptible 레이블을 달고 합류하는 형태다. 따라서 코디네이터, 로그인 파드, 서빙 레플리카처럼 중단되면 곤란한 구성 요소는 스탠다드 노드에 남기고, 중단을 견딜 수 있는 워커만 선점형 노드로 돌리는 배치가 가능하다. Together AI는 이 대상을 어블레이션, 설정 스윕, 간단한 파인튜닝, 평가, 디스틸레이션, 배치 추론처럼 체크포인트에서 재개하거나 재시도할 수 있는 작업으로 제시한다. Ray Train이나 PyTorch Lightning 같은 프레임워크는 워커가 사라져도 별도 조치 없이 최신 체크포인트에서 이어서 돈다는 점도 언급했다. 예로 든 GLM5.3 Flash(321B 파라미터 모델)의 전체 가중치 체크포인트는 약 3.5TB인데, 성능이 저하된 병렬 파일시스템에서도 기록에 22초에서 4분이 걸려 5분짜리 드레인 창 안에서 충분히 처리된다고 설명했다. 추론 수요가 일시적으로 몰릴 때 표준 용량을 피크치에 맞춰 미리 잡아두는 대신 선점형 노드로 버스트를 흡수하는 용도도 제안됐다. 이때도 사용자에게 응답하는 레플리카는 스탠다드 노드에 남기고, 중단된 요청만 다시 큐에 넣는 방식이다.

반대로 체크포인트 없이 며칠씩 돌아가는 작업이나, 대체 수단 없이 엄격한 SLO를 지켜야 하는 서빙은 선점형 컴퓨트에 맞지 않는다고 Together AI는 밝혔다. 프리뷰 기간에는 노드 최소 유지 시간이 보장되지 않으므로 자주 체크포인트를 남기고 언제든 용량이 사라질 수 있다고 가정해야 한다. 클러스터에는 스탠다드 노드가 최소 한 개 있어야 하며, 스탠다드와 선점형 노드 간 전환은 지원되지 않는다. Together AI는 자사 내부 연구와 개발/테스트, 일부 비핵심 프로덕션 워크로드도 이미 선점형 컴퓨트 기반 클러스터로 운영하며 여러 제품팀이 여유 용량을 나눠 쓰고 있다고 덧붙였다.

읽기 목록은 이 브라우저에 저장됩니다.