SFT 완료 시간 예측, FLOP 방식 능가
최근 30일 조회수 — 좋아요 —핵심 요약
Dharma AI의 CatBoost 모델이 H200 기반 SFT 작업 완료 시간을 R² 0.98, MAE 1.71시간으로 예측했다.

Dharma AI가 공유 GPU 클러스터에서 지도 미세조정(SFT) 작업의 완료 시간을 배치 전에 예측하는 모델을 공개했다. 엔비디아 H200 GPU로 수행한 프로덕션 작업 272건, 총 7,382 GPU시간을 분석한 결과, CatBoost 회귀 모델은 5겹 교차검증에서 결정계수(R²) 0.98, 평균절대오차(MAE) 1.71시간을 기록했다. 오차 중앙값은 0.51시간이었다. 반면 연산량(FLOP)에 기반한 기존 계산법은 R² 0.31, MAE 12.41시간에 그쳤다.1
기존 방식은 밀집형 트랜스포머의 학습 연산량을 대략 6 × 매개변수 수 × 학습 토큰 수로 잡고, GPU 수와 장치당 최대 처리량, 모델 FLOP 활용률(MFU)로 나눠 학습 시간을 구한다. 그러나 실제 MFU는 메모리 전송, GPU 간 통신, 커널 비효율 때문에 보통 30~60%에 머물며, 작업을 시작하기 전에는 정확한 값을 알기 어렵다. Dharma AI는 비교 과정에서 학습뿐 아니라 예정된 평가에 쓰이는 토큰도 계산하고 MFU 범위를 넓게 적용했지만, FLOP 계산만으로는 실제 완료 시간을 충분히 설명하지 못했다고 밝혔다.1
차이는 학습 루프 바깥에서 생긴다. 작업에는 실행 환경 설정, 모델 다운로드와 적재, 토큰화, 주기적 평가, 체크포인트 업로드, 최종 모델 저장이 포함된다. 여러 사용자가 함께 쓰는 클러스터에서는 네트워크와 스토리지 입출력도 경합한다. 이 비용은 작업 설정에 따라 달라지고 연산량이나 GPU 수에 비례하지 않기 때문에, 명목상 연산량이 같은 작업도 완료 시점이 몇 시간씩 벌어질 수 있다.
CatBoost 모델은 이런 차이를 반영하도록 평가 주기, 체크포인트 정책, GPU당 부하, 미세조정 방식 등 제출 시점에 알 수 있는 정보와 이들 사이의 비선형 관계를 학습했다. 실행 로그나 중간 진행률은 사용하지 않아 GPU 배치와 작업 순서를 정하기 전에 예측할 수 있다. 예측 대상은 GPU를 할당받은 순간부터 작업이 끝날 때까지의 벽시계 시간이며, 대기열에서 기다린 시간은 제외한다.1
다만 공개된 결과는 한 H200 프로덕션 풀의 272개 작업을 대상으로 한 교차검증 성적이다. 다른 GPU나 클러스터 환경에서도 같은 정확도가 나오는지는 이번 자료로 확인할 수 없다. Dharma AI 역시 이번 글을 향후 논문의 예고편으로 소개했으며, 논문 전문은 추후 arXiv에 공개할 예정이다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Why your fine-tuning job takes longer than the FLOPs say — Hugging Face Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.