엔비디아, FLUX 3 추론 최대 4.45배 가속

ai.euno.news 자동 뉴스 요약

엔비디아가 블랙웰(Blackwell) GPU에서 이미지 생성·편집 모델 FLUX 3 Image Klein의 추론 시간을 줄이는 최적화 방법을 공개했다. 엔비디아 기술 블로그가 단일 B200 GPU에서 2048×2048 해상도로 시험한 결과, 여러 최적화를 함께 적용한 Base 모델은 컴파일하지 않은 BF16 추론보다 텍스트 투 이미지(T2I)가 최대 3.46배, 이미지 투 이미지(I2I)가 최대 4.45배 빨라졌다.¹

블랙포레스트랩스(Black Forest Labs)가 개발한 FLUX 3 Image Klein은 텍스트 조건을 처리하는 Qwen3-VL-4B-Instruct, 이미지 잠재 표현을 다듬는 확산 트랜스포머(DiT), 잠재 표현과 이미지를 변환하는 오토인코더로 구성된다. Base와 증류(distilled) 체크포인트를 제공해 화질과 지연시간 사이에서 선택할 수 있으며, 학습에는 엔비디아 GB200 NVL72가 쓰였다.

엔비디아는 TensorRT LLM 안의 이미지 생성 전용 런타임인 TensorRT LLM VisualGen을 활용했다. 이 런타임은 BF16과 FP8, NVFP4를 지원한다. 블랙웰 GPU에서 NVFP4는 BF16보다 T2I를 최대 1.62배, I2I를 최대 1.58배 가속했다. 설정에서는 pipeline_config의 variant 값을 nvfp4로 지정하면 블랙포레스트랩스가 미리 양자화한 DiT 체크포인트를 쓸 수 있다.

성능 개선의 핵심은 디노이징이다. NVFP4와 torch.compile, 기본(VANILLA) 어텐션을 적용한 B200 한 장의 측정치를 보면, Base 모델의 전체 지연시간 가운데 디노이징 비중은 T2I 96.8%, I2I 97.8%였다. 증류 모델에서도 각각 84.0%, 89.0%를 차지했다.

VisualGen은 이 병목을 줄이기 위해 융합 커널, 저정밀·희소 어텐션, 캐싱, 멀티 GPU 병렬 실행을 조합한다. 양자화 연산에는 CUTLASS Primitives와 작업 스케줄링으로 만든 FlashInfer의 PrimsTS FP8·NVFP4 범용 행렬 곱셈(GEMM) 커널과 에필로그 융합을 사용한다. 측정은 준비 요청 2회 뒤 요청 10회의 평균이며, Base는 디노이징 50단계와 분류기 없는 가이던스(CFG) 3.5, 증류 모델은 CFG 없이 16단계를 사용했다. 따라서 공개된 배속은 이 해상도와 모델 설정, B200 단일 GPU라는 조건에서 해석해야 한다.

읽기 목록은 이 브라우저에 저장됩니다.