엔비디아, 정수 텐서 코어로 FP64 가속
최근 30일 조회수 — 좋아요 —핵심 요약
cuBLAS의 Ozaki-II가 FP64 정확도를 유지하며 행렬 곱셈을 최대 5.5배 가속했다.

엔비디아가 CUDA Toolkit 13.4.2의 cuBLAS에 배정밀도(FP64) 행렬 곱셈을 정수 텐서 코어로 가속하는 새 알고리즘을 추가했다. 배정밀도 수를 여러 정수 조각으로 나눠 곱한 뒤 정확한 결과로 재조립하는 방식이다. 엔비디아는 애플리케이션 코드를 바꾸지 않고도 실수 행렬 곱셈(DGEMM)과 복소수 행렬 곱셈(ZGEMM)을 가속하면서 네이티브 FP64 정확도를 유지한다고 밝혔다.1
과학 시뮬레이션에서는 고정밀 밀집 행렬 곱셈이 실행 시간의 대부분을 차지하는 경우가 많다. 그러나 최근 GPU의 성능 향상은 주로 저정밀 연산에 집중됐다. cuBLAS의 자동 동적 정밀도(ADP·Automatic Dynamic Precision) 프레임워크는 FP64 연산을 더 빠른 정수 텐서 코어에 배치해 이 격차를 줄인다. 입력 행렬의 지수를 맞춘 뒤 공유 지수를 쓰는 가변 길이 정수로 바꾸고, 정수 텐서 코어에서 곱을 정확히 누적한다. 정수 폭은 실행 중 ADP가 정하거나 사용자가 직접 지정할 수 있다.1
새로 도입된 Ozaki-II는 기존 Ozaki-I의 계산량을 줄인다. Ozaki-I가 큰 정수를 8비트 조각으로 나눠 삼각형 패턴으로 곱하기 때문에 텐서 코어 GEMM 횟수가 조각 수의 제곱에 비례하는 반면, Ozaki-II는 중국인의 나머지 정리(CRT)를 이용한다. 서로소인 작은 정수로 입력값의 나머지를 구하고 각 정수마다 GEMM을 한 번 수행한 뒤 원래 곱을 복원해, 연산 횟수가 정수 개수에 선형으로 늘어난다. cuBLAS는 휴리스틱으로 두 방식을 자동 선택한다.1
엔비디아가 공개한 측정 결과에서 Ozaki-II DGEMM은 네이티브 FP64보다 VR NVL72에서 5.5배, GB200에서 3.9배 빨랐다. GB200에서는 Ozaki-I보다도 2배 빨랐으며, 장치별 처리량은 VR NVL72 175TFLOPS, GB200 147TFLOPS, RTX PRO 6000 37TFLOPS까지 기록했다. 복소수 곱셈을 실수 곱셈 네 번에서 두 번으로 줄이는 2M 알고리즘은 GB200의 ZGEMM 성능을 네이티브 복소수 FP64 대비 5배 높였다.1
행렬 연산의 개선이 전체 프로그램에 그대로 이어지는 것은 아니다. 실제 양자화학 CCSD 사례의 종단 간 속도 향상은 VR NVL72에서 2배, GB200에서 1.4배였다. 재료과학 코드 BerkeleyGW에서는 2M을 적용해 각각 6.6배와 3.9배 빨라졌다. 다만 이 수치는 모두 엔비디아가 공개한 자체 검증 결과이며, 자료에는 비교 기준과 사용 장치는 제시됐지만 행렬 크기는 제시되지 않았다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Faster Scientific Simulations with New FP64 Algorithms in NVIDIA cuBLAS | NVIDIA Technical Blog — NVIDIA Technical Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.