GPU 통신용 API 메모리 모델 제안
최근 30일 조회수 — 좋아요 —핵심 요약
rocSHMEM에 API 수준 메모리 모델과 캐시 우회를 구현해 워크로드 성능을 최대 2.48배 높였다.
다중 GPU 통신 최적화를 하드웨어 세부 구현과 분리하기 위한 ‘API 수준 메모리 모델’이 제안됐다. 10월 12일 arXiv에 공개된 논문은 장치에서 직접 실행하는 통신 API의 메모리 의미를 명확히 정의하고, 이 규칙 안에서 캐시 우회 같은 저수준 최적화를 지원하는 방식을 제시했다. 연구진은 이를 최근 오픈소스화된 AMD의 rocSHMEM 라이브러리에 구현했으며, 워크로드에 따라 최대 2.48배의 성능 향상을 측정했다.1
문제의 출발점은 머신러닝(ML)과 고성능 컴퓨팅(HPC)에서 네트워크 통신이 갈수록 병목이 된다는 점이다. rocSHMEM, MSCCL++, NCCL/RCCL GIN 같은 통신 라이브러리는 GPU 장치가 단방향 put·get 연산을 직접 일으키는 API를 제공한다. 프로그래머는 이를 이용해 데이터 전송을 세밀하게 조정할 수 있지만, 각 통신 명령이 하위 메모리 시스템과 어떻게 상호작용하는지 규정하는 엄밀한 메모리 모델은 부족했다. 논문은 이 상태에서 공격적인 최적화를 적용하면 코드가 취약해지고 오류 가능성이 커지며, 호환성과 상호운용성도 떨어질 수 있다고 지적한다.1
API 수준 메모리 모델은 통신 호출이 따라야 할 메모리 의미를 API 경계에서 정의한다. 사용자는 캐시나 메모리 계층의 세부 동작을 일일이 추론하지 않고도, 표준화된 규칙을 기준으로 프로그램을 작성할 수 있다. 동시에 연구진은 메모리 모델을 무조건 엄격하게 만드는 대신, 어떤 동작을 완화해도 되는지 형식적으로 명시하면 대규모언어모델(LLM)에 필요한 저수준 최적화와 명확한 인터페이스를 함께 유지할 수 있다고 설명한다.1
핵심 사례는 네트워크 데이터의 캐시 우회다. 연구진은 rocSHMEM이 구현한 SHMEM API를 갱신해 이 동작을 정식으로 지원했다. 그 결과 집단 통신 워크로드는 최대 2.48배, 연산과 통신을 결합한 워크로드는 최대 1.77배, 최신 전문가 병렬 통신 워크로드는 최대 1.18배 빨라졌다.1
이번 결과는 모든 GPU 통신 라이브러리에 공통 모델이 이미 적용됐다는 뜻은 아니다. 논문이 실제 구현과 측정을 제시한 대상은 rocSHMEM이며, 다른 장치 API에서의 효과나 상호운용성은 자료에 제시되지 않았다. 다만 최적화가 의존하는 메모리 규칙을 API에 드러냈다는 점에서, 특정 구현의 암묵적 동작에 기대던 다중 GPU 코드를 이식 가능한 형태로 다룰 기반을 제시한다.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- A New Lens on Multi-GPU Communication: API-Level Memory Models for Portable Optimization — arXiv (cs.DC)
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.