카본라우터, LLM 탄소 배출 16.1% 절감

ai.euno.news 자동 뉴스 요약

다중 턴 대화의 문맥 재계산 비용까지 탄소 배출량에 반영해 대규모언어모델(LLM) 요청을 배분하는 기법이 제안됐다. 10월 26일 arXiv에 공개된 논문에서 연구진은 모델과 그래픽처리장치(GPU), 데이터센터 지역을 요청마다 함께 선택하는 온라인 프레임워크 ‘카본라우터(CarbonRouter)’를 발표했다. 실제 대화 데이터 기반 실험에서 카본라우터는 비교 정책 가운데 탄소 배출량이 가장 적었으며, 기존 탄소 인지형 라우터인 페어카본(FairCarbon)보다 이산화탄소 배출량을 평균 16.1% 줄였다.¹

지역별 전력망의 탄소 집약도는 장소와 시간에 따라 달라진다. 이 차이를 이용하면 요청을 전력이 더 깨끗한 지역이나 작은 모델로 보내 배출량을 낮출 수 있다. 하지만 대화형 LLM 서비스에서는 각 요청을 독립적으로 볼 수 없다. 이전 대화에서 계산한 키·값 캐시(KV cache)가 앞선 요청을 처리한 데이터센터에 남아 있기 때문이다. 다른 지역이나 장비로 요청을 옮기면 누적된 대화 이력을 다시 계산해야 하며, 대화가 길어질수록 이 비용도 커진다. 이동으로 절약한 탄소보다 문맥 재계산에서 나온 탄소가 더 많아질 수도 있다.

카본라우터는 이 문제를 해결하기 위해 각 서비스 백엔드가 제공하는 캐시 토큰 수를 사용한다. 후보로 삼은 모델·GPU·지역마다 대화 이력을 다시 계산할 때 드는 탄소 비용을 산정한 뒤 요청을 어디서 처리할지 결정한다. 여기에 가벼운 게이트를 두어, 다음 턴에 원래 배치로 돌아와 이력을 또 재계산할 가능성이 크면 세션을 현재 캐시가 있는 곳에 유지한다. 단순히 순간적인 전력망 상태만 좇다가 지역을 오가며 재계산을 반복하는 일을 막는 장치다.

연구진은 실제 대화 데이터셋 2개를 이용한 추적 기반 실험에서 LLM 5종, GPU 3종, 지역 4곳을 조합해 카본라우터를 평가했다. 페어카본과 선택 가능한 모델·GPU·지역 범위를 같게 맞춘 결과, 탄소 배출량을 평균 16.1% 낮추면서 예측 답변 품질과 추정 지연시간도 개선했다. 30턴을 넘는 세션에서는 탄소 절감 폭이 23.1%로 커졌다. 문맥이 길수록 캐시 위치와 재계산 비용을 함께 따지는 효과가 커진다는 결과다.

다만 이 수치는 운영 중인 상용 서비스에서 직접 측정한 결과가 아니라 두 데이터셋을 사용한 추적 기반 실험에서 나왔다. 답변 품질과 지연시간 역시 논문 초록상 각각 예측치와 추정치다. 논문은 아직 arXiv에 제출된 초판으로, 제안 기법의 실제 운영 효과는 다양한 트래픽과 데이터센터 환경에서 추가로 확인할 필요가 있다.

읽기 목록은 이 브라우저에 저장됩니다.