암호화 LLM 추론 시스템 ‘페르세우스’ 공개

ai.euno.news 자동 뉴스 요약

대규모언어모델(LLM)에 데이터를 평문으로 보내지 않고도 추론을 수행하는 오픈소스 시스템 ‘페르세우스(Perseus)’가 공개됐다. 11월 3일 arXiv에 제출된 논문에서 연구진은 페르세우스를 암호 연산부터 모델 실행까지 아우르는 무료 파이썬 라이브러리로 소개했다. 연구진의 실험에 따르면 페르세우스는 여러 모델과 데이터 유형에서 기존 최고 수준의 지연시간을 기록했고, Llama-3-8B의 단일 토큰 디코딩에서는 다른 구현보다 3.96배 빨랐다.¹

페르세우스가 겨냥한 문제는 원격 AI 추론 과정의 정보 노출이다. 현재 이용자가 모델 제공자에게 보낸 민감한 데이터는 평문으로 처리된다. 완전동형암호(Fully Homomorphic Encryption·FHE)는 데이터를 암호화한 상태로 계산할 수 있어 이를 피할 수 있지만, 연산 속도가 지나치게 느려 실제 모델에 적용하기 어려웠다. 관련 최적화 작업도 여러 프레임워크로 흩어져 있고 상당수가 비공개여서, 기존 성과를 토대로 개선하기 힘들다는 것이 논문의 문제의식이다.¹

페르세우스는 이 과정을 하나의 스택으로 묶었다. 암호 백엔드와 데이터 패킹, 암호화된 비선형 연산, 종단 간 모델 실행을 모두 지원한다. 각 계층에는 별도의 최적화가 들어갔다. 백엔드에서는 키 스위칭 키를 커널 내부에서 다시 생성하고, 데이터 계층에서는 ‘캐시미르 패킹(Cachemir packing)’의 복소수 변형을 사용한다. 모델 계층의 부트스트랩 배치기는 데이터 패킹 방식과 값의 크기를 함께 고려해 비용이 큰 부트스트랩 연산의 위치를 정한다.¹

성능 향상이 모델 품질을 크게 훼손하지 않았다는 점도 연구진이 내세운 결과다. 논문 초록은 여러 모델과 모달리티에서 평문 모델과 비교한 정확도 및 퍼플렉서티 차이가 3% 이내였다고 밝힌다. 3.96배라는 수치와 ‘최고 수준’이라는 평가는 연구진의 실험 결과다.

연구진은 암호화된 GPT-2 추론 속도를 공개적으로 겨루는 ‘스피드런’도 처음 시작한다고 밝혔다. 페르세우스의 의미는 개별 최적화 하나보다, 파편화됐던 동형암호 추론 기술을 공개된 풀스택 라이브러리와 공통 성능 경쟁의 형태로 묶었다는 데 있다.¹

읽기 목록은 이 브라우저에 저장됩니다.