토스증권, Milvus 처리량 41% 개선

2분 토스증권Milvus벡터검색인프라
최근 30일 조회수 — 좋아요 —

핵심 요약

토스증권이 1억 개 벡터 검색에서 품질을 유지하며 CPU·메모리를 최적화해 처리량을 41% 높였다.

토스증권, Milvus 처리량 41% 개선 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

토스증권이 1억 개 벡터를 대상으로 Milvus의 중앙처리장치(CPU) 기반 검색 성능을 시험하고, 서비스별 서버 규모를 계산하는 기준을 공개했다. 토스증권 Data Infra 팀은 CPU와 메모리 배치를 조정해 검색 품질을 유지하면서 같은 서버의 처리량을 41% 높였다고 밝혔다. 공개 벤치마크의 초당 질의 수(QPS)를 그대로 받아들이지 않고, 실제 장비와 검색 조건을 자원 사용량에 연결한 결과다.1

토스증권은 온프레미스 인프라를 중심으로 운영한다. 서버를 먼저 확보해야 하므로 자원이 부족하면 목표 처리량과 응답 시간을 맞추지 못하고, 지나치게 많이 준비하면 비용이 늘어난다. 더구나 벡터 검색은 임베딩 모델의 차원, 반환할 결과 수, 품질 목표, 데이터 갱신 빈도에 따라 부하가 달라진다. 같은 300 QPS를 목표로 해도 1024차원 벡터에서 상위 10개를 찾는 작업과 128차원 벡터에서 수백 개를 찾는 작업에는 같은 산정식을 적용하기 어렵다.

실험에는 768차원 벡터 1억 개와 질의용 벡터, 정답 집합을 제공하는 LAION-100M 데이터셋을 썼다. 인덱스는 HNSW(Hierarchical Navigable Small World)를 사용했다. HNSW는 모든 벡터를 비교하는 대신 그래프를 따라 후보를 좁히는 근사 최근접 이웃 검색 방식이다. 검색 후보 범위를 정하는 ef를 높이면 정답을 찾을 가능성은 커지지만 연산량이 늘어 처리량이 낮아질 수 있다.

이 때문에 토스증권은 속도만 비교하지 않았다. 전수 검색의 정답 가운데 상위 10개를 얼마나 찾았는지 나타내는 recall@10이 0.95 이상인 설정만 놓고 QPS와 지연시간을 측정했다. ef를 낮춰 QPS만 높인 결과를 성능 개선으로 간주하지 않은 셈이다.

메모리도 핵심 변수였다. 1024차원 float32 벡터 1억 개는 벡터 값만 약 410GB이며, HNSW는 그래프 연결 정보까지 메모리에 올려야 한다. 토스증권은 검색 설정과 벡터 차원, 서버 수를 바꾼 측정 결과를 결합해 목표 품질과 처리량에 필요한 CPU·메모리, 서버 대수를 산정했다. 다만 이번 공개 내용은 적재와 인덱스 구축을 마친 데이터의 CPU 검색에 초점을 맞췄다. 실시간 적재와 인덱스 빌드 비용까지 포괄하는 기준은 아니다.1

Footnotes

  1. Toss Tech, 「CPU 뼛속까지 써먹고, Milvus 사이징 기준을 만들기까지」 ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. CPU 뼛속까지 써먹고, Milvus 사이징 기준을 만들기까지 — Toss Tech

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.