엘라스틱, 지나 AI 추론 지연 최대 8배 단축

ai.euno.news 자동 뉴스 요약

엘라스틱(Elastic)이 지나(Jina) 모델 추론용 GPU를 엔비디아 L40에서 RTX Pro 6000 블랙웰 서버 에디션으로 교체한 초기 결과를 공개했다. 이전을 마친 지나 API(Jina API) 모델에서 느린 임베딩 요청은 최대 8배, 리랭킹은 4배 이상 빨라졌고, 광학문자인식(OCR)의 문서 페이지 처리 속도는 약 3.7배로 높아졌다. 고객은 별도 설정을 바꾸지 않아도 개선 효과를 받는다고 엘라스틱은 밝혔다.¹

이번 전환은 검색과 에이전틱 AI의 여러 추론 단계에서 발생하는 지연시간을 줄이는 데 초점을 맞춘다. 콘텐츠를 바탕으로 답하는 AI 에이전트는 문서를 읽고 임베딩한 뒤 검색 결과의 순위를 다시 매기는 모델을 잇달아 호출한다. 한 단계의 지연도 최종 응답 시간에 더해진다. 엘라스틱은 지나 모델을 직접 호출하는 지나 API와, 엘라스틱서치에 사전 구성된 GPU 엔드포인트를 붙인 엘라스틱 추론 서비스(EIS)를 운영한다. 현재 일부 지나 API 모델만 새 GPU에서 돌아가며, 나머지 모델과 EIS 이전은 진행 중이다.¹

엘라스틱이 특히 살핀 지표는 평균이 아니라 느린 요청의 지연시간이었다. 공유 서비스에서는 긴 후보 문서 목록을 처리하는 대형 리랭킹 작업이 짧은 요청과 같은 GPU를 쓰기 때문에, 작은 요청도 대기열에 갇힐 수 있다. 회사는 이전 전후의 실제 운영 트래픽과 통제된 시험을 함께 비교했다. 공개된 임베딩 운영 결과에서 99번째 백분위 지연시간은 L4 텐서 코어 GPU 기준 5.86초에서 RTX Pro 6000의 0.73초로 줄었다. 요청 100건 가운데 99건이 이 시간 안에 끝난다는 뜻이다.¹

가속 대상은 비교적 작은 모델이지만 작업 범위는 넓다. jina-ocr-v1은 100개가 넘는 언어에서 문서의 레이아웃·표·수식을 한 번에 읽으며, 옴니 임베딩 모델은 텍스트·이미지·오디오·비디오를 같은 임베딩 공간에 배치한다. 6억 매개변수 규모인 jina-reranker-v3.5는 검색 후보를 원래 질의에 맞춰 다시 채점한다.¹

다만 수치는 전체 서비스 전환의 최종 결과가 아니라 일부 모델에서 얻은 초기 측정치다. 임베딩의 8배 개선도 모든 요청의 평균이 아니라 99번째 백분위에 해당한다. 모델별 이전이 계속되는 만큼, 같은 폭의 향상이 전체 지나 API와 EIS에서 재현됐는지는 아직 확인되지 않았다.

읽기 목록은 이 브라우저에 저장됩니다.