디지털오션, AI 모델 4종 TTFT 측정

ai.euno.news 자동 뉴스 요약

디지털오션(DigitalOcean)이 서버리스 AI 추론 서비스에서 모델 4종의 첫 토큰 생성 시간(TTFT)을 48시간 동안 측정한 벤치마크를 11월 2일 공개했다. 디지털오션 커뮤니티에 게시된 글의 제목에 따르면 측정 대상은 GLM-5.3, DeepSeek V3.2, Gemma 4, Llama 4 Maverick이며, 전체 요청 수는 3,456건이다.¹

이번 벤치마크는 평균값 대신 p50·p95·p99 지연 시간을 내세웠다. p50은 요청 절반이 이 시간 안에 첫 토큰을 받았다는 뜻이고, p95와 p99는 각각 요청의 95%, 99%가 해당 시간 안에 응답하기 시작했다는 의미다. 사용자 요청이 몰리거나 서버리스 실행 환경이 준비되지 않은 상황에서 나타나는 긴 지연까지 살피려면 평균보다 상위 백분위 수치가 유용하다. 특히 대화형 AI에서는 전체 답변 생성 시간뿐 아니라 첫 응답이 화면에 나타나기까지 걸리는 TTFT가 체감 속도를 좌우한다.

48시간에 걸쳐 3,456건을 보냈다는 조건은 짧은 순간의 최고 성능이 아니라 시간대에 따른 변동을 관찰하려는 설계로 읽힌다. 단순 계산하면 시간당 평균 72건이지만, 제공된 자료에는 요청을 일정하게 분산했는지, 모델마다 같은 수의 요청을 보냈는지 나와 있지 않다. 입력 토큰 수와 출력 조건, 동시 요청 수, 리전, 콜드 스타트 포함 여부도 확인할 수 없다. 따라서 모델 사이의 차이가 모델 자체의 연산 특성에서 비롯됐는지, 서버리스 인프라의 배치와 부하가 영향을 줬는지는 주어진 정보만으로 판단하기 어렵다.

더 큰 한계는 실제 결과값이 제공된 자료에서 빠져 있다는 점이다. 자료에는 p50·p95·p99를 측정했다는 제목과 디지털오션의 컴퓨트·컨테이너·관리형 데이터베이스·AI/ML 등 제품군 안내만 있으며, 모델별 TTFT 수치나 순위, 측정 방법은 담겨 있지 않다. 이 때문에 어느 모델이 더 빨랐는지, 중앙값과 최악 구간의 격차가 얼마나 컸는지는 보도할 수 없다. 현재 확인되는 핵심은 디지털오션이 네 모델을 대상으로 장시간 서버리스 지연 측정을 수행했다고 발표했다는 사실까지다.

읽기 목록은 이 브라우저에 저장됩니다.