어셈블리AI, EC2 스팟으로 음성인식 비용 절감

2분 AWS어셈블리AI음성인식EC2 스팟
최근 30일 조회수 — 좋아요 —

핵심 요약

어셈블리AI는 중단 작업을 SQS로 반환하는 혼합 배포로 비용을 낮추고 SLA와 데이터 거주 요건을 충족했다.

어셈블리AI, EC2 스팟으로 음성인식 비용 절감 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

AWS와 음성 AI 기업 어셈블리AI(AssemblyAI)가 아마존 EC2 스팟 인스턴스(유휴 컴퓨팅 자원을 할인해 제공하는 인스턴스)를 활용해 음성인식 추론 비용을 낮추는 배포 구성을 공개했다. 스팟 인스턴스가 회수되더라도 처리 중이던 작업을 큐로 되돌려 다시 실행하는 방식이다. 어셈블리AI는 이 구성을 미국 서부와 유럽 리전에 배포해 서비스 수준 협약(SLA)과 데이터 거주 요건을 함께 맞췄다고 밝혔다.1

음성을 텍스트로 바꾸는 추론은 음향·언어 모델과 후처리 단계를 엔비디아 GPU에서 연이어 실행한다. 규모가 커지면 수천 대의 GPU 인스턴스를 계속 가동해야 하므로 온디맨드 인스턴스만 쓰기에는 비용 부담이 크다. 반면 스팟 인스턴스는 비용을 줄일 수 있지만, EC2가 용량을 회수하기 2분 전에 중단 알림을 보낸다는 제약이 있다.1

어셈블리AI는 아마존 ECS(Amazon Elastic Container Service)의 용량 공급자를 이용해 스팟과 온디맨드 인스턴스를 섞었다. 특정 인스턴스의 공급 부족에 덜 흔들리도록 g4dn.xlarge, g4dn.2xlarge, g5.xlarge, g5.4xlarge, g6.2xlarge 등 여러 GPU 제품군에 작업을 분산하고, GPU 하나에는 추론 모델 하나를 실행한다. ECS 작업은 아마존 SQS(Amazon Simple Queue Service) 큐에서 작업을 가져와 S3의 음성을 처리한 뒤 결과 저장소에 전사문을 기록한다.1

중단 대응의 핵심도 SQS다. 스팟 인스턴스에 회수 알림이 오면 아마존 이벤트브리지(EventBridge)가 람다(Lambda) 기반 중단 처리기를 호출한다. 처리기는 실행 중이던 작업을 기본 큐에 반환하고, 정상 ECS 작업이 이를 다시 가져간다. 재시도 횟수를 모두 소진한 작업은 원인 조사를 위한 데드 레터 큐로 보내며, 클라우드워치(CloudWatch) 지표로 인스턴스 상태와 중단 사건을 감시한다.1

배포 지역은 미국 서부 오리건(us-west-2)과 유럽 런던(eu-west-2)이다. 특히 의료·금융·법률 분야 고객의 음성 데이터를 지정된 지역 안에 두기 위한 구성이다. 다만 AWS는 비용 절감 폭이나 스팟과 온디맨드의 실제 비율을 공개하지 않고 “상당한 절감”이라고만 설명했다. 따라서 같은 효과를 내려면 워크로드별 중단 빈도와 재시도 비용을 별도로 따져야 한다.1

Footnotes

  1. AWS Machine Learning Blog, “Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot” ↩ ↩2 ↩3 ↩4 ↩5

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot | Amazon Web Services — AWS Machine Learning Blog

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.