Phonon, 온디바이스 TTS 모델 공개
최근 30일 조회수 — 좋아요 —핵심 요약
Phonon이 외부 서버와 네트워크 없이 기기에서 실행되는 다국어 소형 TTS 모델과 가중치를 공개했다.
Phonon이 입력한 텍스트를 외부 서버로 보내지 않고 스마트폰과 노트북 등에서 직접 음성으로 바꾸는 온디바이스 텍스트 음성 변환(TTS) 모델을 공개했다. 네트워크 연결 없이 작동하며 모델 가중치도 공개했다. Hugging Face 블로그에 따르면 출시 뒤 2주 동안 다운로드 수는 20만 건을 넘었다.1
Phonon은 음질과 모델 크기 사이의 절충을 줄이는 데 초점을 맞췄다. 약 65MB와 75MB 두 가지 크기로 제공되며, 영어·프랑스어·독일어·스페인어·포르투갈어를 지원한다. 내장 음성은 100개가 넘고, Gradium Studio에서는 음성 복제와 음성 디자인으로 새 목소리를 만들 수 있다. 전화번호와 날짜, 코드처럼 TTS가 자주 잘못 읽는 표현도 처리하도록 설계했다.
두 모델은 지원 언어와 라이선스가 다르다.
| 모델 | 지원 언어 | 라이선스 |
|---|---|---|
| Phonon 31m | 영어 | Apache 2.0, 상업적 이용 가능 |
| Phonon 40m | 5개 언어 | CC BY-NC, 비상업적 이용 가능 |
다른 Phonon 모델을 상업적으로 쓰려면 음성 생성량이 아니라 사용자 수를 기준으로 비용을 낸다. 실행 환경은 휴대전화와 노트북뿐 아니라 싱글보드 컴퓨터, 브라우저 탭까지 아우른다. Hugging Face는 출시와 동시에 Transformers 연동도 제공했다. 이후 브라우저 방문자의 GPU에서 실행하는 ExecuTorch 변환판과 Node.js용 Micdrop 같은 개발 사례가 나왔다.
기술적으로는 Pocket TTS 계보를 잇고, 오디오 생성에 플로 매칭(flow matching)을 쓴다. Phonon 측은 이 방식이 작은 모델에서 높은 음질을 구현하는 데 기여했다고 설명했다. 다만 학습 초기에는 수치적으로 불안정했으며, 5개 언어에서 품질을 확보하려고 여러 기법을 적용해야 했다고 밝혔다.
실제 시연은 온디바이스 실행의 쓰임새를 보여준다. 와이파이를 끈 Apple Watch가 커피 추출 과정을 안내하고, 통신 신호가 없는 iPhone이 운동 횟수를 센다. 브라우저 게임과 SF 게임, 소설 낭독도 사용자의 기기에서 음성을 합성한다. 다만 벤치마크를 제공하는 Hugging Face Open TTS Leaderboard 자체가 아직 매우 새로운 프로젝트라는 점은 감안해야 한다. 이 순위표는 23개 언어에서 단어 오류율, 생성 속도, 자연스러움을 평가하지만, 공개된 결과만으로 실제 기기와 모든 사용 환경의 품질을 단정하기는 어렵다.1
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- A Closer Look at Phonon TTS. Launching High-Quality On-Device Speech That Tops the Benchmarks. — Hugging Face Blog
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.