엔비디아, 네모트론 3.5 전사 모델 공개

ai.euno.news 자동 뉴스 요약

엔비디아가 다국어 음성을 받아쓰기부터 화자 구분, 번역, 질의응답까지 한 번에 처리하는 오픈 웨이트 모델 네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)를 공개했다. 함께 내놓은 그래너리 v2(Granary v2)는 다국어 학습 데이터와 재사용 가능한 정제 파이프라인을 제공한다. 두 자료는 허깅페이스와 모델스코프에서 이용할 수 있다.¹

네모트론 3.5 트랜스크라이브는 하나의 체크포인트로 40개 언어를 전사하고, 이 가운데 31개 언어를 영어와 상호 번역한다. 화자 구분은 13개 언어를 지원하며, 최대 1시간 길이의 녹음에서 화자 8명까지 표시할 수 있다. 단어 단위 타임스탬프도 제공한다. 다만 작업별 지원 언어가 서로 다르고, 음성 질의응답은 영어로 학습됐다.

핵심은 자연어 프롬프트로 결과 형식을 바꿀 수 있다는 점이다. 같은 회의 녹음에도 “각 화자를 표시해 전사하라”, “영어로 번역하라”, “회의에서 어떤 결정을 내렸는가”처럼 지시할 수 있다. 의료 음성에서는 HbA1c, metformin 같은 후보 용어와 표기 규칙을 문맥으로 제시해 전문용어 인식을 유도한다. 엔비디아는 먼저 프롬프트로 낯선 용어를 보완한 뒤, 필요하면 도메인 데이터로 미세조정하는 방식을 제안했다.¹

그래너리 v2와 니모 스피치(NeMo Speech) 미세조정 도구는 이런 제어를 학습 단계까지 넓힌다. 개발자는 필요한 문어체 형식을 정하고, 특정 분야의 어휘나 억양에 모델을 맞출 수 있다. 허깅페이스 블로그에 소개된 의료 사례에서는 미세조정 모델이 학습에 포함되지 않은 화자의 음성을 대상으로, 가장 성능이 좋은 프롬프트보다 단어 오류율(WER)을 상대적으로 45.8% 낮췄다.

성능 평가에서도 상위권을 기록했다. 공개 자료에 따르면 영어 허깅페이스 오픈 ASR 리더보드에서 오픈 웨이트 모델 중 1위였고, 데이비드 AI의 21개 언어 화자 구분 평가에서는 오류율이 가장 낮았다. 보이스아레나의 14개 시스템 비교에서도 1위를 차지했다. 다만 리더보드 결과가 모든 녹음 환경을 대표하지는 않는다. 블로그 역시 이름과 화자 전환, 질의응답 결과를 원본 녹음과 대조하라고 권고한다. 양자화 버전은 아직 공개 전이며, 엔비디아는 추후 RTX Spark, DGX Spark, Jetson AGX Thor 등에서 로컬 실행할 수 있도록 제공할 계획이라고 밝혔다.¹

읽기 목록은 이 브라우저에 저장됩니다.