블록, 전이중 음성 모델 ‘데사’ 공개

ai.euno.news 자동 뉴스 요약

블록(Block)이 웃음과 울음, 말 사이의 침묵까지 음성 자체로 표현하는 전이중(Full-duplex) 음성 모델 ‘데사(Dessa)’를 공개했다. 데사는 사람처럼 말하면서 동시에 상대의 목소리를 들을 수 있으며, 소비자용 컴퓨터에서 로컬로 구동된다. 다만 현재 일반에 공개되지는 않았고, 블록은 안전성 연구자에게 시험 참여를 요청한 상태다.¹

전이중 방식은 한쪽이 말을 마칠 때까지 기다렸다가 응답하는 기존 음성 인터페이스와 다르다. 테크크런치에 따르면 데사는 오픈AI가 올해 선보인 GPT-라이브(GPT-Live)처럼 대화 도중에도 계속 듣고 말한다. 블록은 데사를 전적으로 사람의 음성으로 훈련했으며, 학습에는 엔비디아(NVIDIA) GPU 랙 한 대를 썼다고 밝혔다. 맥북 M4 맥스(MacBook M4 Max) 이상급 기기에서도 실행할 수 있다는 설명이다.¹

회사는 음성을 먼저 텍스트로 변환하면 감정과 억양 같은 정보가 사라져 대화가 부자연스럽고 거슬릴 수 있다고 주장한다. 일레븐랩스 v4(ElevenLabs v4)나 피시 오디오 드라마 3(Fish Audio Drama 3)처럼 음성 태그로 감정을 지정하는 모델과 달리, 데사는 감정 표현을 모델 안에 내장했다는 설명이다. 연구진이 공개한 시연에서는 데사가 업무로 지쳤다고 말할 때 피곤한 목소리를 내거나, 감정이 북받쳐 울먹이는 듯한 반응을 보였다. 서로 다른 목소리와 말의 속도, 웃음과 멈춤도 나타났다.¹

다만 감정을 실제로 어떤 방식으로 조절하는지는 확인되지 않았다. 블록은 감정이 모델에 내재한다고 밝혔지만, 감정이 어떤 태그로 조절되는지는 불분명하다. 일반적인 음성 모델이 지식 검색을 위해 대규모 언어 모델과 결합되는 것과 달리, 데사의 지식은 학습에 사용한 대화 데이터에서 나온다고 회사는 설명했다. 따라서 데사가 어떤 질문까지 정확히 처리할 수 있는지도 아직 판단하기 어렵다.¹

블록에는 로컬 구동이 비용과 활용 범위를 함께 좌우한다. 블록의 결제 서비스 스퀘어(Square)는 이미 음성 AI로 주문을 처리하고 있다. 데사를 기기에서 직접 실행할 수 있다면 소상공인용 서비스뿐 아니라 소비자 제품에도 낮은 비용으로 적용할 여지가 생긴다. 반면 사람을 속일 만큼 자연스러운 음성이 악용될 위험도 있다. 안전성 연구자를 먼저 모집한 배경 역시 이런 기만 가능성을 점검하려는 것으로 보인다.¹

읽기 목록은 이 브라우저에 저장됩니다.