Block's new voice model sounds eerily human

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Block이 인간 음성만으로 학습해 자연스러운 감정 표현과 동시 듣기·말하기를 지원하는 로컬 음성 모델 Dessa를 선보였지만, 일반 공개와 안전성 검증은 아직 진행 과제로 남아 있다.

📌 핵심 요약

• Jack Dorsey의 Block은 연구소에서 개발한 음성 모델 Dessa를 발표했으며, 인간 음성만으로 NVIDIA GPU 한 대를 사용해 학습했다고 밝혔다.
• Dessa는 말하기와 듣기를 동시에 수행하는 전이중 모델이다. Block에 따르면 지식은 학습에 사용한 대화 데이터에서 나오며, 공개 시연에는 웃음·멈춤·울음과 다양한 목소리·말투·감정 표현이 나타난다.
• Block은 음성을 텍스트로 바꾸는 과정에서 감정 정보가 사라진다고 비판하며 Dessa에는 감정이 내재돼 있다고 주장했다. ElevenLabs v4나 Fish Audio Drama 3처럼 감정 제어에 태그를 사용하는지는 명확하지 않다.
• Block에 따르면 Dessa는 MacBook M4 Max 이상급의 소비자용 컴퓨터에서 로컬로 실행할 수 있다. 기사 시점에는 일반 사용자가 접근할 수 없으며, 회사는 안전성 연구자들을 대상으로 테스트 참여를 요청했다.
• Square는 이미 주문 처리에 음성 AI를 사용하고 있다. 기사는 Block의 자체 온디바이스 음성 모델이 더 낮은 비용으로 기업과 소비자 대상 경험을 확대할 가능성을 제시했다.

🧩 주요 포인트

1. 전이중 대화와 음성 중심 학습 → 자연스러운 상호작용을 지향하지만, 대화 데이터에서 얻는 지식의 범위도 함께 살펴볼 필요가 있다.
2. 감정이 내재됐다는 주장과 생생한 시연 → 표현력에 대한 기대를 높이는 동시에, 감정 제어 방식과 사람을 속일 가능성에 대한 검증이 중요해진다.
3. MacBook M4 Max 이상급 로컬 실행과 Square의 주문 처리 활용 → 비용 절감과 적용 확대 가능성이 있지만, 일반 공개 전이어서 실제 이용 경험은 확인되지 않았다.

🧠 상세 정리

1. Block이 선보인 인간 음성 기반 모델

Jack Dorsey의 Block은 자사 연구소가 개발한 새로운 음성 모델 Dessa를 발표했으며, 기사는 이를 2026년 10월 24일 소개했다. Block은 이 모델을 인간 음성만으로 학습했으며 학습에 NVIDIA GPU 한 대를 사용했다고 밝혔다. 기사는 Dessa가 로컬에서 실행되고 웃음, 멈춤, 울음 같은 표현을 통해 사람처럼 들리는 점에 주목했다. Dorsey는 음성이 지능과 상호작용하는 가장 자연스러운 방식이라고 설명하며, Dessa와 대화하면 감정과 뉘앙스, 자연스러운 말의 리듬을 느낄 수 있다고 주장했다. 다만 가장 진정성 있는 전이중 음성 모델이라는 평가는 회사 측의 표현으로, 기사에는 이를 입증하는 비교 평가 결과가 제시되지 않았다.

2. 동시에 듣고 말하며 대화 데이터에서 얻는 지식

Dessa는 듣기와 말하기를 동시에 수행할 수 있는 전이중 음성 모델로 소개됐다. 기사는 이러한 동시 상호작용 기능을 OpenAI가 같은 해 앞서 공개한 GPT-Live 모델과 연결해 설명한다. 일반적으로 음성 모델은 지식 검색을 위해 대규모 언어 모델과 결합되지만, Block은 Dessa의 지식이 모델이 보유한 대화 데이터에서 나온다고 밝혔다. 연구진도 Dessa를 전적으로 음성으로 학습한 음성 대 음성 모델이라고 소개하며 소비자용 GPU에서 실행할 수 있다고 강조했다. 이 설명은 음성 학습과 대화 능력을 중심에 두지만, 기사에는 대화 데이터의 구체적인 구성이나 지식의 범위, 답변 정확도에 대한 별도 평가가 담겨 있지 않다.

3. 텍스트 변환 비판과 감정 제어의 불확실성

Block은 기존 음성 AI가 음성을 텍스트로 바꾸는 과정에서 텍스트만으로 전달할 수 없는 많은 정보를 버린다고 비판했다. 회사는 이러한 손실 때문에 AI가 사용자의 감정을 듣지 못하고, 부자연스럽거나 거슬리는 경험을 만들며 잠재적으로 위험할 수도 있다고 주장했다. 기사는 ElevenLabs v4와 Fish Audio Drama 3 같은 모델들이 음성 생성 과정에서 감정을 조절하기 위해 음성 태그를 사용한다고 설명한다. 이에 비해 Block은 Dessa에는 감정이 모델 자체에 내재돼 있다고 주장하지만, 그 감정 역시 어떤 형태의 태그로 제어되는지는 명확하지 않다. 따라서 기사에 제시된 설명만으로는 감정 표현의 자연스러움과 그 표현을 유도하는 구체적인 방식을 구분해 판단하기 어렵다.

4. 피곤한 말투부터 감정적인 대화와 게임까지

Block 연구진은 Dessa가 서로 다른 목소리와 말의 리듬, 감정을 드러내는 여러 대화 사례를 공개했다. 한 사례에서 모델은 일 때문에 피곤하다고 말했고, 그 대목에서는 실제로 피곤한 듯한 목소리를 냈다고 기사는 전한다. 다른 사례에서는 상대방이 자신을 편안하게 해 준다는 이야기를 하면서 감정이 북받쳐 거의 울음을 터뜨릴 듯한 음성을 들려줬다. 또 다른 영상에서는 Block 팀원이 음성 비서와 추측 게임을 했으며, 회사 설명에 따르면 모델은 첫 번째 문제를 곧바로 맞히고 두 번째 문제도 오래 걸리지 않아 맞혔다. 이 사례들은 감정 표현과 대화 진행 능력을 보여 주는 공개 시연이지만, 기사에는 이를 넘어선 체계적인 성능 평가나 일반 사용자의 이용 결과는 제시되지 않았다.

5. 로컬 실행 조건과 공개 전 안전성 테스트

Block은 Dessa가 MacBook M4 Max 이상급의 소비자용 컴퓨터에서 로컬로 실행될 수 있다고 밝혔다. 연구진 역시 소비자용 GPU에서 구동할 수 있는 전이중 음성 대 음성 모델이라는 점을 강조했다. 다만 기사 시점에는 Dessa에 대한 일반 공개 접근이 제공되지 않아, 독자가 직접 모델을 사용해 공개 시연과 같은 경험을 확인할 수 있는 상태는 아니었다. 회사는 안전성 연구자들에게 모델 테스트에 참여해 달라고 요청했다. 기사는 이 요청이 음성 에이전트가 대화 상대를 속일 수 있는 상황을 시험하려는 목적일 가능성이 있다고 해석하지만, 이를 회사가 확정적으로 밝힌 테스트 목적이나 이미 확인된 위험 사례로 제시하지는 않았다.

6. Square의 기존 활용과 사업 확장 가능성

기사는 Dessa의 사업적 맥락으로 Block이 금융 서비스를 제공하고 소상공인에게 솔루션을 판매하는 기업이라는 점을 짚는다. Block의 Square는 이미 주문 처리를 위해 음성 AI를 활용하고 있어, 음성 기술이 회사 사업과 연결되는 기존 사례가 있다. 기사는 자체 음성 모델을 기기에서 실행할 수 있다면 더 낮은 비용으로 기업과 소비자를 위한 다양한 경험을 지원할 가능성이 있다고 설명한다. 여기서 비용 절감과 적용 확대는 온디바이스 모델을 바탕으로 제시한 전망이며, Dessa를 적용한 구체적인 서비스 출시나 절감 금액이 발표됐다는 뜻은 아니다. 따라서 현재 확인되는 기존 활용은 Square의 음성 주문 처리이며, Dessa를 통한 추가 사업 확장은 기사에서 제시한 가능성으로 구분된다.

🧾 핵심 주장 / 시사점

• Dessa의 핵심 주장은 사람다운 발성뿐 아니라 음성이 담고 있는 감정 정보를 대화에 살리는 데 있다. 다만 자연스러운 감정 표현이 사용자의 감정을 정확히 이해한다는 증거로 이어지지는 않는다.
• 생생한 감정 표현은 사용자 경험의 매력이면서 사람을 속일 가능성과도 연결되는 검증 주제다. 일반 공개에 앞서 안전성 연구자들의 테스트를 요청했다는 점이 이 문제와 맞물린다.
• 로컬 실행은 Block의 기존 사업에 음성 기능을 확대할 가능성을 제공하지만, 실제 비용 절감과 적용 효과는 공개 시연만으로 확인할 수 없다.

✅ 액션 아이템

• Dessa의 전이중 대화 능력과 대화 데이터에서 얻는 지식의 범위를 함께 검토할 필요가 있다.
• Dessa의 감정 제어 방식과 사람을 속일 가능성을 안전성 검증의 주요 쟁점으로 확인할 필요가 있다.
• MacBook M4 Max 이상급 로컬 실행을 전제로, Square의 주문 처리 활용과 연결되는 비용 절감·적용 확대 가능성을 검토할 필요가 있다.

❓ 열린 질문

• Dessa가 대화 데이터에서 얻는 지식은 어느 범위까지이며, 전이중 대화에서 어떤 한계가 나타나는가?
• Dessa의 감정 표현은 태그로 제어되는가, 그리고 안전성 테스트는 사람을 속일 가능성을 어떻게 검증하는가?
• MacBook M4 Max 이상급에서 실행되는 Dessa는 Square의 주문 처리 활용과 비교해 어떤 비용 절감과 적용 확대 효과를 낼 수 있는가?