🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

구글 딥마인드와 구글 코어 ML은 원 화자의 목소리를 유지하면서 약 2초 지연으로 실시간 음성-음성 번역을 수행하는 엔드투엔드 S2ST 모델과 이를 위한 시간 동기화 데이터 파이프라인을 소개했다.

📌 핵심 요약

• 이 글은 원격 대화에서 번역 자막만으로는 말투와 즉시성이 부족해 자연스러운 연결이 어렵다는 문제의식에서 출발해, 번역된 음성을 직접 생성하는 실시간 음성-음성 번역의 필요성을 설명한다.
• 기존 계단식 S2ST 방식은 음성을 텍스트로 인식하고, 텍스트를 번역한 뒤, 다시 음성으로 합성하는 구조였기 때문에 4~5초 수준의 지연, 단계별 오류 누적, 개인화 부족이라는 한계를 가졌다.
• 새 모델은 시간 동기화된 입력·목표 데이터를 바탕으로 학습되는 엔드투엔드 스트리밍 구조를 사용해 원 화자의 음성 특성을 보존하면서 약 2초 지연으로 번역 음성을 생성하도록 설계됐다.
• 데이터 파이프라인은 원본 음성 수집, 정제, 자동 음성 인식, 강제 정렬, 기계 번역, 번역 검증, 맞춤형 음성 합성, 추가 정렬을 거쳐 소스 음성과 타깃 음성 사이의 정렬 마스크를 만든다.
• 이 기술은 구글 미트 서버 기반 음성 번역과 픽셀 10의 온디바이스 기능에 적용됐으며, 현재는 영어와 스페인어·독일어·프랑스어·이탈리아어·포르투갈어 간 라틴 문자권 언어쌍에서 강한 성능을 보이고 향후 다른 언어와 동적 지연 조절 개선을 목표로 한다.

🧩 주요 포인트

1. 이 글은 원격 대화에서 번역 자막만으로는 말투와 즉시성이 부족해 자연스러운 연결이 어렵다는 문제의식에서 출발해, 번역된 음성을 직접 생성하는 실시간 음성-음성 번역의 필요성을 설명한다.
2. 기존 계단식 S2ST 방식은 음성을 텍스트로 인식하고, 텍스트를 번역한 뒤, 다시 음성으로 합성하는 구조였기 때문에 4~5초 수준의 지연, 단계별 오류 누적, 개인화 부족이라는 한계를 가졌다.
3. 새 모델은 시간 동기화된 입력·목표 데이터를 바탕으로 학습되는 엔드투엔드 스트리밍 구조를 사용해 원 화자의 음성 특성을 보존하면서 약 2초 지연으로 번역 음성을 생성하도록 설계됐다.
4. 데이터 파이프라인은 원본 음성 수집, 정제, 자동 음성 인식, 강제 정렬, 기계 번역, 번역 검증, 맞춤형 음성 합성, 추가 정렬을 거쳐 소스 음성과 타깃 음성 사이의 정렬 마스크를 만든다.
5. 이 기술은 구글 미트 서버 기반 음성 번역과 픽셀 10의 온디바이스 기능에 적용됐으며, 현재는 영어와 스페인어·독일어·프랑스어·이탈리아어·포르투갈어 간 라틴 문자권 언어쌍에서 강한 성능을 보이고 향후 다른 언어와 동적 지연 조절 개선을 목표로 한다.

🧠 상세 정리

1. 실시간 대화에서 음성-음성 번역이 필요한 이유

글은 실시간 소통이 직장과 개인 생활 모두에서 핵심적이라는 전제에서 시작한다. 언어 장벽을 사이에 둔 원격 대화에서는 최신 번역 자막만으로도 의미 전달은 가능하지만, 화자의 개성이나 대화의 즉각성이 충분히 살아나지 않는다는 한계가 제시된다. 음성-음성 번역은 텍스트 자막을 보여주는 데서 멈추지 않고 번역된 오디오를 직접 생성하기 때문에, 대화 상대가 실제로 말하고 있다는 느낌을 더 자연스럽게 만들 수 있다. 이 글이 소개하는 기술의 핵심은 원 화자의 목소리를 유지하면서 약 2초 지연으로 번역 음성을 내보내는 엔드투엔드 모델이다.

2. 기존 계단식 S2ST 방식의 구조와 한계

기존 실시간 음성-음성 번역 시스템은 여러 개별 처리 블록을 순서대로 연결하는 계단식 파이프라인을 사용했다. 먼저 원본 음성을 자동 음성 인식 모델로 텍스트화하고, 이어서 이 텍스트를 목표 언어로 번역한 다음, 마지막으로 번역문을 텍스트-음성 합성으로 다시 오디오화하는 방식이다. 각 구성 요소는 개별적으로 높은 품질을 낼 수 있지만, 전체 대화 경험에서는 문제가 누적된다. 글은 특히 4~5초에 이르는 큰 지연, 단계마다 쌓이는 오류, 범용 음성 합성으로 인한 개인화 부족을 주요 한계로 지적한다.

3. 엔드투엔드 개인화 S2ST의 핵심 방향

새로운 접근은 음성 인식, 번역, 음성 합성을 순차적으로 분리하기보다, 시간 동기화된 데이터를 학습해 음성 입력에서 번역 음성 출력을 직접 생성하는 방향을 택한다. 이를 위해 연구진은 확장 가능한 데이터 획득 파이프라인과 오디오 전용 스트리밍 머신러닝 구조를 함께 만들었다. 모델은 연속적인 오디오 스트림을 처리하면서 언제 번역 출력을 내보낼지 결정할 수 있도록 설계됐다. 또한 원 화자의 음성 특성을 보존하면서 자연스러운 번역 음성을 생성하는 것을 목표로 하며, 일반적인 대화에서 약 2초 지연을 표준 설정으로 사용한다.

4. 시간 동기화 학습 데이터를 만드는 파이프라인

데이터 파이프라인은 언어쌍별로 원본 음성을 확보하는 단계에서 시작하며, 여기에는 다양한 음성 출처와 음성 합성 모델이 만든 데이터도 포함된다. 수집된 오디오는 단일 화자의 원천 언어 음성인지, 소음 수준이 적절한지 등을 기준으로 정제와 필터링을 거친다. 이후 자동 음성 인식으로 원본 텍스트를 만들고, 강제 정렬 알고리즘으로 오디오와 텍스트 사이의 시간 대응 관계를 생성한다. 정렬에 실패한 구간은 버려지며, 남은 클립만 다음 단계인 기계 번역과 번역 품질 검증으로 넘어간다.

5. 정렬 마스크와 학습 데이터 품질 관리

원문 텍스트가 목표 언어로 번역되면 자동 필터들이 번역 결과가 입력 텍스트와 잘 대응하는지 확인한다. 그다음 원본 전사 텍스트와 번역 텍스트를 다시 정렬해 텍스트와 번역 텍스트 사이의 시간 주석을 만들고, 맞춤형 텍스트-음성 생성 엔진으로 번역 음성을 생성한다. 이 음성은 원본 오디오의 목소리 특성을 보존하면서 자연스럽게 들리도록 만들어진다. 마지막으로 번역 텍스트와 생성된 음성 사이를 다시 강제 정렬하고, 앞선 여러 정렬 결과의 겹침을 계산해 소스 오디오와 타깃 오디오 사이의 정렬 마스크를 만든다.

6. 스트리밍 인코더·디코더와 오디오 토큰 표현

엔드투엔드 S2ST 모델은 기본 트랜스포머 블록을 활용하며, 크게 스트리밍 인코더와 스트리밍 디코더로 구성된다. 인코더는 앞선 10초의 입력을 바탕으로 원본 오디오 정보를 요약하고, 디코더는 압축된 인코더 상태와 이전 예측을 사용해 번역 오디오를 자기회귀적으로 예측한다. 이 모델은 오디오를 RVQ 오디오 토큰이라는 2차원 토큰 집합으로 표현한다. 시간축과 토큰축으로 구성된 이 표현은 머신러닝 코덱을 통해 다시 오디오 스트림으로 변환될 수 있으며, 보통 100밀리초 오디오 조각에는 16개 토큰이면 고품질 표현이 가능하다고 설명된다.

7. 품질과 지연 사이의 조절 방식

모델은 오디오 토큰뿐 아니라 하나의 텍스트 토큰도 함께 출력한다. 이 텍스트 토큰은 오디오 생성을 위한 추가 사전 정보로 작동하며, 별도의 대리 음성 인식 시스템에 의존하지 않고 BLEU 같은 지표를 직접 계산할 수 있게 해준다. 학습 중에는 토큰별 손실을 적용해 번역 정확도를 높이고, 정답 토큰을 오른쪽으로 이동시키는 방식으로 예측 지연, 즉 lookahead를 조절한다. 더 긴 lookahead는 더 많은 문맥을 제공해 번역 품질을 높일 수 있지만, 실시간 대화 경험에는 불리하기 때문에 일반적인 실시간 대화에서는 2초 지연이 주로 사용된다.

8. 실제 적용, 지원 언어, 향후 개선 방향

이 기술은 실시간 다국어 소통이 중요한 두 영역에 적용됐다. 하나는 서버에서 동작하는 구글 미트 음성 번역 기능이고, 다른 하나는 새 픽셀 10 기기에 내장된 온디바이스 기능이다. 두 제품은 S2ST 파이프라인 실행 전략은 다르지만 학습 데이터와 모델 구조를 공유하며, 픽셀의 음성 번역 기능은 더 넓은 언어 지원을 위해 계단식 접근도 사용한다. 현재 엔드투엔드 모델은 영어와 스페인어, 독일어, 프랑스어, 이탈리아어, 포르투갈어 간 다섯 라틴 문자 기반 언어쌍에서 강건한 성능을 보였고, 향후에는 힌디어 같은 다른 언어와 어순 차이가 큰 언어를 위해 동적 lookahead 개선을 추진한다고 설명한다.

🧾 핵심 주장 / 시사점

• 이 글의 핵심 전환점은 번역을 텍스트 중심 보조 기능이 아니라, 화자의 목소리와 대화 리듬까지 포함하는 실시간 음성 경험으로 다룬다는 점이다.
• 기술적 병목은 단순히 모델 구조만이 아니라 시간 동기화 데이터의 품질에 있으며, 여러 단계의 정렬과 필터링이 2초 지연 S2ST의 기반으로 제시된다.
• 실시간성과 번역 품질은 긴장 관계에 있기 때문에, 향후 성능 개선의 중요한 방향은 언어별 어순과 문맥 요구량에 맞춰 lookahead를 더 유연하게 조절하는 것이다.

✅ 액션 아이템

• 딥마인드·코어 ML의 엔드투엔드 S2ST를 기준으로 기존 4~5초 계단식 대비 2초 지연 목표를 검증 기준으로 설정한다.
• 정렬 마스크 생성 파이프라인(수집·정제·ASR·강제 정렬·기계 번역·번역 검증·맞춤형 음성 합성·추가 정렬)을 단계별로 점검해 오류 누적 지점을 정의한다.
• 구글 미트 서버 번역과 픽셀10 온디바이스 적용 범위를 대비해 언어쌍별 성능을 비교하고 확장 우선순위를 정한다.

❓ 열린 질문

• 2초 지연 엔드투엔드 번역이 실제 원격 대화에서 자막 기반 방식보다 반응 체감 속도를 유의하게 개선하는가?
• 원 음성 특성 보존이 중요한 경우 정렬 마스크 생성 단계에서 어떤 지표가 품질 저하를 가장 민감하게 드러내는가?
• 현재 지원되는 6개 라틴 문자권 언어쌍 외 확장 시 동적 지연 조절 허용 범위를 어디까지 설정해야 하는가?