🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

개방형 자동 음성 인식 순위표는 정확도와 처리 속도뿐 아니라 다국어·장문 전사 성능까지 비교하며, 언어 범용성·특화 정확도·처리량 사이의 뚜렷한 상충 관계를 보여준다.

📌 핵심 요약

• 2025년 11월 21일 기준 허깅페이스 허브에는 150개의 오디오-텍스트 변환 모델과 약 2만 7000개의 자동 음성 인식 모델이 있지만, 기존 평가는 주로 30초 미만의 짧은 영어 음성에 집중되어 있었다.
• 개방형 자동 음성 인식 순위표는 18개 조직의 공개·비공개 모델 60여 개를 11개 데이터셋에서 비교하며, 최근 다국어 및 장문 전사 평가 트랙을 추가했다.
• 영어 전사 정확도에서는 컨포머 인코더와 대규모 언어 모델 디코더를 결합한 모델들이 앞서지만, 처리 속도에서는 더 단순한 CTC·TDT 디코더가 10~100배 높은 처리량을 제공한다.
• 다국어 지원은 언어 범위를 넓히는 대신 특정 언어 정확도가 낮아질 수 있으며, 반대로 영어에 미세 조정하거나 증류한 모델은 영어 성능을 높이는 과정에서 다국어 범위가 줄어드는 경향을 보인다.
• 장문 전사에서는 비공개 시스템이 여전히 우세하지만, 공개 모델 중에서는 위스퍼 라지 v3가 높은 정확도를 보이고 CTC 기반 컨포머는 비교적 작은 오류율 차이로 압도적인 처리 속도를 달성한다.

🧩 주요 포인트

1. 2025년 11월 21일 기준 허깅페이스 허브에는 150개의 오디오-텍스트 변환 모델과 약 2만 7000개의 자동 음성 인식 모델이 있지만, 기존 평가는 주로 30초 미만의 짧은 영어 음성에 집중되어 있었다.
2. 개방형 자동 음성 인식 순위표는 18개 조직의 공개·비공개 모델 60여 개를 11개 데이터셋에서 비교하며, 최근 다국어 및 장문 전사 평가 트랙을 추가했다.
3. 영어 전사 정확도에서는 컨포머 인코더와 대규모 언어 모델 디코더를 결합한 모델들이 앞서지만, 처리 속도에서는 더 단순한 CTC·TDT 디코더가 10~100배 높은 처리량을 제공한다.
4. 다국어 지원은 언어 범위를 넓히는 대신 특정 언어 정확도가 낮아질 수 있으며, 반대로 영어에 미세 조정하거나 증류한 모델은 영어 성능을 높이는 과정에서 다국어 범위가 줄어드는 경향을 보인다.
5. 장문 전사에서는 비공개 시스템이 여전히 우세하지만, 공개 모델 중에서는 위스퍼 라지 v3가 높은 정확도를 보이고 CTC 기반 컨포머는 비교적 작은 오류율 차이로 압도적인 처리 속도를 달성한다.

🧠 상세 정리

1. 짧은 영어 음성 중심 평가에서 현실적인 평가로

2025년 11월 21일 기준 허깅페이스 허브에는 150개의 오디오-텍스트 변환 모델과 약 2만 7000개의 자동 음성 인식 모델이 등록되어 있어, 용도에 적합한 모델을 고르는 일이 어려워졌다. 그동안 다수의 벤치마크는 30초 미만의 짧은 영어 음성 전사에 집중해 다국어 성능과 실제 처리량을 충분히 보여주지 못했다. 그러나 회의·강의·팟캐스트처럼 긴 음성에서는 단어 오류율뿐 아니라 전체 파일을 얼마나 빠르게 처리하는지가 중요한 선택 기준이 된다. 개방형 자동 음성 인식 순위표는 이러한 공백을 줄이기 위해 정확도와 효율성을 함께 비교해 왔으며, 최근 다국어 및 장문 전사 트랙을 추가해 평가 범위를 넓혔다.

2. 60여 개 모델에서 드러난 정확도 선두 구조

순위표는 2025년 11월 21일 현재 18개 조직이 제공한 공개·비공개 모델 60여 개를 11개 데이터셋에서 비교하며, 관련 사전 공개 논문은 이 결과를 바탕으로 현대 음성 인식의 주요 경향을 분석한다. 영어 전사 정확도에서는 컨포머 인코더와 대규모 언어 모델 디코더를 결합한 구조가 가장 낮은 단어 오류율을 기록했다. 대표 사례로 엔비디아의 캐너리-큐웬 2.5B, IBM의 그래나이트 스피치 3.3 8B, 마이크로소프트의 파이-4 멀티모달 인스트럭트가 제시된다. 또한 엔비디아는 기존 컨포머보다 두 배 빠른 패스트 컨포머를 도입했고, 이를 캐너리와 패러킷 계열 모델에 사용해 인코더 효율을 개선했다.

3. 정확도와 처리 속도 사이의 선택

대규모 언어 모델 디코더는 높은 정확도를 제공하지만, 더 단순한 디코더보다 전사 속도가 느리다는 비용이 따른다. 순위표는 효율성을 역실시간 계수인 RTFx로 측정하며, 이 값이 높을수록 같은 길이의 음성을 더 빠르게 처리한다는 뜻이다. CTC와 TDT 디코더는 대규모 언어 모델 기반 방식보다 오류율이 다소 높지만, 처리량에서는 10~100배 빠른 결과를 제공한다. 따라서 즉시 응답이 필요한 실시간 전사뿐 아니라 장비에서 수행하는 오프라인 처리, 대량의 회의·강의·팟캐스트를 변환하는 일괄 작업에서는 최고 정확도 모델보다 CTC·TDT 계열이 더 적합한 선택이 될 수 있다.

4. 다국어 범용성과 단일 언어 특화의 상충 관계

오픈AI의 위스퍼 라지 v3는 99개 언어를 지원하는 강력한 다국어 기준 모델로 남아 있지만, 영어에 맞춰 미세 조정하거나 증류한 디스틸 위스퍼와 크리스퍼위스퍼는 영어 전용 과제에서 원본보다 나은 결과를 보이기도 한다. 이는 특정 언어에 집중하면 해당 언어의 성능은 향상될 수 있으나 다국어 적용 범위는 줄어드는 특화와 일반화의 상충 관계를 보여준다. 메타의 대규모 다국어 음성 모델과 옴니링구얼 음성 인식처럼 1000개 이상의 언어를 지원하는 자기지도학습 시스템도 언어별 전용 인코더와 비교하면 정확도에서 뒤처진다. 현재 공식 다국어 트랙이 평가하는 언어는 다섯 개뿐이며, 운영진은 데이터셋과 모델 기여를 받아 언어 범위를 확대할 계획이다. 아랍어와 러시아어별 커뮤니티 순위표도 방언·양층언어 현상, 언어 고유의 음운·형태 구조를 반영하면서 데이터셋 공유와 투명한 모델 비교를 보완하고 있다.

5. 장문 전사에서 확인된 정확도·처리량 격차

팟캐스트·강의·회의처럼 긴 음성을 다루는 장문 전사에서는 비공개 시스템이 공개 모델보다 여전히 앞서며, 본문은 도메인 조정과 자체 분할 방식, 제품 수준 최적화를 가능한 차이 요인으로 언급한다. 공개 모델 가운데 정확도가 가장 높은 모델로는 위스퍼 라지 v3가 제시된다. 반면 처리량에서는 CTC 기반 컨포머가 두드러져, 엔비디아 패러킷 CTC 1.1B는 RTFx 2793.75를 기록한 데 비해 위스퍼 라지 v3는 68.56을 기록했다. 두 모델의 단어 오류율은 각각 6.68과 6.43으로 차이가 비교적 작았지만, 본문에서 비교한 패러킷 모델은 영어 전용이라는 제한이 있었다. 이에 따라 장문 처리에서도 최고 정확도, 대규모 처리 속도, 다국어 지원을 동시에 만족하기보다 실제 작업의 우선순위에 맞춰 모델을 골라야 한다.

6. 지속적으로 확장되는 공개·커뮤니티 평가 체계

운영진은 개방형 자동 음성 인식 순위표를 정확도와 효율성을 투명하게 비교하는 공동체 중심 기준으로 유지하면서 모델·언어·데이터셋을 계속 추가할 계획이다. 이 순위표는 러시아어·아랍어 음성 인식과 음성 딥페이크 탐지 등 다른 공개 순위표가 참고하는 기반으로도 활용되고 있으며, 새로운 모델과 데이터셋은 깃허브 풀 리퀘스트를 통해 기여할 수 있다. 게시 후 댓글에서는 패러킷 v3가 25개 언어를 지원한다는 보완 사항이 제기됐고, 저자는 본문의 영어 전용 설명이 패러킷 v2를 가리킨다고 답했다. 저자에 따르면 v3는 기본 순위표에는 포함됐지만 당시 장문 트랙에는 아직 반영되지 않았으며, 비슷한 처리량을 유지하는 대신 영어 성능은 낮아졌다. 또 다른 의견으로 평균 단어 오류율과 RTFx의 비율이나 파레토 전선을 표시해 정확도와 효율성의 균형을 더 직접적으로 비교하자는 제안도 나왔다.

🧾 핵심 주장 / 시사점

• 자동 음성 인식 모델은 단어 오류율 하나로 평가하기보다 대상 언어, 오디오 길이, RTFx, 실시간 처리 여부를 함께 비교해야 실제 용도에 맞게 선택할 수 있다.
• 컨포머와 대규모 언어 모델의 결합은 영어 정확도에서 강점을 보이지만, 대량·장문 전사에서는 CTC·TDT 방식의 처리량 이점이 정확도의 작은 차이보다 중요해질 수 있다.
• 다국어 범위 확대와 특정 언어 성능 향상은 동시에 달성되지 않을 수 있으므로, 순위표도 전체 평균뿐 아니라 언어별 결과와 장문 조건을 분리해 보여주는 방향으로 확장될 필요가 있다.

✅ 액션 아이템

• 기존 30초 미만 영어 중심의 평가지표를 보완해 다국어·장문 전사 트랙을 포함한 11개 데이터셋 비교 항목을 정리한다.
• 영어 정확도는 컨포머+LLM 디코더가 우세하고 CTC·TDT는 처리량이 10~100배 높다는 점을 반영해 오차율·속도 상충을 정량화한다.
• 공개·비공개 모델 60여 개 비교에서 다국어 확장 시 언어별 정확도 저하와 영어 특화·증류로 인한 다국어 축소 경향을 반영해 모델 우선순위를 재조정한다.

❓ 열린 질문

• 허깅페이스 허브의 150개 오디오-텍스트 변환 모델과 약 2만7000개 ASR 모델 중 순위표가 60여 개 모델만 다루는 이유가 어디에서 기인하는가?
• 다국어 지원을 늘렸을 때 특정 언어 정확도가 낮아지는 손실을 감수할 임계치와 반대로 영어 미세조정/증류로 범위가 줄어들 때의 반대 기준은 무엇인가?
• 비공개 시스템이 장문 전사에서 우세한 상황에서 공개 모델(위스퍼 라지 v3·CTC 기반 컨포머)은 장문/실시간 요구에 따라 어떤 기준으로 교체 판단을 할 것인가?