Granite Speech 5.0: Transcribe, Translate, and Attribute more Accurately and Faster

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

IBM은 고정확도 전사·번역용 granite-speech-5.0-2b를 새로 공개하고, 고속 전사용 granite-speech-5.0-470m-turboctc와 화자·시간 정보 처리용 granite-speech-4.1-2b-plus를 개선했다.

📌 핵심 요약

• granite-speech-5.0-2b는 390,000시간의 공개 오디오와 합성 데이터로 학습했으며, 6개 언어 전사, 영어 중심의 다국어 번역, 입력 언어 지정, 최대 2,000개 용어의 키워드 편향을 지원한다. 영어 단문 공개 평가 세트의 평균 WER는 5.06%로, 2026년 10월 15일 기준 비공식 평가에서 주요 오픈 웨이트 ASR 모델 중 2위였다.
• granite-speech-5.0-2b는 이전 4.1 2B와 같은 파라미터 수를 유지하면서 영어 음성 인식, 잡음·잔향·원거리 마이크 음성 처리, 장문·대화체 번역을 개선했다. 프롬프트로 문장부호와 대문자 표기를 요청할 수 있으며, 평가 세트별 대문자 표기 F1은 89.7~99.5였다.
• granite-speech-5.0-470m-turboctc는 470M 파라미터를 유지하면서 7개 언어 전사, 기본 문장부호·대문자 출력, 잔향 환경 대응을 지원한다. Open ASR Leaderboard 처리 속도는 출시 당시 약 12,600 RTFx에서 19,870 RTFx로 약 1.6배 높아졌으며, 원문은 정확도 수준을 유지했다고 설명한다.
• granite-speech-4.1-2b-plus는 구조·프롬프트 형식·API를 유지한 가중치 업데이트다. 화자 분리 오류율 WDER와 화자 귀속 전사 오류율 cpWER는 각각 약 7% 감소했고, 평균 타임스탬프 편차 AAS는 절반 이상, 장문 WER는 24%, 20개 용어 목록을 사용한 편향 키워드 오류는 45% 감소했다.
• 세 모델은 모두 Apache 2.0 라이선스와 Transformers 기본 지원을 제공한다. IBM은 정확도·번역·키워드 편향에는 granite-speech-5.0-2b, 속도·기기 내 전사에는 granite-speech-5.0-470m-turboctc, 회의·다중 화자 통화에는 granite-speech-4.1-2b-plus를 권장하며, 추가 위험 탐지가 필요한 운영 배포에는 Granite Guardian 병용을 권장한다.

🧩 주요 포인트

1. 정확도·처리 속도·화자 및 시간 정보에 따라 권장 모델이 달라진다 → 기업 음성 작업에서는 용도에 맞춘 모델 선택이 핵심이다.
2. granite-speech-5.0-2b의 언어 지정과 최대 2,000개 용어의 키워드 편향 → 다국어 전사·번역에서 입력 언어와 고유 용어를 명시적으로 반영할 수 있다.
3. granite-speech-4.1-2b-plus의 구조·프롬프트 형식·API 유지와 오류 감소 → 기존 모델을 대체하면서 장문·다중 화자 녹음의 전사와 시간 정보 품질을 개선할 수 있다.

🧠 상세 정리

1. 기업 음성 작업을 나눠 담당하는 세 모델

IBM은 2026년 10월 21일 Granite Speech 컬렉션의 신규 모델 하나와 기존 모델 두 개의 개정판을 소개했다. 신규 granite-speech-5.0-2b는 높은 정확도의 다국어 전사와 번역을, 개정된 granite-speech-5.0-470m-turboctc는 높은 처리량과 기기 내 전사를 주요 용도로 삼는다. 함께 업데이트된 granite-speech-4.1-2b-plus는 회의와 통화처럼 여러 사람이 등장하는 녹음에서 누가 언제 무엇을 말했는지 처리하는 데 초점을 맞춘다. 원문은 세 모델이 기업 음성 작업의 서로 다른 요구를 포괄한다고 설명하며, 이후 각 모델의 개선 내용과 평가 결과를 차례로 제시한다.

2. Granite Speech 5.0 2B의 언어 지원과 출력 제어

granite-speech-5.0-2b는 granite-speech-4.1-2b의 후속 모델로, 파라미터 수는 이전과 같다. 영어·프랑스어·독일어·스페인어·포르투갈어·일본어를 전사하며, 영어와 나머지 다섯 언어 사이의 양방향 번역에 더해 영어에서 이탈리아어·중국어로의 번역을 지원한다. 학습에는 390,000시간의 공개 오디오와 일본어 음성 인식, 키워드 편향, 번역을 위해 만든 합성 데이터를 사용했다. 프롬프트에 입력 언어를 명시해 다국어 전사를 유도할 수 있고, 지원하는 모든 언어에서 최대 2,000개 용어를 지정해 제품명·인명·약어가 전사와 번역에 반영되도록 편향을 줄 수 있다. 문장부호와 대문자 표기도 프롬프트로 요청할 수 있으며, 평가 세트별 대문자 표기 F1은 89.7~99.5였다.

3. 5.0 2B의 정확도 개선과 평가 범위

원문은 granite-speech-5.0-2b가 이전 4.1 2B보다 영어 단문 음성 인식의 정확도가 높고, 잡음·잔향·원거리 마이크 음성에 더 잘 대응한다고 설명한다. 번역 개선은 짧게 읽은 문장에 그치지 않고, 더 긴 발화와 자연스러운 대화체에서도 성능을 유지하는 방향에 초점을 맞췄다. 제시된 차트에서 평균 영어 WER는 5.06%로, 주요 오픈 웨이트 ASR 모델 중 2위를 기록했다. 다만 이 순위는 2026년 10월 15일 기준 비공식 결과이며, Open ASR Leaderboard의 공개 영어 단문 평가 세트 평균이라는 범위를 갖는다. 모델은 Apache 2.0으로 배포되며 Transformers, vLLM, llama.cpp와 Apple Silicon용 mlx-audio에서 지원된다.

4. Turbo CTC의 다국어 확장과 처리 속도 향상

8월에 처음 소개된 Turbo CTC는 속도를 중시한 영어 전용 470M 파라미터 인코더였으며, 이번 개정판도 같은 파라미터 규모를 유지한다. 지원 언어는 영어·일본어·스페인어·독일어·프랑스어·이탈리아어·포르투갈어로 확대됐고, 별도 문장부호 복원이나 대문자 변환 단계 없이 읽기 좋은 전사를 출력한다. 잔향이 있는 오디오를 명시적으로 겨냥한 학습을 통해 울림이 있는 방과 원거리 녹음에 대한 대응도 개선했다. 속도 측면에서는 Conformer 블록 하나를 컴파일하고 그 그래프를 전체 스택에서 재사용해 준비 시간을 줄였다. 이에 따라 Open ASR Leaderboard 처리 속도가 출시 당시 약 12,600 RTFx에서 19,870 RTFx로 약 1.6배 높아졌으며, 원문은 정확도 수준을 유지했다고 설명한다. 관련 차트는 2026년 10월 기준 영어 단문 공개 평가 세트 9개에서 평균 WER와 RTFx를 비교한다.

5. 4.1 2B Plus의 화자·타임스탬프·장문 성능

granite-speech-4.1-2b-plus는 여러 화자가 등장하는 긴 회의·고객 지원 통화·인터뷰에 맞춰 개선됐으며, 구조와 프롬프트 형식, API가 같아 기존 모델을 그대로 대체할 수 있다. 화자 분리 오류율 WDER는 4.40에서 4.10으로, 화자 귀속 전사 오류율 cpWER는 30.50에서 28.48로 낮아졌고, 원문은 두 지표 모두 전체적으로 약 7% 감소했다고 설명한다. 전체 음성의 평균 타임스탬프 편차 AAS는 210.86에서 98.54로 절반 이상 줄었으며, 짧은 음성에서는 29.27에서 26.20으로 감소했다. 장문 평가 세트의 WER는 13.53에서 10.22로 낮아져 원문 기준 24% 개선됐다. 20개 용어의 키워드 목록을 사용한 편향 단어 WER는 11.79에서 6.48로 내려가 오류가 45% 감소했다. 제시된 지표는 모두 낮을수록 좋으며, 더 정밀한 시간 정보는 자막·검색·검토에 도움이 된다고 설명한다.

6. 용도별 선택과 배포 지원

원문은 높은 전사 정확도, 번역 또는 키워드 편향이 필요하면 granite-speech-5.0-2b를 선택하도록 안내한다. 처리 속도나 기기 내 전사가 중요하면 granite-speech-5.0-470m-turboctc를 권장하며, 브라우저에서 실행하는 WebGPU 스트리밍 데모도 소개한다. 회의와 다중 화자 통화를 다룰 때는 granite-speech-4.1-2b-plus를 권장해, 작업 특성에 따른 선택 기준을 제시한다. 세 모델은 모두 Apache 2.0 라이선스로 공개됐고 Transformers에서 기본 지원되며, 전체 평가 결과·구조·학습 데이터·사용 예시는 각 모델 카드에서 확인할 수 있다. 추가 위험 탐지가 필요한 운영 배포에는 Granite Guardian을 함께 사용할 것을 권장한다.

🧾 핵심 주장 / 시사점

• 세 모델의 개선 방향은 서로 다르다. 5.0 2B는 정확도와 제어 기능, Turbo CTC는 다국어 처리와 속도, 4.1 2B Plus는 화자·시간 정보와 장문 성능에 집중한다.
• 5.0 2B의 2위 기록은 영어 단문 공개 평가에 한정된 비공식 결과이므로, 이를 모든 지원 언어와 장문·번역 성능의 순위로 확대해 해석할 근거는 제시되지 않았다.
• 4.1 2B Plus는 구조와 API를 바꾸지 않고도 화자 귀속, 타임스탬프, 장문 전사, 키워드 인식의 오류를 함께 줄였다는 점에서 기존 사용자의 교체 편의성과 관련이 있다.

✅ 액션 아이템

• 정확도·번역·키워드 편향, 속도·기기 내 전사, 회의·다중 화자 통화 중 주요 용도에 따라 세 모델의 적용 적합성 검토.
• 다국어 전사·번역에 사용할 granite-speech-5.0-2b의 입력 언어 지정과 최대 2,000개 용어의 키워드 편향 활용 검토.
• 기존 모델 대체 시 granite-speech-4.1-2b-plus의 구조·프롬프트 형식·API 유지와 장문 WER·타임스탬프 개선 효과 확인.

❓ 열린 질문

• 실제 적용 작업에서 정확도·번역·키워드 편향, 속도·기기 내 전사, 회의·다중 화자 통화 중 어떤 요구가 모델 선택을 좌우하는가?
• granite-speech-5.0-2b의 최대 2,000개 용어 키워드 편향은 사용할 다국어 전사·번역에서 어느 정도의 개선을 제공하는가?
• granite-speech-4.1-2b-plus의 장문 WER 24% 감소와 평균 타임스탬프 편차 AAS의 절반 이상 감소가 실제 회의·다중 화자 통화에서도 재현되는가?