NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

NVIDIA Nemotron 3.5 Transcribe는 다국어 전사·화자 구분·번역·오디오 질의응답을 통합한 오픈 웨이트 모델이며, Granary v2와 NeMo Speech는 프롬프트 조정부터 도메인 미세조정까지 지원한다.

📌 핵심 요약

• Nemotron 3.5 Transcribe는 40개 언어 전사, 31개 언어와 영어 간 양방향 번역, 13개 언어 화자 구분을 지원하며, 최대 1시간 녹음과 최대 8명의 화자를 처리한다. 과제마다 지원 언어가 다르고 오디오 질의응답은 영어로 학습됐으며, 실시간 스트리밍이 아닌 녹음 오디오용이다.
• 전사 성능은 Hugging Face Open ASR 영어 평가에서 평균 WER 5.33%로 오픈 웨이트 모델 중 1위이며, 모델 카드의 비교에서는 다국어 4.62%, 장문 10.98%로 평가된 오픈 웨이트 모델 중 가장 낮다. Artificial Analysis에서는 약 4B 활성 파라미터로 AA-WER 2.8%를 기록해 오픈 웨이트 공동 1위에 올랐다.
• 화자 구분에서는 David AI의 21개 언어 평가에서 DER 18.26%로 14개 시스템 중 최저 오류율을 기록했고, VoiceArena의 영어 전체 세션 평가에서는 cpWER 32.4%로 14개 시스템 중 1위였다. 출시 예정인 NVFP4 양자화 버전은 높은 동시성의 30초 클립 조건에서 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 1대로 100시간의 오디오를 3분 미만에 처리했다.
• Granary v2의 공개 매니페스트는 48개 언어와 16개 원천 코퍼스에 걸친 463,062시간을 포함한다. 재사용 가능한 큐레이션 파이프라인은 세 가지 전사 형식과 과제 라벨·품질 메타데이터를 제공하지만, 공개 데이터 규모가 Transcribe의 전체 학습 혼합이나 샘플링 가중치를 뜻하지는 않는다.
• 도메인 적응은 언어·문자 체계·전사 형식을 지정하는 프롬프트에서 시작해 NeMo Speech 미세조정으로 이어진다. 의료 사례에서는 영어와 라틴 알파벳을 명시해 전체 벤치마크 WER가 30.8%에서 23.8%로 낮아졌고, 미세조정은 학습에 포함되지 않은 화자에서 최선의 프롬프트 대비 WER를 상대적으로 45.8% 줄였다. 제공된 원문은 의료 사례의 세부 설명 도중 끊겨 있다.

🧩 주요 포인트

1. 여러 음성 과제를 하나의 체크포인트로 통합 → 같은 녹음에서도 지시에 따라 결과를 바꿀 수 있지만, 40개·31개·13개 언어라는 과제별 지원 범위와 녹음 오디오용 제약을 구분해야 한다.
2. 약 4B 활성 파라미터의 전사 정확도와 화자 구분 성능 → 정확도와 활성 파라미터 수의 효율성을 보여주지만, WER·AA-WER·DER·cpWER는 평가 대상이 다르며 NVFP4 처리량도 명시된 실험 조건에 한정된다.
3. Granary v2의 명시적 전사 형식과 NeMo Speech 미세조정 → 출력 형식 제어를 프롬프트에서 학습 단계로 확장하며, 의료 사례는 프롬프트 개선 후에도 추가적인 도메인 적응 여지가 있음을 보여준다.

🧠 상세 정리

1. 단어 기록을 넘어 여러 음성 과제를 통합

원문은 발화된 단어를 모두 기록하더라도 누가 말했는지, 어떻게 번역할지, 전문용어를 어떤 표기로 남길지는 별도로 해결해야 한다는 문제에서 출발한다. NVIDIA Nemotron 3.5 Transcribe는 전사, 화자 구분, 번역, 오디오 질의응답을 하나의 체크포인트에 통합한 프롬프트 기반 오픈 웨이트 모델로, Hugging Face와 ModelScope에서 제공된다. 전사는 40개 언어, 영어와의 양방향 번역은 31개 언어, 화자 구분은 13개 언어를 지원하며 최대 1시간 녹음과 최대 8명의 화자를 처리한다. 개발자는 자연어로 출력을 유도하고 오디오 처리 위치를 선택하며, 도메인 어휘와 억양에 맞춰 인식을 조정할 수 있다. 다만 이 지원 범위는 과제별로 다르므로, 하나의 모델이 모든 언어에서 모든 기능을 동일하게 제공한다는 의미로 해석해서는 안 된다.

2. 프롬프트로 출력 형식과 문맥 제어

같은 회의 녹음이라도 지시에 따라 서로 다른 결과를 만들 수 있다는 점이 모델 활용의 출발점으로 제시된다. 원문은 빠르고 겹치는 대사로 알려진 1940년 영화 His Girl Friday의 장면에 자막과 화자 라벨을 붙이는 시연을 소개하고, 낯선 용어에는 학습에 앞서 문맥을 제공하라고 권한다. 의료 프롬프트 예시는 HbA1c와 metformin을 가능한 용어로 알려주되 오디오가 뒷받침할 때만 사용하고, 표준 의료 철자와 통상적인 숫자 표기를 유지하도록 요청한다. 모델 카드는 권장 프리셋과 전체 프롬프트 안내, 과제별 언어 지원표를 제공하며, 오디오 질의응답은 영어로 학습됐고 단어 단위 타임스탬프도 지원된다. Agora는 녹화 수업의 재생 화면에 발화 내용과 시점을 함께 보여주는 데 이 타임스탬프를 사용했으며, 원문은 이름·화자 전환·답변을 녹음과 대조해 표본 점검할 필요도 명시한다.

3. 전사 정확도와 활성 파라미터 효율성

Hugging Face Open ASR Leaderboard의 영어 평가에서 Transcribe는 평균 WER 5.33%로 오픈 웨이트 모델 중 1위를 기록했으며, 해당 비교에서는 API 모델이 제외됐다. 모델 카드의 Open ASR 비교에서도 7개 언어 평균 WER 4.62%와 장문 평균 WER 10.98%로 평가된 오픈 웨이트 모델 중 가장 낮은 오류율을 보였다. 별도의 Artificial Analysis 평가에서는 AA-WER 2.8%로 오픈 웨이트 공동 1위이며, 공동 순위 모델의 활성 파라미터가 24B인 데 비해 Transcribe는 약 4B를 사용한다. AA-WER 지수의 50%를 차지하는 별도 평가용 음성 에이전트 데이터 AA-AgentTalk에서는 WER 1.8%로, 차순위 오픈 웨이트 모델의 2.3%보다 낮았다. 음성 인코더와 하이브리드 Mamba–Transformer 전문가 혼합 언어 모델을 결합해 전체 30B 파라미터 중 토큰당 약 4B만 활성화하며, 원문은 이를 정확도와 활성 파라미터 수의 파레토 경계에 위치하는 근거로 제시한다.

4. 다국어와 중첩 발화에서의 화자 구분

화자 구분에서는 Sortformer의 화자 단서가 음향 특징과 함께 언어 모델에 전달돼, 생성 과정에서 각 발화 차례에 화자 태그를 붙이는 구조를 설명한다. David AI의 DAI-ASR-I18N 전사·화자 구분 결합 트랙에서는 평가된 오픈 웨이트 모델 중 1위이자 전체 2위이며, 별도의 21개 언어 화자 구분 트랙에서는 14개 시스템 중 최저 DER인 18.26%를 기록했다. 이는 전용 모델 Nemotron 3 Diarization의 18.38%보다 소폭 낮으며, DER는 누가 언제 말했는지에 관한 화자 시간 오류를 측정한다. 영어 전체 세션을 평가하는 VoiceArena Diarization-Bench에서는 대면·온라인 환경 모두 1위였고, 화자 라벨을 대응시킨 뒤 단어 오류를 계산하는 cpWER가 32.4%로 비교 대상 14개 시스템 중 가장 낮았다. 해당 평가는 중첩 발화와 2~8명의 화자를 포함하며, 기준 단어 대비 삭제율도 8.32%로 중앙값 약 31%보다 낮아 발화 누락이 적다는 근거로 제시된다.

5. 배포 경로와 처리량 수치의 조건

원문은 현재 제공되는 체크포인트를 vLLM으로 서비스할 수 있다고 설명하며, NeMo-Speech.cpp를 이용한 로컬 배포와 양자화 버전은 출시 예정으로 구분한다. 예정된 양자화 버전의 실행 대상으로 RTX Spark, DGX Spark, Jetson AGX Thor를 제시하고, 규모를 확대할 경우 Blackwell 데이터센터 GPU를 언급한다. 처리량 벤치마크에서는 출시 예정인 NVFP4 양자화 버전이 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 1대로 100시간의 오디오를 3분 미만에 처리했다. 다만 이 결과는 높은 동시성에서 30초 클립으로 측정됐으므로, 모든 녹음 길이나 사용 환경에서 동일한 처리 시간을 보장하는 수치로 확대할 수는 없다. 또한 모델은 녹음 오디오를 위해 설계됐으며 실시간 스트리밍용이 아니라는 제약이 명시돼 있어, 처리량과 실시간 서비스 적합성은 구분해서 판단해야 한다.

6. Granary v2의 데이터 규모와 학습 목표

Granary v2는 프롬프트로 제어할 수 있는 음성 모델에 모호하지 않은 출력 형식의 학습 목표가 필요하다는 문제를 다루며, NVIDIA NeMo Curator로 구축한 재사용 가능한 데이터 큐레이션 파이프라인을 제공한다. 공개 매니페스트에는 48개 언어와 16개 원천 코퍼스에 걸친 463,062시간이 포함되며, 언어 수는 Granary v1의 25개에서 늘었다. 이 수치는 공개 데이터셋의 범위를 나타낼 뿐 Transcribe의 전체 학습 혼합이나 샘플링 가중치를 설명하지는 않는다. 각 녹음에는 숫자를 말한 형태로 쓰는 전사, 숫자 등을 일반적인 표기로 바꾸면서 머뭇거림을 보존하는 전사, 같은 표기 변환에서 머뭇거림을 제거한 전사의 세 가지 형식이 생성된다. 파이프라인은 짧은 오디오 캡션, 언어 혼용 시 차용어 복원, 음성에 근거한 질의응답 쌍, 문맥 기반 ASR 용어, 자동 품질 점수가 붙은 번역도 만들어 전사 이외의 과제 학습을 지원한다.

7. 큐레이션 단계와 공개 데이터 활용 조건

파이프라인의 첫 단계인 Audio Preparation은 오디오 분할, 전체 녹음에 걸친 화자 추적, 음향 사건과 언어 태깅을 맡지만, Granary v2의 원천 데이터는 이미 분할돼 있어 이번 공개본에서는 생략됐다. Transcription 단계는 언어별 주 모델과 복구용 ASR 모델을 연결하고 환각 검사에 실패하면 대체 경로를 사용하며, 사람의 참조 전사는 신뢰할 수 있는 철자를 보존하는 데 활용한다. Task Label Generation은 전사 변형을 만든 뒤 문자 생성률, 환각 패턴, 모델 또는 사람 참조와의 일치도를 검사하고, 통과한 레코드에만 문맥 ASR 용어와 번역을 부여한다. HiFi 단계는 잡음·잘림·다중 화자가 있는 구간을 걸러내며, VoxPopuli에서는 유럽 22개 언어의 354k시간을 111k시간으로 줄였다. 개발자는 Ray와 NVIDIA Dynamo 백엔드로 자체 녹음이나 사용 권한이 있는 공개 코퍼스에 파이프라인을 적용할 수 있고, 공개 매니페스트의 전사 형식·출처·품질 정보도 활용할 수 있지만, 원천 오디오는 각 코퍼스의 원래 라이선스에 따라 별도로 내려받고 공개 조건을 따라야 한다.

8. 프롬프트 개선에서 의료 도메인 미세조정으로

도메인 적응에 관한 원문의 순서는 먼저 개발 세트에서 언어·문자 체계·전사 형식을 명시하는 프롬프트를 정하고, 남는 도메인 오류에 미세조정을 적용하는 것이다. 의료 사례에서는 영어와 라틴 알파벳을 프롬프트에 명시하는 것만으로 전체 벤치마크 WER가 30.8%에서 23.8%로 낮아졌다. 이어 NeMo Speech 미세조정은 대표성 있는 음성과 명시적인 작성 목표를 연결하며, 원문 앞부분은 학습에 포함되지 않은 화자에서 최선의 프롬프트 대비 WER를 상대적으로 45.8% 줄였다고 보고한다. 이 두 결과는 전체 벤치마크의 프롬프트 비교와 별도 화자의 미세조정 비교라는 서로 다른 조건이므로, 하나의 연속된 절대 오류율 변화로 합쳐 해석할 수는 없다. 사례 데이터는 인도 의사와 의대생의 녹음을 담은 Eka Care 공개 벤치마크의 3,619개 클립으로 소개되지만, 제공된 원문은 그다음 설명 도중 끊겨 있어 이후의 데이터 구성이나 세부 학습·평가 절차는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 단일 체크포인트의 실용성은 전사 정확도뿐 아니라 화자·번역·표기 형식을 함께 제어하는 데서 나오지만, 실제 적용 범위는 과제별 언어 지원과 녹음 오디오용이라는 제약에 좌우된다.
• 전사와 화자 구분에서 각각 좋은 평가를 받았다는 점은 활용 가능성을 넓히지만, 서로 다른 오류 지표와 데이터셋의 순위를 하나의 보편적인 성능 수치로 합칠 수는 없다.
• Granary v2의 세 가지 전사 형식은 출력 관례를 학습 목표로 명시하는 접근이며, 의료 사례는 프롬프트로 해결되는 오류와 추가 미세조정이 필요한 오류를 단계적으로 다룰 근거를 제공한다.

✅ 액션 아이템

• Nemotron 3.5 Transcribe 적용 시 40개 언어 전사·31개 언어 번역·13개 언어 화자 구분의 지원 범위와 녹음 오디오용 제약을 확인한다.
• 약 4B 활성 파라미터의 정확도와 NVFP4 처리량을 검토할 때 WER·AA-WER·DER·cpWER의 차이와 30초 클립·높은 동시성 조건을 함께 고려한다.
• 도메인 적응에서는 언어·문자 체계·전사 형식을 지정하는 프롬프트를 먼저 검토하고, 남는 오류에 Granary v2와 NeMo Speech 미세조정의 적용 가능성을 평가한다.

❓ 열린 질문

• 적용하려는 언어와 과제는 Nemotron 3.5 Transcribe의 40개 언어 전사·31개 언어 번역·13개 언어 화자 구분 지원 범위에 포함되는가?
• 실제 처리 환경은 NVFP4 처리량이 측정된 30초 클립·높은 동시성 조건과 얼마나 유사한가?
• 의료 사례에서 확인된 프롬프트 개선과 NeMo Speech 미세조정의 효과가 다른 도메인에서도 나타나는지는 어떻게 검증할 수 있는가?