Blazingly fast whisper transcriptions with Inference Endpoints

🖼️ 인포그래픽

Blazingly fast whisper transcriptions with Inference Endpoints 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

허깅페이스는 vLLM과 GPU 최적화를 적용한 새로운 Whisper 추론 엔드포인트를 공개해 기존 버전 대비 최대 8배 빠른 처리 성능을 제공하면서도 전사 품질을 유지했다.

📌 핵심 요약

새로운 Whisper 배포 옵션은 전용 음성 전사 모델을 간단히 구축할 수 있도록 지원하며, 기존 버전보다 최대 8배 향상된 성능을 목표로 한다.
추론 계층에는 vLLM 기반 Whisper 구현과 파이토치 컴파일, CUDA 그래프, float8 KV 캐시 등의 최적화가 적용됐다.
Whisper Large V3, Large V3-Turbo, Distil-Whisper Large V3.5를 비교한 결과, 세 모델 모두 트랜스포머스 기준 구현과 비슷한 단어 오류율을 유지했다.
45분이 넘는 장시간 음성 표본을 단일 L4 GPU와 동일한 디코딩 조건에서 평가했으며, Whisper Large V3는 실시간 처리 배수에서 약 8배 개선됐다.
배포된 엔드포인트는 HTTP 요청으로 호출할 수 있고 FastRTC와 결합해 실시간 전사 애플리케이션을 만들 수 있지만, 단어 단위 타임스탬프는 아직 지원되지 않는다.

🧩 주요 포인트

새로운 Whisper 배포 옵션은 전용 음성 전사 모델을 간단히 구축할 수 있도록 지원하며, 기존 버전보다 최대 8배 향상된 성능을 목표로 한다.
추론 계층에는 vLLM 기반 Whisper 구현과 파이토치 컴파일, CUDA 그래프, float8 KV 캐시 등의 최적화가 적용됐다.
Whisper Large V3, Large V3-Turbo, Distil-Whisper Large V3.5를 비교한 결과, 세 모델 모두 트랜스포머스 기준 구현과 비슷한 단어 오류율을 유지했다.
45분이 넘는 장시간 음성 표본을 단일 L4 GPU와 동일한 디코딩 조건에서 평가했으며, Whisper Large V3는 실시간 처리 배수에서 약 8배 개선됐다.
배포된 엔드포인트는 HTTP 요청으로 호출할 수 있고 FastRTC와 결합해 실시간 전사 애플리케이션을 만들 수 있지만, 단어 단위 타임스탬프는 아직 지원되지 않는다.

🧠 상세 정리

1. 새로운 Whisper 추론 엔드포인트의 목표

허깅페이스는 2025년 5월 13일, Inference Endpoints에서 사용할 수 있는 새로운 OpenAI Whisper 배포 옵션을 공개했다. 이 옵션은 이전 버전과 비교해 최대 8배의 성능 향상을 제공하며, 사용자가 전용 고성능 전사 모델을 비교적 간단하게 배포할 수 있도록 설계됐다. 허깅페이스는 비용과 성능을 함께 고려한 프로덕션용 배포 환경을 제공하는 동시에, 오픈소스 공동체가 만든 기술을 실제 추론 서비스에 적극 활용하려는 방향을 강조한다. 또한 다양한 개인과 기관, 산업 파트너가 최적화된 배포 방식에 기여하도록 함으로써 Inference Endpoints를 더욱 공동체 중심적인 플랫폼으로 발전시키겠다는 목표를 제시한다.

2. vLLM 기반 추론 계층과 대상 하드웨어

새 Whisper 엔드포인트의 추론은 여러 하드웨어 환경에서 인공지능 모델을 효율적으로 실행하는 오픈소스 프로젝트 vLLM을 기반으로 한다. 구체적으로는 vLLM이 구현한 OpenAI Whisper 모델을 사용하며, 이를 통해 소프트웨어 계층의 더 낮은 수준까지 최적화를 적용할 수 있게 했다. 최초 공개 버전은 컴퓨팅 능력 8.9 이상인 엔비디아 GPU, 즉 에이다 러브레이스 계열의 L4와 L40s 등을 주요 대상으로 삼는다. 허깅페이스는 이런 하드웨어 조건에서 파이토치 컴파일, CUDA 그래프, float8 KV 캐시를 활용하며, 향후에도 공동체와 함께 최적화 범위를 계속 확대할 계획이라고 설명한다.

3. 세 가지 핵심 성능 최적화

파이토치의 torch.compile은 실행 시점에 최적화된 커널을 생성하면서 계산 그래프를 변경하고, 연산 순서를 재배치하거나 특화된 실행 방식을 호출할 수 있게 한다. CUDA 그래프는 GPU에서 순차적으로 실행되는 여러 연산과 커널의 흐름을 기록한 뒤, 이를 더 큰 작업 단위로 묶어 한꺼번에 실행하도록 돕는다. 이 방식은 작은 작업을 반복적으로 예약할 때 발생하는 데이터 이동과 동기화, GPU 스케줄링 부담을 줄인다. KV 캐시에는 활성값의 동적 양자화가 적용되며, 계산은 bfloat16으로 수행하되 출력은 원소당 2바이트인 bfloat16 대신 1바이트인 float8로 저장한다. 그 결과 같은 메모리에 더 많은 원소를 보관하고 KV 캐시 적중률을 높일 수 있다.

4. 전사 품질 평가와 비교 대상

평가에는 Whisper Large V3, Whisper Large V3-Turbo, Distil-Whisper Large V3.5가 포함됐으며, 각 모델을 트랜스포머스 라이브러리의 구현과 동일한 조건에서 비교했다. 전사 정확도는 AMI, GigaSpeech, LibriSpeech Clean과 Other, SPGISpeech, Tedlium, VoxPopuli, Earnings22 등 Open ASR Leaderboard의 표준 데이터셋 8개를 이용해 측정했다. 이 데이터셋들은 서로 다른 분야와 녹음 조건을 포함하므로 모델의 일반화 성능과 현실적인 음성 환경에서의 품질을 폭넓게 확인하는 데 사용됐다. 평가지표인 단어 오류율은 삽입, 삭제, 치환으로 잘못 예측된 단어의 비율이며 낮을수록 정확하다. 세 Whisper 모델은 모두 각자의 트랜스포머스 기준 구현과 비슷한 단어 오류율을 유지했다.

5. 장시간 음성에서 확인한 처리 속도

실제 전사 작업에 가까운 효율을 평가하기 위해 연구진은 45분이 넘는 음성 구간으로 구성된 rev16 장시간 데이터셋에서 표본을 추출했다. 회의와 팟캐스트, 인터뷰처럼 긴 녹음을 처리하는 상황을 대표하도록 구성된 평가이며, 음성 길이를 전사 소요 시간으로 나눈 실시간 처리 배수를 표본별로 측정한 뒤 평균을 계산했다. 모든 모델은 단일 L4 GPU에서 bfloat16으로 실행됐고, 언어와 빔 크기, 배치 크기 등 디코딩 설정도 동일하게 유지됐다. 그 결과 Whisper Large V3의 실시간 처리 배수는 기존 구현보다 거의 8배 개선됐다. 기사에서는 이러한 속도 향상이 전사 품질의 손실 없이 달성됐다고 설명한다.

6. 배포·호출 방법과 현재 제약

사용자는 Hugging Face Endpoints에서 모델과 필요한 몇 가지 설정을 선택해 프로덕션용 자동 음성 인식 파이프라인을 배포할 수 있다. 배포 후에는 엔드포인트 주소와 허깅페이스 토큰을 준비하고, 오디오 파일을 포함한 인증 HTTP 요청을 전사 API 경로로 보내 응답 JSON의 텍스트를 읽는 방식으로 추론한다. 기사에서는 파이썬 예제를 제공하지만 같은 요청 구조를 자바스크립트나 다른 언어에서도 사용할 수 있다고 설명하며, FastRTC를 결합하면 마이크 입력을 즉시 문자로 변환하는 실시간 애플리케이션도 만들 수 있다고 소개한다. 관련 데모 공간과 엔드포인트 이미지 저장소는 공동체가 복제하고 문제나 활용 사례를 제안하며 기여할 수 있도록 공개됐다. 다만 작성자의 댓글에 따르면 단어 단위 타임스탬프는 아직 지원되지 않으며, 로컬 배포는 도커 이미지를 받고 사용 가능한 GPU가 있을 때 가능하다.

🧾 핵심 주장 / 시사점

성능 향상은 단일 기법이 아니라 vLLM 구현, 컴파일된 커널, CUDA 그래프, KV 캐시 저장 정밀도 축소를 함께 적용한 결과로 제시된다.
벤치마크는 다양한 표준 데이터셋의 단어 오류율과 45분 이상 장시간 음성의 처리 속도를 각각 측정해, 정확도 유지와 실제 작업 효율을 분리해서 검증했다.
높아진 처리 속도는 실시간 전사 서비스 구축 가능성을 넓히지만, 단어 단위 타임스탬프 미지원과 초기 버전의 GPU 요구 조건은 적용 전에 확인해야 할 제약이다.

✅ 액션 아이템

허깅페이스 Whisper 추론 엔드포인트의 vLLM·torch.compile·CUDA 그래프·float8 KV 캐시 적용을 파일럿으로 검증해 단일 L4 GPU 기준 처리율 상승폭을 산정한다.
Whisper Large V3, Large V3-Turbo, Distil-Whisper Large V3.5를 동일 디코딩 조건에서 45분 장문의 음성 표본으로 재평가해 WER와 실시간 처리 배수(최대 8배 전후)를 비교한다.
HTTP 요청형 엔드포인트와 FastRTC를 결합한 실시간 전사 시나리오를 구성하고, 단어 단위 타임스탬프 미지원 제약을 반영해 기능 범위를 정리한다.