ggml-org/whisper.cppView GitHub Homepage for Latest Official Releases

OpenAI Whisper 음성 인식 모델의 고성능 C/C++ 포팅 버전으로, 순수 CPU 추론 및 멀티 플랫폼 배포를 지원합니다.

MITC++whisper.cppggml-org 42.1k Last Updated: August 07, 2025

Whisper.cpp 프로젝트 상세 소개

프로젝트 개요

Whisper.cpp는 OpenAI Whisper 자동 음성 인식(ASR) 모델의 고성능 C/C++ 포팅 버전입니다. 이 프로젝트는 원래 Python 기반의 Whisper 모델을 순수 C/C++ 코드로 재구현하여 의존성 없이 고효율의 음성 인식 기능을 구현하며, 특히 리소스가 제한된 환경과 임베디드 장치에서 실행하기에 적합합니다.

핵심 기능 및 특징

🚀 성능 최적화 특징

효율적인 추론 엔진

  • 순수 C/C++ 구현: Python 의존성 없음, 빠른 시작 속도, 낮은 메모리 점유율
  • 런타임 메모리 할당 없음: 메모리 관리를 최적화하여 런타임 메모리 단편화 방지
  • 혼합 정밀도 지원: F16/F32 혼합 정밀도 계산으로 정확도와 성능 균형 유지
  • 정수 양자화: 다양한 양자화 방식(Q5_0, Q8_0 등) 지원, 모델 크기 및 메모리 사용량 현저히 감소

하드웨어 가속 지원

  • Apple Silicon 최적화:
    • ARM NEON 명령어 세트 최적화
    • Accelerate 프레임워크 통합
    • Metal GPU 가속
    • Core ML ANE(신경 엔진) 지원
  • x86 아키텍처 최적화: AVX/AVX2 명령어 세트 가속
  • GPU 가속 지원:
    • NVIDIA CUDA 지원
    • Vulkan 크로스 플랫폼 GPU 가속
    • OpenCL 지원
  • 전용 하드웨어 지원:
    • Intel OpenVINO 추론 가속
    • 화웨이 승등 NPU 지원
    • 몰스레드 GPU 지원

🌍 크로스 플랫폼 지원

지원하는 운영체제

  • 데스크톱 플랫폼: macOS (Intel/Apple Silicon), Linux, Windows, FreeBSD
  • 모바일 플랫폼: iOS, Android
  • 임베디드: Raspberry Pi 등 ARM 장치
  • 웹 플랫폼: WebAssembly 지원, 브라우저에서 실행 가능

다국어 바인딩

  • 기본 지원: C/C++, Objective-C
  • 공식 바인딩: JavaScript, Go, Java, Ruby
  • 커뮤니티 바인딩: Python, Rust, C#/.NET, R, Swift, Unity

🎯 핵심 기능 모듈

음성 인식 엔진

  • 실시간 전사: 마이크 실시간 음성 인식 지원
  • 일괄 처리: 오디오 파일 일괄 전사 지원
  • 다국어 지원: 99개 언어의 음성 인식 지원
  • 화자 분리: 간단한 화자 식별 기능 지원

오디오 처리 능력

  • 다양한 형식 지원: FFmpeg 통합을 통해 다양한 오디오 형식 지원
  • 샘플링 레이트 적응: 다양한 샘플링 레이트의 오디오 입력 자동 처리
  • 오디오 전처리: 내장된 오디오 정규화 및 전처리 기능

출력 형식 옵션

  • 타임스탬프: 밀리초 단위의 정확한 타임스탬프 정보
  • 신뢰도 점수: 단어 수준의 신뢰도 평가 제공
  • 다양한 출력 형식: 텍스트, JSON, SRT 자막 등 형식 지원
  • 카라오케 모드: 동기화된 하이라이트 비디오 출력 생성 지원

🔧 기술 아키텍처 특징

모델 구조

  • 인코더-디코더 아키텍처: 원본 Whisper 모델의 transformer 구조 유지
  • 사용자 정의 GGML 형식: 최적화된 이진 모델 형식, 필요한 모든 구성 요소 포함
  • 모델 크기 선택: tiny(39MB)에서 large(1.55GB)까지 다양한 사양

메모리 관리

  • 정적 메모리 할당: 시작 시 필요한 모든 메모리 할당
  • 메모리 매핑: 효율적인 모델 파일 로드 방식
  • 캐시 최적화: 지능적인 계산 결과 캐시 메커니즘

주요 응용 시나리오

🎤 실시간 음성 응용

  • 음성 비서: 오프라인 음성 비서 응용 프로그램 구축
  • 실시간 자막: 화상 회의, 라이브 스트리밍에 실시간 자막 제공
  • 음성 메모: 실시간 음성-텍스트 변환 메모 응용 프로그램

📱 모바일 응용

  • 오프라인 전사: 모바일 장치에서 완전한 오프라인 음성 인식 구현
  • 음성 입력: 모바일 응용 프로그램에 음성 입력 기능 제공
  • 다국어 번역: 번역 모델과 결합하여 음성 번역 구현

🖥️ 데스크톱 및 서버 응용

  • 오디오 파일 일괄 처리: 대량 오디오 파일의 자동 전사
  • 콘텐츠 제작: 팟캐스트, 비디오 콘텐츠에 자동 자막 생성
  • 고객 서비스 시스템: 전화 고객 서비스 음성의 자동 전사 및 분석

성능 벤치마크 테스트

다양한 모델 사양 비교

모델 디스크 크기 메모리 점유율 추론 속도 정확도
tiny 75 MiB ~273 MB 가장 빠름 기본
base 142 MiB ~388 MB 빠름 양호
small 466 MiB ~852 MB 중간 매우 좋음
medium 1.5 GiB ~2.1 GB 느림 우수
large 2.9 GiB ~3.9 GB 느림 최고

하드웨어 가속 효과

  • Apple M1/M2: Metal GPU 가속으로 3-5배 성능 향상
  • NVIDIA GPU: CUDA 가속으로 5-10배 성능 향상
  • Intel CPU: AVX2 명령어 세트로 2-3배 성능 향상

빠른 시작 예제

기본 컴파일 및 사용

# 프로젝트 복제
git clone https://github.com/ggml-org/whisper.cpp.git
cd whisper.cpp

# 프로젝트 컴파일
cmake -B build
cmake --build build --config Release

# 모델 다운로드
./models/download-ggml-model.sh base.en

# 오디오 전사
./build/bin/whisper-cli -f samples/jfk.wav -m models/ggml-base.en.bin

Docker 사용

# 모델 다운로드
docker run -it --rm -v $(pwd)/models:/models \
  ghcr.io/ggml-org/whisper.cpp:main \
  "./models/download-ggml-model.sh base /models"

# 오디오 전사
docker run -it --rm \
  -v $(pwd)/models:/models \
  -v $(pwd)/audio:/audio \
  ghcr.io/ggml-org/whisper.cpp:main \
  "whisper-cli -m /models/ggml-base.bin -f /audio/sample.wav"

프로젝트 장점

✅ 기술적 장점

  1. 고성능: C/C++ 기본 구현, 뛰어난 성능
  2. 낮은 리소스 소비: 메모리 및 CPU 사용 효율 높음
  3. 의존성 없음: Python 또는 기타 런타임 환경 불필요
  4. 크로스 플랫폼: 거의 모든 주요 플랫폼 지원
  5. 하드웨어 가속: 현대 하드웨어 가속 능력 최대한 활용

✅ 실용적 장점

  1. 쉬운 통합: C-style API 제공, 기존 프로젝트에 쉽게 통합
  2. 간단한 배포: 단일 실행 파일, 간편한 배포
  3. 오프라인 실행: 완전한 오프라인 작업, 개인 정보 보호
  4. 오픈 소스 무료: MIT 라이선스, 상업적 사용에 적합
  5. 활발한 유지 보수: 활발한 커뮤니티, 빈번한 업데이트

제한 사항 및 주의 사항

⚠️ 기술적 제한

  1. 오디오 형식: 주로 16비트 WAV 형식 지원, 다른 형식은 변환 필요
  2. 언어 모델: 훈련 데이터 기반, 특정 방언 및 억양 인식 정확도 부족할 수 있음
  3. 실시간성: 최적화되었지만 저사양 장치에서는 실시간 처리 불가능할 수 있음
  4. 메모리 요구 사항: 대형 모델은 여전히 큰 메모리 공간 필요

💡 사용 권장 사항

  1. 모델 선택: 정확도 및 성능 요구 사항에 따라 적절한 모델 사양 선택
  2. 하드웨어 최적화: 대상 플랫폼의 하드웨어 가속 능력 최대한 활용
  3. 오디오 전처리: 최상의 인식 효과를 위해 입력 오디오 품질 확보
  4. 양자화 사용: 리소스가 제한된 환경에서 양자화 모델 사용 고려

프로젝트 생태계 및 확장

관련 프로젝트

  • whisper.spm: Swift Package Manager 버전
  • whisper.rn: React Native 바인딩
  • whisper.unity: Unity 게임 엔진 통합
  • 다양한 언어 바인딩: Python, Rust, Go 등 다국어 지원

결론

Whisper.cpp는 매우 훌륭한 음성 인식 솔루션입니다. OpenAI의 Whisper 모델을 C/C++ 플랫폼으로 성공적으로 포팅하여 고성능, 낮은 리소스 소비 및 광범위한 플랫폼 호환성을 구현했습니다. 모바일 응용 프로그램 개발, 임베디드 시스템 또는 대규모 서버 배포에 사용되든 whisper.cpp는 안정적이고 효율적인 음성 인식 기능을 제공할 수 있습니다.

이 프로젝트는 특히 다음과 같은 시나리오에 적합합니다.

  • 오프라인 음성 인식이 필요한 응용 프로그램
  • 성능 및 리소스 소비에 엄격한 요구 사항이 있는 프로젝트
  • 크로스 플랫폼 배포의 음성 인식 솔루션
  • 기존 C/C++ 프로젝트에 통합하려는 개발자

Star History Chart