Fish Speech - 오픈 소스 텍스트 음성 변환 시스템
프로젝트 개요
Fish Speech는 FishAudio 팀에서 개발한 최신 기술 기반의 오픈 소스 텍스트 음성 변환(TTS) 시스템입니다. 이 프로젝트는 현재 음성 합성 기술의 최고 수준(SOTA - State of the Art)을 대표하며, 강력한 음성 생성 및 복제 기능을 제공합니다.
핵심 기능
🎯 제로샷 및 소량샷 TTS
- 10-30초 분량의 음성 샘플만 입력하면 고품질 TTS 출력을 생성할 수 있습니다.
- 장시간 훈련 없이 빠른 음성 복제를 지원합니다.
- 자세한 음성 복제 모범 사례 가이드를 제공합니다.
🌍 다국어 및 교차 언어 지원
- 영어, 일본어, 중국어 등 다양한 언어를 지원합니다.
- 다국어 텍스트를 입력 상자에 복사하여 붙여넣기만 하면 언어 인식에 대한 걱정 없이 사용할 수 있습니다.
- 강력한 교차 언어 능력을 제공합니다.
🔤 음소 의존성 없음
- 모델은 강력한 일반화 능력을 갖추고 있습니다.
- 음소에 의존하지 않고 TTS 처리를 수행합니다.
- 모든 언어 스크립트의 텍스트를 처리할 수 있습니다.
📊 높은 정확도
- 5분 분량의 영어 텍스트에 대해 문자 오류율(CER) 및 단어 오류율(WER)이 약 2%입니다.
- 업계 최고 수준의 정확도를 자랑합니다.
⚡ 고속 추론
- Nvidia RTX 4060 노트북에서 실시간 비율이 약 1:5입니다.
- Nvidia RTX 4090에서 실시간 비율이 약 1:15입니다.
- fish-tech 가속 기술을 채택했습니다.
🖥️ 사용자 친화적인 인터페이스
- WebUI 추론: Gradio 기반의 사용하기 쉬운 웹 인터페이스로 Chrome, Firefox, Edge 등 브라우저와 호환됩니다.
- GUI 추론: PyQt6 그래픽 인터페이스를 제공하며, API 서버와 원활하게 연동되어 Linux, Windows 및 macOS를 지원합니다.
🚀 배포 용이성
- 추론 서버를 쉽게 설정할 수 있습니다.
- Linux, Windows 및 macOS를 기본적으로 지원합니다.
- 속도 손실을 최소화합니다.
🔄 완전한 엔드 투 엔드
- ASR 및 TTS 부분을 자동으로 통합합니다.
- 다른 모델을 삽입할 필요가 없습니다.
- 진정한 엔드 투 엔드 솔루션으로, 3단계(ASR+LLM+TTS) 아키텍처가 아닙니다.
🎨 고급 기능
- 음색 제어: 참조 오디오를 사용하여 음성 음색을 제어할 수 있습니다.
- 감정 표현: 모델은 강렬한 감정을 담은 음성을 생성할 수 있습니다.
기술 아키텍처
Fish Speech는 대형 언어 모델(LLM) 기술을 기반으로 하며, 고급 딥 러닝 알고리즘을 활용하여 고품질의 다국어 텍스트 음성 변환 합성을 구현합니다. 이 시스템은 완전한 엔드 투 엔드 아키텍처 설계를 채택하여 기존 3단계 방법의 복잡성을 피했습니다.
라이선스 정보
- 코드 저장소: Apache License 기반으로 게시됩니다.
- 모델 가중치: CC-BY-NC-SA-4.0 License 기반으로 게시됩니다.
- 사용할 때 CC BY-NC-SA 4.0 라이선스에 따라 게시된 콘텐츠임을 언급해야 합니다.
최신 개발
이 프로젝트는 OpenAudio 브랜드로 업그레이드되었으며, Fish-Speech 기반의 차세대 고급 텍스트 음성 변환 모델 시리즈를 출시하여 상당한 개선과 새로운 기능을 제공합니다.
학술 인용
@misc{fish-speech-v1.4,
title={Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis},
author={Shijia Liao and Yuxuan Wang and Tianyu Li and Yifan Cheng and Ruoyi Zhang and Rongzhi Zhou and Yijin Xing},
year={2024},
eprint={2411.01156},
archivePrefix={arXiv},
primaryClass={cs.SD},
url={https://arxiv.org/abs/2411.01156},
}
요약
Fish Speech는 강력하고 사용하기 쉬운 오픈 소스 TTS 솔루션으로, 고품질 음성 합성 및 음성 복제 기능이 필요한 개발자와 연구자에게 특히 적합합니다. 고급 기술 아키텍처, 다국어 지원 및 사용자 친화적인 인터페이스는 현재 최고의 오픈 소스 TTS 시스템 중 하나로 자리매김하게 합니다.