abus-aikorea/voice-pro

Gradio WebUI for creators and developers, featuring key TTS (Edge-TTS, kokoro) and zero-shot Voice Cloning (E2 & F5-TTS, CosyVoice), with Whisper audio processing, YouTube download, Demucs vocal isolation, and multilingual translation.

GitHub에서 열기 ↗ audiobookfaster-whispergradiokaraokepodcastsspeech-recognitionspeech-synthesisspeech-to-textsubtitlestext-to-speechtranscriptiontranslatorttsvoice-cloningvoice-conversionwebuiwhisperwhisperxyt-dlp
11,133
GitHub 스타
1,625
포크
Python
언어
GPL-3.0
라이선스
2025.12.05
최근 푸시
2026.05.05
별표한 날

AI 분석

설치 난이도: 보통
큐레이터 노트
음성 처리 및 다국어 더빙이 필요한 프로젝트에 적합하나, 현재 개발 중단 상태이므로 안정적인 지원이 필요하다면 대안을 고려해야 함

강점

  • 다양한 최신 음성 인식 및 합성 모델을 통합하여 강력한 기능 제공
  • YouTube 다운로드, 음성 분리, 번역, TTS를 하나의 웹 UI로 통합
  • 오픈 소스로 전환되어 무료 사용 및 수정 가능

약점

  • Windows와 NVIDIA GPU에 최적화되어 Mac/Linux 지원이 제한적
  • 무료 버전은 60초 미디어 길이 제한이 있음
  • 개발이 중단되어 업데이트 및 버그 수정이 어려움

주의사항

  • 초기 실행 시 CosyVoice 모델 다운로드(9GB)에 시간이 오래 걸릴 수 있음
  • 설치 문제 발생 시 installer_files 폴더 삭제 후 재설치 필요
  • 유료 구독 버전에서만 Azure TTS/번역 및 무제한 사용 가능

시작 가이드

  • Windows 환경에서 configure.bat 및 start.bat 실행하여 설치 시도
  • 60초 제한을 고려하여 짧은 미디어로 기능 테스트
  • 개발 재개 여부를 확인하기 위해 GitHub 저장소 모니터링

README 한국어 번역

이 번역은 AI가 원문 README를 옮긴 것입니다. 원문이 항상 우선합니다.

🎙️ 음성 인식, 번역 및 더빙을 위한 AI 기반 웹 애플리케이션

  • 🔊 최고 수준의 음성 인식: Whisper, Faster-Whisper, Whisper-Timestamped, WhisperX
  • 🎤 제로샷 음성 복제: F5-TTS, E2-TTS, CosyVoice
  • 📢 다국어 텍스트 음성 변환: Edge-TTS, kokoro (유료 버전에는 Azure TTS 포함)
  • 🎥 YouTube 처리 및 오디오 추출: yt-dlp
  • 🌍 100개 이상의 언어에 대한 즉시 번역: Deep-Translator (유료 버전에는 Azure Translator 포함)

Voice-Pro는 멀티미디어 콘텐츠 제작을 혁신하는 최첨단 웹 앱입니다. YouTube 비디오 다운로드, 음성 분리, 음성 인식, 번역 및 텍스트 음성 변환을 하나의 강력한 도구로 통합하여 크리에이터, 연구자 및 다국어 전문가를 대상으로 합니다.

ElevenLabs의 강력한 대안인 Voice-Pro는 고급 음성 솔루션으로 팟캐스터, 개발자 및 크리에이터에게 힘을 실어줍니다.

⚠️ 참고 사항

  • WeConnect 개발 작업으로 인해 Voice-Pro 개발 및 업데이트가 당분간 불가능합니다.
  • 모든 Voice-Pro 코드를 오픈 소스로 완전히 무료화했습니다. 이제 Voice-Pro는 누구나 자유롭게 배포하고 수정할 수 있습니다.
  • Windows와 NVIDIA GPU에서 잘 작동합니다. Mac 및 Linux에서의 작동은 확인되지 않았습니다.
  • 요청 사항은 또는 페이지에 남겨주세요.
  • 문제 해결: 대부분의 경우 installer_files 폴더를 삭제한 후 configure.batstart.bat를 실행하면 문제가 해결됩니다.

📰 뉴스 및 변경 이력

<details open> <summary>버전 3.2</summary>

  • 지난 몇 달 동안 WeConnect 개발에 집중하여 Voice-Pro를 전혀 관리하지 못했습니다.
  • 모든 Voice-Pro 코드를 오픈 소스로 전환하기로 결정했습니다.
  • Voice-Pro는 완전히 무료이며 Windows, Mac, Linux를 지원합니다.
  • WeConnect는 글로벌 문화 교류를 위한 애플리케이션입니다.
  • 전 세계 사람들과 의미 있는 문화 교류, 언어 학습 및 국제 친교를 위해 연결하세요.

<p align="center"> <img src="docs/images/Hotpot 0.png?raw=true" alt="ScreenShot 0" width="18%"/> <img src="docs/images/Hotpot 1.png?raw=true" alt="ScreenShot 1" width="18%"/> <img src="docs/images/Hotpot 2.png?raw=true" alt="ScreenShot 2" width="18%"/> <img src="docs/images/Hotpot 3.png?raw=true" alt="ScreenShot 3" width="18%"/> <img src="docs/images/Hotpot 4.png?raw=true" alt="ScreenShot 4" width="18%"/> </p>

</details>

<details> <summary>버전 3.1</summary>

  • 🪄 F5-TTS의 파인튜닝 모델 지원
  • 🌍 지원 언어
  • <img src="https://flagcdn.com/16x12/us.png" alt="United Kingdom Flag" style="vertical-align: middle;"> 영어 & <img src="https://flagcdn.com/16x12/cn.png" alt="China Flag" style="vertical-align: middle;"> 중국어: <a href="https://huggingface.co/SWivid/F5-TTS/tree/main/F5TTSv1Base"> SWivid/F5-TTS_v1 </a>
  • <img src="https://flagcdn.com/16x12/fi.png" alt="Spain Flag" style="vertical-align: middle;"> 핀란드어: <a href="https://huggingface.co/AsmoKoskinen/F5-TTSFinnishModel"> AsmoKoskinen/F5-TTSFinnishModel </a>
  • <img src="https://flagcdn.com/16x12/fr.png" alt="Spain Flag" style="vertical-align: middle;"> 프랑스어: <a href="https://huggingface.co/RASPIAUDIO/F5-French-MixedSpeakers-reduced"> RASPIAUDIO/F5-French-MixedSpeakers-reduced </a>
  • <img src="https://flagcdn.com/16x12/in.png" alt="Spain Flag" style="vertical-align: middle;"> 힌디어: <a href="https://huggingface.co/SPRINGLab/F5-Hindi-24KHz"> SPRINGLab/F5-Hindi-24KHz </a>
  • <img src="https://flagcdn.com/16x12/it.png" alt="Spain Flag" style="vertical-align: middle;"> 이탈리아어: <a href="https://huggingface.co/alien79/F5-TTS-italian"> alien79/F5-TTS-italian </a>
  • <img src="https://flagcdn.com/16x12/jp.png" alt="Spain Flag" style="vertical-align: middle;"> 일본어: <a href="https://huggingface.co/Jmica/F5TTS/tree/main/JA21999120"> Jmica/F5TTS/JA21999120 </a>
  • <img src="https://flagcdn.com/16x12/ru.png" alt="Spain Flag" style="vertical-align: middle;"> 러시아어: <a href="https://huggingface.co/hotstone228/F5-TTS-Russian"> hotstone228/F5-TTS-Russian </a>
  • <img src="https://flagcdn.com/16x12/es.png" alt="Spain Flag" style="vertical-align: middle;"> 스페인어: <a href="https://huggingface.co/jpgallegoar/F5-Spanish"> jpgallegoar/F5-Spanish </a>

</details>

<details> <summary>버전 3.0</summary>

  • 🔥 AI Cover 기능 제거.
  • 🚀 m-bain/whisperX 지원 추가.

</details>

<details> <summary>버전 2.0</summary>

  • 🐍 Python 3.10.15, Torch 2.5.1+cu124, Gradio 5.14.0 기반.
  • 🆓 무료 체험은 최대 60초 길이의 미디어를 지원합니다.
  • 🔥 AI Cover 기능 추가.
  • 🎤 CosyVoicekokoro 지원 도입.
  • ⏳ 초기 실행 시 CozyVoice2-0.5B (9GB)를 다운로드하며, 네트워크 속도에 따라 1시간 이상 소요될 수 있습니다.
  • 🎧 복제용 음성 샘플이 지속적으로 업데이트됩니다.
  • 📝 자연스러운 문장 단위 번역 및 TTS를 위해 spaCy 추가.
  • ☁️ 구독 버전에는 Microsoft Azure 번역기 및 TTS가 포함됩니다.
  • 🏪 구독 기간 동안 무제한 사용(60초 제한 없음)을 제공하며, 에서 이용 가능합니다.

</details>

🎥 YouTube 데모

<table style="border-collapse: collapse; width: 100%;"> <tr> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/scC5CicZ6G0" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/scC5CicZ6G0/hqdefault.jpg" alt="Demo Video 1" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">Voice-Pro (v2.0) 데모</span> </a> </td> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/Wfo7vQCD4no" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/Wfo7vQCD4no/hqdefault.jpg" alt="Demo Video 2" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">F5-TTS: 음성 복제</span> </a> </td> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/GOzCDj4MCpo" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/GOzCDj4MCpo/hqdefault.jpg" alt="Demo Video 3" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">실시간 전사 및 번역</span> </a> </td> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/YdAq80wjtuQ" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/YdAq80wjtuQ/hqdefault.jpg" alt="Demo Video 4" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">다국어 음성 복제: 한국어 - 독일어</span> </a> </td> </tr> <tr> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/Tu2okoHY174" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/Tu2okoHY174/hqdefault.jpg" alt="Demo Video 5" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">다국어 음성 복제: 영어 - 한국어</span> </a> </td> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/dWCEwO567Y" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/dWCEwO567Y/hqdefault.jpg" alt="Demo Video 6" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">다국어 음성 복제: 한국어 - 일본어</span> </a> </td> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/HXomwoKS3V4" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/HXomwoKS3V4/hqdefault.jpg" alt="Demo Video 7" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">NVIDIA RTX 비디오 초해상도</span> </a> </td> <td style="padding: 10px; border: none;" align="center"> <a href="https://youtu.be/lZK7pLJBHb4" style="text-decoration: none; color: inherit;"> <img src="https://img.youtube.com/vi/lZK7pLJBHb4/hqdefault.jpg" alt="Demo Video 8" width="240" height="135" style="border-radius: 4px;"> <br> <span style="font-size: 16px; font-weight: 600; color: #0f0f0f; line-height: 1.2;">다국어 음성 복제: 한국어 - 영어</span> </a> </td> </tr> </table>

⚡ 시작하기

Windows

Voice-Pro는 Windows 10/11 (64비트)에서 지원됩니다. NVIDIA GPU (VRAM 4GB 이상)를 권장하며, CUDA 12.4가 필요합니다. CPU만으로도 실행 가능하지만 속도가 느립니다.

  1. installer_files 폴더를 삭제합니다.
  2. configure.bat을 실행하여 필수 패키지를 설치합니다.
  3. start.bat을 실행하여 웹 UI를 시작합니다.
  4. 브라우저에서 http://localhost:7860에 접속합니다.

설치 단계:

  • configure.bat은 한 번만 실행하면 됩니다.
  • start.bat을 실행할 때마다 최신 버전으로 업데이트됩니다.
  • installer_files 폴더를 삭제하면 모든 설정이 초기화됩니다.

참고:

Linux & Mac

Linux 및 Mac 사용자는 수동 설치가 필요합니다. 자세한 내용은 Linux 및 Mac 설치 가이드를 참조하세요.

🚀 주요 기능

1. 더빙 스튜디오

  • YouTube 비디오 다운로드, 음성 분리, 음성 인식, 번역 및 TTS를 통합합니다.
  • 다국어 더빙을 지원합니다.

2. 음성 인식

  • Whisper, Faster-Whisper, Whisper-Timestamped, WhisperX를 지원합니다.
  • 높은 정확도의 음성-텍스트 변환.

3. 텍스트 음성 변환 (TTS)

  • Edge-TTS, kokoro, CosyVoice를 지원합니다.
  • 제로샷 음성 복제.

4. 번역

  • 100개 이상의 언어 지원.
  • Deep-Translator 및 Azure Translator (유료) 사용.

5. YouTube 처리

  • yt-dlp를 사용한 비디오 다운로드 및 오디오 추출.

🛠️ 기술 스택

  • 프로그래밍 언어: Python 3.10.15
  • 딥 러닝 프레임워크: PyTorch 2.5.1+cu124
  • 웹 UI: Gradio 5.14.0
  • 음성 인식: Whisper, Faster-Whisper, Whisper-Timestamped, WhisperX
  • 음성 합성: Edge-TTS, kokoro, CosyVoice, F5-TTS, E2-TTS
  • 오디오 처리: Demucs, MDX-Net
  • 비디오 다운로드: yt-dlp
  • 번역: Deep-Translator, Azure Translator (유료)

📄 라이선스

이 프로젝트는 LGPL 라이선스에 따라 배포됩니다.

🙏 기여

기여를 환영합니다! 버그 리포트, 기능 요청, 풀 리퀘스트를 보내주세요.

📞 연락처

  • GitHub: https://github.com/abus-aikorea/voice-pro
  • YouTube: https://www.youtube.com/channel/UCbCBWXuVbk-OBp9T4H5JjAA
  • Buy Me a Coffee: https://www.buymeacoffee.com/abus

원본 저장소: abus-aikorea/voice-pro

라이선스: GPL-3.0

게재 제외를 원하시면 삭제 요청을 보내주세요.