Open-Source Frontier Voice AI
이 번역은 AI가 원문 README를 옮긴 것입니다. 원문이 항상 우선합니다.
<div align="center">
</div>
<div align="center"> <picture> <source media="(prefers-color-scheme: dark)" srcset="Figures/VibeVoicelogowhite.png"> <img src="Figures/VibeVoice_logo.png" alt="VibeVoice 로고" width="300"> </picture> </div>
<div align="left">
<h3>📰 소식</h3>
<strong>2026-03-06: 🚀 VibeVoice ASR이 이제 <a href="https://huggingface.co/microsoft/VibeVoice-ASR-HF">Transformers 릴리스</a>의 일부가 되었습니다! 이제 Hugging Face Transformers 라이브러리를 통해 음성 인식 모델을 직접 사용하여 프로젝트에 원활하게 통합할 수 있습니다.</strong>
<strong>2026-01-21:</strong> 📣 <a href="docs/vibevoice-asr.md"><strong>VibeVoice-ASR</strong></a>을 오픈소스로 공개했습니다. 이는 60분 길이의 오디오를 한 번에 처리하고, 누가(화자), 언제(타임스탬프), 무엇을(내용) 포함하는 구조화된 전사를 생성하며, 사용자 맞춤 컨텍스트를 지원하는 통합 음성-텍스트 모델입니다. Playground에서 사용해 보세요.
2025-12-16: 📣 <a href="docs/vibevoice-realtime-0.5b.md"><strong>VibeVoice‑Realtime‑0.5B</strong></a>에 실험적 화자를 추가했습니다. 여기에는 9개 언어(DE, FR, IT, JP, KR, NL, PL, PT, ES)의 다국어 음성과 11개의 독특한 영어 스타일 음성이 포함됩니다. 사용해 보기. 시간이 지남에 따라 더 많은 화자 유형이 추가될 예정입니다.
2025-12-03: 📣 <a href="docs/vibevoice-realtime-0.5b.md"><strong>VibeVoice‑Realtime‑0.5B</strong></a>를 오픈소스로 공개했습니다. 이는 스트리밍 텍스트 입력과 강력한 장문 음성 생성을 지원하는 실시간 텍스트-음성 모델입니다. Colab에서 사용해 보세요.
2025-09-05: VibeVoice는 음성 합성 커뮤니티의 협력을 촉진하기 위한 오픈소스 연구 프레임워크입니다. 출시 후, 이 도구가 명시된 의도와 일치하지 않는 방식으로 사용된 사례를 발견했습니다. AI의 책임 있는 사용은 Microsoft의 핵심 원칙 중 하나이므로, 이 저장소에서 VibeVoice-TTS 코드를 제거했습니다.
2025-08-25: 📣 <a href="docs/vibevoice-tts.md"><strong>VibeVoice-TTS</strong></a>를 오픈소스로 공개했습니다. 이는 최대 90분 길이의 음성을 최대 4명의 서로 다른 화자로 합성할 수 있는 장문 다중 화자 텍스트-음성 모델입니다. — ICLR 2026에서 Oral로 채택되었습니다! 🔥
</div>
VibeVoice는 오픈소스 프론티어 음성 AI 모델 제품군으로, 텍스트-음성(TTS) 및 자동 음성 인식(ASR) 모델을 모두 포함합니다.
VibeVoice의 핵심 혁신은 7.5Hz의 초저프레임레이트로 작동하는 연속 음성 토크나이저(음향 및 의미)를 사용한다는 점입니다. 이러한 토크나이저는 오디오 충실도를 효율적으로 유지하면서 긴 시퀀스 처리의 계산 효율성을 크게 향상시킵니다. VibeVoice는 next-token diffusion 프레임워크를 사용하여, 대규모 언어 모델(LLM)을 활용해 텍스트 컨텍스트와 대화 흐름을 이해하고, 확산 헤드를 사용하여 고충실도 음향 세부 정보를 생성합니다.
자세한 정보, 데모 및 예제는 프로젝트 페이지를 방문하세요.
<div align="center">
| 모델 | 가중치 | 빠른 체험 | ||
|---|---|---|---|---|
| VibeVoice-ASR-7B | HF 링크 | Playground | ||
| VibeVoice-TTS-1.5B | HF 링크 | 비활성화 | ||
| VibeVoice-Realtime-0.5B | HF 링크 | Colab |
</div>
VibeVoice-ASR은 60분 길이의 오디오를 한 번에 처리하고, 누가(화자), 언제(타임스탬프), 무엇을(내용) 포함하는 구조화된 전사를 생성하며, 맞춤형 핫워드를 지원하는 통합 음성-텍스트 모델입니다.
기존 ASR 모델이 오디오를 짧은 청크로 분할하는 것과 달리(종종 전역 컨텍스트를 잃음), VibeVoice ASR은 64K 토큰 길이 내에서 최대 60분의 연속 오디오 입력을 허용합니다. 이를 통해 전체 시간 동안 일관된 화자 추적과 의미적 일관성을 보장합니다.
사용자는 맞춤형 핫워드(예: 특정 이름, 기술 용어 또는 배경 정보)를 제공하여 인식 과정을 안내할 수 있으며, 도메인별 콘텐츠의 정확도를 크게 향상시킵니다.
모델은 ASR, 화자 분할, 타임스탬프 생성을 동시에 수행하여 누가 무엇을 언제 말했는지를 나타내는 구조화된 출력을 생성합니다.
📖 문서 | 🤗 Hugging Face | 🎮 Playground | 🛠️ 파인튜닝 | 📊 논문
<p align="center"> <img src="Figures/DER.jpg" alt="DER" width="50%"><br> <img src="Figures/cpWER.jpg" alt="cpWER" width="50%"><br> <img src="Figures/tcpWER.jpg" alt="tcpWER" width="50%"> </p>
<div align="center" id="vibevoice-asr">
https://github.com/user-attachments/assets/acde5602-dc17-4314-9e3b-c630bc84aefa
</div> <br>
최적 용도: 장문 대화형 오디오, 팟캐스트, 다중 화자 대화
단일 패스로 최대 90분의 대화/단일 화자 음성을 합성하며, 화자 일관성과 의미적 일관성을 유지합니다.
단일 대화에서 최대 4명의 서로 다른 화자를 지원하며, 긴 대화에서 자연스러운 턴테이킹과 화자 일관성을 제공합니다.
대화 역학과 감정적 뉘앙스를 포착하는 표현력 있고 자연스러운 음성을 생성합니다.
영어, 중국어 및 기타 언어를 지원합니다.
📖 문서 | 🤗 Hugging Face | 📊 논문
<div align="center"> <img src="Figures/VibeVoice-TTS-results.jpg" alt="VibeVoice 결과" width="80%"> </div>
영어 <div align="center">
https://github.com/user-attachments/assets/0967027c-141e-4909-bec8-091558b1b784
</div>
중국어 <div align="center">
https://github.com/user-attachments/assets/322280b7-3093-4c67-86e3-10be4746c88f
</div>
교차 언어 <div align="center">
https://github.com/user-attachments/assets/838d8ad9-a201-4dde-bb45-8cd3f59ce722
</div>
자발적 노래 <div align="center">
https://github.com/user-attachments/assets/6f27a8a5-0c60-4f57-87f3-7dea2e11c730
</div>
4명의 장문 대화 <div align="center">
https://github.com/user-attachments/assets/a357c4b6-9768-495c-a576-1618f6275727
</div>
<br>
VibeVoice-Realtime은 경량 실시간 텍스트-음성 모델로, 스트리밍 텍스트 입력과 강력한 장문 음성 생성을 지원합니다.
📖 문서 | 🤗 Hugging Face | 🚀 Colab
<div align="center" id="generated-example-audio-vibevoice-realtime">
https://github.com/user-attachments/assets/0901d274-f6ae-46ef-a0fd-3c4fba4f76dc
</div>
<br>
자세한 기여 지침은 CONTRIBUTING.md를 참조하세요.
다양한 기술을 통해 최적화하기 위해 노력했지만, 여전히 예상치 못하거나 편향되거나 부정확한 출력을 생성할 수 있습니다. VibeVoice는 기본 모델(특히 이 릴리스의 Qwen2.5 1.5b)이 생성하는 모든 편향, 오류 또는 누락을 상속합니다. 딥페이크 및 허위 정보 가능성: 고품질 합성 음성은 사칭, 사기 또는 허위 정보 유포를 위해 설득력 있는 가짜 오디오 콘텐츠를 만드는 데 악용될 수 있습니다. 사용자는 전사가 신뢰할 수 있는지 확인하고, 콘텐츠 정확성을 확인하며, 생성된 콘텐츠를 오해의 소지가 있는 방식으로 사용하지 않아야 합니다. 사용자는 생성된 콘텐츠를 사용하고 관련 관할권의 모든 해당 법률 및 규정을 완전히 준수하여 합법적인 방식으로 모델을 배포해야 합니다. AI 생성 콘텐츠를 공유할 때 AI 사용을 공개하는 것이 모범 사례입니다.
추가 테스트 및 개발 없이 상업적 또는 실제 응용 프로그램에서 VibeVoice를 사용하는 것은 권장하지 않습니다. 이 모델은 연구 및 개발 목적으로만 사용됩니다. 책임감 있게 사용하세요.