VibeVoice

最先端のオープンソース テキスト読み上げモデル

概要

VibeVoice は Microsoft Research Asia の GeneralAI グループによる新しいフレームワークで、テキストから表現力豊かな長時間のマルチスピーカー会話音声を生成するために設計されています。従来の TTS が抱える拡張性、話者の一貫性、自然な話者交替といった主要な課題に対処し、ポッドキャスト形式のコンテンツやその他の対話駆動型音声の制作に最適です。

コア機能

• マルチスピーカー生成: 複数の異なる話者による音声を生成し、長いシーケンスにわたって各話者の一貫した声を維持します。
• 超低フレームレート トークナイザー: 7.5 Hz で動作する連続音声トークナイザー (音響および意味) を使用し、音声の忠実度を損なうことなく計算効率を大幅に向上させます。
• 長時間合成: 長時間の音声生成を処理し、完全なポッドキャスト エピソードや長いナレーションを可能にします。
• 自然な話者交替: 適切な間と話者の切り替えによって、リアルな会話の流れをモデル化します。
• オープンソース & セルフホスト: 完全なコード、モデルの重み、ツールが GitHub と Hugging Face で公開されており、ローカルでの展開とカスタマイズが可能です。

ユースケース

• ポッドキャスト & オーディオ番組: テキスト スクリプトからマルチスピーカーのポッドキャストを自動生成します。
• オーディオブック ナレーション: フィクションやノンフィクションに個別のキャラクターボイスを付けて物語を生き生きとさせます。
• 会話型 AI: より自然な音声でチャットボットや仮想アシスタントの音声インターフェースを強化します。
• コンテンツ制作: 最小限の労力でボイスオーバー、解説動画、教材を制作します。

価格

VibeVoice は完全に無料かつオープンソースです。リポジトリをクローンし、モデルをダウンロードして、ご自身のインフラストラクチャ上で無料で実行できます。再配布に関する要件については、特定のオープンソース ライセンスを必ず確認してください。

Frequently Asked Questions

Summarized from the official site: https://microsoft.github.io/VibeVoice

VibeVoiceは無料で使えますか？

はい、VibeVoiceは完全に無料で利用できます。ご自身のインフラストラクチャ上でダウンロードして無料で実行することが可能です。

VibeVoiceはオープンソースですか？

はい、VibeVoiceは完全なオープンソースプロジェクトです。コード、モデルの重み、ツールがGitHubとHugging Faceで公開されています。

VibeVoiceとはどのようなツールですか？

VibeVoiceは、テキストから表現力豊かな長時間のマルチスピーカー会話音声を生成するフレームワークです。ポッドキャスト形式のコンテンツや対話駆動型音声の制作に最適化されています。

VibeVoiceは複数人の会話の音声を生成できますか？

はい、複数の異なる話者による音声を生成し、各話者の声の一貫性を維持することができます。また、自然な話者交替の間や切り替えもモデル化しています。

VibeVoiceでポッドキャストの作成は可能ですか？

はい、テキストスクリプトからマルチスピーカーのポッドキャストを自動生成する用途に対応しています。長時間の音声合成が可能なため、完全なエピソードの制作にも適しています。