- Beatrice V2 トレーニングコード公開!!!
- v.2.0.58-alpha
- こちらを参照
- feature:
- SIO ブロードキャスティング
- embed ngrok(experimental)
- improve:
- for Mobile Phone tuning.
- bugfix:
- macos CUIメッセージ文字化け
- v.2.0.55-alpha
- こちらを参照
- improve:
- RVCのCPU負荷を削減
- WebSocket対応
- change
- 起動バッチでno_cuiオプションを有効化
- 各種音声変換 AI(VC, Voice Conversion)を用いてリアルタイム音声変換を行うためのクライアントソフトウェアです。サポートしている音声変換 AI は次のものになります。
- サポートする音声変換 AI (サポート VC)
- MMVC (only v1)
- so-vits-svc (only v1)
- RVC(Retrieval-based-Voice-Conversion)
- DDSP-SVC (only v1)
- Beatrice JVS Corpus Edition * experimental, (NOT MIT License see readme) * Only for Windows, CPU dependent (only for v1)
- Beatrice v2 (only for v2)
- 本ソフトウェアは、ネットワークを介した利用も可能であり、ゲームなどの高負荷なアプリケーションと同時に使用する場合などに音声変換処理の負荷を外部にオフロードすることができます。
- 複数のプラットフォームに対応しています。
- Windows, Mac(M1), Linux, Google Colab
大きく 2 つの方法でご利用できます。難易度順に次の通りです。
- 事前ビルド済みの Binary での利用
- Docker や Anaconda など環境構築を行った上での利用
本ソフトウェアや MMVC になじみの薄い方は上から徐々に慣れていくとよいと思います。
-
チュートリアルはこちらをご覧ください。(ネットワークのトラブルシュート)
-
Google Colaboratory で簡単にお試しいただけるようになりました。左上の Open in Colab のボタンから起動できます。
![](https://private-user-images.githubusercontent.com/48346627/263459554-3f092e2d-6834-42f6-bbfd-7d389111604e.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjM2Mzc5ODMsIm5iZiI6MTcyMzYzNzY4MywicGF0aCI6Ii80ODM0NjYyNy8yNjM0NTk1NTQtM2YwOTJlMmQtNjgzNC00MmY2LWJiZmQtN2QzODkxMTE2MDRlLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA4MTQlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwODE0VDEyMTQ0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTRhMjczY2Y5ZGZlM2ZmODk0MGE2Y2ZhZGY1MThiOGZkZWMzNGQzMTgwMTY5MWIxM2I4N2FlMTAzMWRiMjFmODEmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.8vH_izq4p3MEe0MdYGn5n4QM1VvyyMA7GGsCusi95vs)
-
Windows 版と Mac 版を提供しています。Hugging Faceからダウンロードできます。
-
v2 for windows
vcclient_win_std_xxx.zip
をダウンロードして使用してください。gpuを使用しない(ある程度高性能なCPUでの)音声変換や、directmlを用いてgpu(amd, nvidia)を活用した音声変換が可能です。v2では、torch, onnxいずれも対応可能です。- nvidiaのgpuをお持ちの方は
vcclient_win_cuda_xxx.zip
を使用することでより高速な音声変換ができます。
-
v2 for Mac(apple silicon)
vcclient_mac_xxx.zip
をダウンロードして使用してください。
-
v1
- Windows かつ Nvidia の GPU をご使用の方は、ONNX(cpu,cuda), PyTorch(cpu,cuda)をダウンロードしてください。
- Windows かつ AMD/Intel の GPU をご使用の方は、ONNX(cpu,DirectML), PyTorch(cpu,cuda)をダウンロードしてください。AMD/Intel の GPU は onnx のモデルを使用する場合のみ有効になります。
- いずれの GPU のサポート状況についても、PyTorch、Onnxruntime がサポートしている場合のみ有効になります。
- Windows で GPU をご使用にならない方は、ONNX(cpu,cuda), PyTorch(cpu,cuda)をダウンロードしてください。
-
Windows 版は、ダウンロードした zip ファイルを解凍して、
start_http.bat
を実行してください。 -
Mac 版はダウンロードファイルを解凍したのちに、
startHttp.command
を実行してください。開発元を検証できない旨が示される場合は、再度コントロールキーを押してクリックして実行してください(or 右クリックから実行してください)。 -
初回起動時は各種データをダウンロードします。ダウンロードに時間がかかる可能性があります。ダウンロードが完了すると、ブラウザが立ち上がります。
-
リモートから接続する場合は、
.bat
ファイル(win)、.command
ファイル(mac)の http が https に置き換わっているものを使用してください。 -
DDPS-SVC の encoder は hubert-soft のみ対応です。
-
ダウンロードはこちらから。 hugging face
本リポジトリをクローンして利用します。Windows では WSL2 の環境構築が必須になります。また、WSL2 上で Docker もしくは Anaconda などの仮想環境の構築が必要となります。Mac では Anaconda などの Python の仮想環境の構築が必要となります。事前準備が必要となりますが、多くの環境においてこの方法が一番高速で動きます。 GPU が無くてもそこそこ新しい CPU であれば十分動く可能性があります (下記のリアルタイム性の節を参照)。
Docker での実行は、Docker を使用するを参考にサーバを起動してください。
Anaconda の仮想環境上での実行は、サーバ開発者向けのページを参考にサーバを起動してください。
本ソフトウェアは開発元の署名しておりません。下記のように警告が出ますが、コントロールキーを押しながらアイコンをクリックすると実行できるようになります。これは Apple のセキュリティポリシーによるものです。実行は自己責任となります。
本ソフトウェアの音声合成には、フリー素材キャラクター「つくよみちゃん」が無料公開している音声データを使用しています。
■つくよみちゃんコーパス(CV.夢前黎)
https://tyc.rei-yumesaki.net/material/corpus/
© Rei Yumesaki
- リアルタイムボイスチェンジャーつくよみちゃんについては、つくよみちゃんコーパスの利用規約に準じ、次の目的で変換後の音声を使用することを禁止します。
■人を批判・攻撃すること。(「批判・攻撃」の定義は、つくよみちゃんキャラクターライセンスに準じます)
■特定の政治的立場・宗教・**への賛同または反対を呼びかけること。
■刺激の強い表現をゾーニングなしで公開すること。
■他者に対して二次利用(素材としての利用)を許可する形で公開すること。
※鑑賞用の作品として配布・販売していただくことは問題ございません。
- リアルタイムボイスチェンジャーあみたろについては、あみたろの声素材工房様の次の利用規約に準じます。詳細はこちらです。
あみたろの声素材やコーパス読み上げ音声を使って音声モデルを作ったり、ボイスチェンジャーや声質変換などを使用して、自分の声をあみたろの声に変換して使うのもOKです。
ただしその場合は絶対に、あみたろ(もしくは小春音アミ)の声に声質変換していることを明記し、あみたろ(および小春音アミ)が話しているわけではないことが誰でもわかるようにしてください。
また、あみたろの声で話す内容は声素材の利用規約の範囲内のみとし、センシティブな発言などはしないでください。
- リアルタイムボイスチェンジャー黄琴まひろについては、れぷりかどーるの利用規約に準じます。詳細はこちらです。
本ソフトウェアの使用または使用不能により生じたいかなる直接損害・間接損害・波及的損害・結果的損害 または特別損害についても、一切責任を負いません。
MMVC トレーニング用の音声を簡単に録音できるアプリです。 Github Pages 上で実行できるため、ブラウザのみあれば様々なプラットフォームからご利用可能です。 録音したデータは、ブラウザ上に保存されます。外部に漏れることはありません。
Version | OS | フレームワーク | link | サポート VC | サイズ |
---|---|---|---|---|---|
v.1.5.2.9e | mac | ONNX(cpu), PyTorch(cpu,mps) | normal *1 | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 796MB |
win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | normal *1 | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC, DDSP-SVC | 2872MB | |
v.1.5.3.1 | mac | ONNX(cpu), PyTorch(cpu,mps) | normal *1 | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, RVC | 796MB |
win | ONNX(cpu,cuda), PyTorch(cpu,cuda) | normal *1 | MMVC v.1.5.x, MMVC v.1.3.x, so-vits-svc 4.0, so-vits-svc 4.0v2, RVC, DDSP-SVC | 2872MB |
このリポジトリはCLAを設定しています。