Giter VIP home page Giter VIP logo

kuchipaku's Introduction

KuchiPaku - the YMM4 lip-sync support tool

KuchiPaku (クチパク) はYMM4(ゆっくりムービーメーカー4)むけの「あいうえお口パク(リップシンク)」を生成するツールです。

The KuchiPaku (pronounce: "coo-chee-park", meaning: lip-sync) is a lip-sync generator tool for the YMM4 (Yukkuri Movie Maker 4).

What's KuchiPaku?

YMM4がサポートしていない「あいうえお口パク」を作成するツールです。

KuchiPaku上で、キャラクターのそれぞれの口の形を指定することで、発音のタイミングに合わせて「表情アイテム」を自動でYMM4のタイムラインに並べます。

主な読み上げソフトのほか、歌声合成ソフトのあいうえお口パクにも利用できます。

alt設定

作った経緯はブログ記事でちょっと書いてます。 YMMであいうえお口パクした~い!

Supported YMM4 features

KuchiPakuはYMM4の以下の機能に対応、または対応予定です。

Install

  • githubのReleasesから最新のものをダウンロードしてください。
    • zipファイルを展開し、お好きな場所に設置してください
  • github以外からの配布は行っていません。
    • github以外で配布されていた場合、ウイルスやトロイの木馬などの不正なプログラムの可能性があります。絶対にダウンロードしないでください。
  • アップデートの際はそのまま上書きしてください
  • アンインストールはフォルダ毎削除でOKです

Requirements

動作環境

  • Windows 10 64bit 18362以降
  • .NET 6 Runtime
  • .NET Framework 4.8 (CeVIOのAPI利用ボイスの場合)

CeVIOを普通とは違う所にインストールしてる場合は、下の例みたいにappsettings.jsonを書き換えてください。

例:CeVIO AIを「F:\Path\To\CeVIO\AI\」にインストールした場合

		{
			"type":"CeVIO AI",
			"engine":"CeVIO",
- 			"DllPath":"C:\\Program Files\\CeVIO\\CeVIO AI\\"
+ 			"DllPath":"F:\\Path\\To\\CeVIO\\AI\\"
		},

How to use

  1. YMM4でプロジェクトを作ります
  2. あいうえお口パクさせたいキャラの立ち絵とセリフアイテムを配置します
    • 立ち絵の種類は「動く立ち絵」、セリフの種類は「カスタムボイス」にしてください
    • v.0.2以降はCeVIOのAPI経由のセリフも対応しています
  3. プロジェクトを保存し、YMM4を終了します
    • YMM4は必ず終了してください。ファイルを保存できなかったり、CeVIOのAPI利用制限に引っかかって正しく動きません。
  4. KuchiPakuで保存したプロジェクト(.ymmp)を読み込みます
  5. 「キャラ口パク設定」で設定するキャラを選びます
  6. 右側であ行・い行などの口の形を指定します
  7. すべてのキャラ設定が終わったらプロジェクトを保存します
  8. YMM4で再度プロジェクトを開いて、続きを編集します

Timing label file (.lab)

KuchiPakuは一部の音声合成ソフトがサポートする「タイミング情報ファイル」(.lab)を利用して口パクを生成します。.labファイルが用意できれば以下に記載がないソフトでも対応している可能性があります。

Projects

  • KuchiPaku.Core: Independent common component project includes MVVM Model code.
  • KuchiPaku: The WPF application project includes MVVM View and ViewModel code.

Libraries

KuchiPaku license

The MIT License

Copyright (c) 2022 InuInu

🐶Developed by InuInu

kuchipaku's People

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar

kuchipaku's Issues

微妙に発音から遅れて表示されるように見える

微妙に発音から遅れて表示されるように見える…

実際にそうなのか、錯覚なのかは分からない…要調査

可能性

  • 音程/再生速度や話速の対応でどこかにバグがある
  • 音量口パク対応のパーツを指定すると良くない可能性

口パク情報がとれない音声合成エンジン(ゆっくりAquestalkとか)対応

ゆっくり(Aquestalk)とか古いボイスロイドとか、CoeFontとかCOEIROINKとかは口パク情報を取れない><!
wav2labがあるけど、量が多いと大変であんまり現実的じゃない…。

音声認識エンジンを拡張して.lab形式で取得できるようにするのがいいかも。

候補:

  • Julius
    • wav2labは多分これ
    • 精度があんまり良くないっぽい
  • Vosk
    • 最近よく聞く
    • 日本語対応している
    • 音素情報が取れるforkがある
  • Whisper
    • これも最近よく聞く
    • そもそも音素情報取れるの?調べてない…

YMM4のPSD立ち絵に対応検討

饅頭遣いさんがPSD処理の.NETライブラリをgithubで公開してるので、
もしかしたらいけるかも。

ただ、ymmpの中だとどのレイヤーが名前じゃなくて番号で指定されているので、ちゃんと再現できるかどうかわからない…。
UIを作るのが大変だけど、口パクの絵を指定するのはUIがないと難しい…。

YMMのプラグイン仕様が公開されたらソッチで実現したほうがいいかも?

Fluent CeVIO Wrapperの公開

内部で利用しているCeVIO API接続用のライブラリ「Fluent CeVIO Wrapper」の公開。
何かあったときに再ビルドできないので。

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.