驱动你的纸片人老婆。 Simply animate your 2D waifu.
Fork自 yuyuyzl/EasyVtuber。由于是AI Vtuber，因此去掉了原项目的面捕功能。
本项目配合stable diffusion等文生图模型为最佳食用方式。
- 空闲自动做动作（眨眼、东张西望）
- 说话动作（自动对口型）
- 摇子（自动随节奏点头）
- 唱歌动作（自动对口型，跟随节奏摇摆）(更新中... 0.0)
- API调用接口
创建并激活虚拟环境
conda create -n eaiv python=3.10
conda activate eaiv
安装torch（最好是30系显卡及以上）
# CUDA 11.8
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118
然后在项目目录下执行以下命令
pip install -r requirements.txt
https://www.dropbox.com/s/y7b8jl4n2euv8xe/talking-head-anime-3-models.zip?dl=0
解压到data/models文件夹中，与placeholder.txt同级
正确的目录层级为
+ models
- separable_float
- separable_half
- standard_float
- standard_half
- placeholder.txt
可在网上自行搜索教程安装
注：如果电脑上安装过VTube Studio，也许OBS的视频采集设备的设备中就会有 VTubeStudioCam（没做过实验不太确定）。 若有此设备，便无需执行下面步骤安装UnityCapture，直接使用 VTubeStudioCam 即可
为了能够在OBS上看到纸片老婆并且使用透明背景，需要安装UnityCapture
参考 https://github.com/schellingb/UnityCapture#installation
只需要正常走完Install.bat，在OBS的视频采集设备中便能看到对应的设备（Unity Video Capture）。
在OBS添加完视频采集设备以后，右键视频采集设备-设置-取消激活-分辨率类型选自定义-分辨率512x512(与--output_size参数一致)-视频格式选ARGB-激活
- 打开OBS并配置好视频采集设备
- 将
main.bat中第一行的虚拟环境的路径修改为你自己的虚拟环境路径 - 运行
main.bat - 使用post请求 http://127.0.0.1:7888/alive （默认端口为7888），
并传入相应参数便可使用音频文件自动生成模型的动作，具体示例可参考
test.py
| 参数名 | 值类型 | 说明 |
|---|---|---|
| --character | str | data/images目录下的输入图像文件名，不需要带扩展名 |
| --output_size | str | 格式为512x512，必须是4的倍数。增大它并不会让图像更清晰，但配合extend_movement会增大可动范围 |
| --simplify | int | 可用值为1 2 3 4，值越大CPU运算量越小，但动作精度越低 |
| --output_webcam | str | 可用值为unitycapture，选择对应的输出种类，不传不输出到摄像头 |
| --model | str | 可用值为standard_float standard_half separable_float separable_half，其中standard_float占用最多显存效果最好，separable_half占用最少显存效果最逊（但也完全够用了），float为双精度，half为单精度模型， |
| --port | int | 本地API的端口号，默认为7888，若7888被占用则需要更改 |
| --extend_movement | float | （暂时没有用）根据头部位置，对模型输出图像进一步进行移动和旋转使得上半身可动 传入的数值表示移动倍率（建议值为1） |
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent