ADD InstantID about ailia-models HOT 7 OPEN

2GBを超えるONNXをエクスポートした場合に、複数のpbに出力されるのは規定の動作です。出力した後で、ONNXのAPIで読み込み、all_tensors_to_one_file=Trueで書き出すと、1つのonnxと、1つのpbに結合可能です。
https://github.com/onnx/onnx/blob/main/docs/PythonAPIOverview.md

diffuserを使用しているモデルのエクスポート例です。拡散モデルなので、tokenizerとddimのsamplerのコードをdiffuserから持ってくる必要があると思います。
#1379

from ailia-models.

メモ

• CPUバージョンで動かせるアプリケーションを作成した例：https://github.com/rupeshs/instantidcpu
• InstantIDのレポジトリ自体はApacheライセンスで商用利用可能だが、ダウンロードして利用されるモデルは商用利用ができないライセンスとなっているので注意が必要

from ailia-models.

ControlNetおよびIP-AdapterのONNX化検討メモ

• ControlNetのONNXエクスポートは可能
  • エクスポートすると大量のファイルにbiasなどが分かれてしまう（MatMulやAddなど）
  • オプションなどを見ても避けることは難しそう（関連イシュー）
• パイプラインがdiffusersの機能を利用して記述されており、両モデルをONNXとして出力して利用する場合、diffusers実装を再現するようなコードを記述する必要あり
  • 関連場所をチェックすると移植部分は相当数あると見込んでいる

from ailia-models.

@kyakuno
ご教授ありがとうございます。
頂いた内容を元に移植作業を進めさせて頂きます。

from ailia-models.

ControlNetについてはcontrolnet.onnxとcontrolnet.pbに書き出し、onnxruntime.InferenceSession("controlnet.onnx")で読み込めることを確認

from ailia-models.

@kyakuno
UNetをエクスポートするときに以下のエラーが出ます。
torch.onnx.errors.UnsupportedOperatorError: Exporting the operator 'aten::fft_fftn' to ONNX opset version 17 is not supported.

以前にも同じ問題が発生した経験がある場合、どのように対処したかご教授いただけますと幸いです

from ailia-models.

メモ：

• ailia SDKを使うと、ローカルでONNXバージョンで動かそうとするとメモリが不足してPCから警告が出され処理が中断されてしまう（24GBのmacbook proで確認）
  • スワップ領域を数十GB消費している
  • onnxruntimeを利用した場合はメモリ消費量が少ないようです

from ailia-models.