floatingpoint64 / depth_and_egomotion Goto Github PK

概要

実装を把握した後、学習処理を実行してみて、不足している実装やTF1.15 + CUDA10.0による既知のバグの修正までを行う。
2021.02.23現在では、Google OSSで学習済みcheckpointが配布されていないので、推論処理の動作確認用にcheckpointを作成する目的もある。

作業内容

• データセットの作成スクリプトの準備
  • struct2depthを参照
• Google Colabで動かせるように環境構築
• KITTI_syncで学習動作確認

完了条件

• KITTI_syncの学習済みcheckpointが得られていること

概要

2021.02.23現在では、inferenceスクリプトが公開せれていない。
(depth from video in the wildの時もegomotionのみだったので、配布しない方針?)
このため、一から推論スクリプトを実装する必要がある。
出力内容を調べ、それらを1ファイルにまとめて保存できるようなスクリプトを作成する。

実装の概要

シーケンス画像があるディレクトリを入力として、内部で画像組を作成する方針。
(訓練時のように連結した画像を読み込まない)
出力方法は後で調べるが、Depth mapやintrinsicsなど、複数の出力内容をなるべく少ないファイル数で保存する。
depth_from_videoの時と同じなら、Depth mapが各フレームごとに、その他のパラメータが2枚の画像ごとに1データになるはずなので、合計2ファイル?

作業内容

• 出力内容の把握(#2 でまとめるはず)
• 推論関数の把握(同じく #2 の実装内容把握でまとめるはず)
• 推論処理の実装

完了条件

• 論文の実験結果と同等の見た目をした推論結果が得られること
  • 定量・定性評価は別issueで行う

概要

レンズ歪補正係数を学習できるよう、この実装を追加する。
レンズ歪補正係数の学習を行うかどうかのフラグを追加する。

完了条件

学習による効果を確認していること

概要

論文と実装を読み、手法を理解する。
実装に不足している内容については別issueで整理し、あくまで手法の理解までを行う。

完了条件

• 論文が読み終わっていること
• コードの内容について把握できていること

概要

論文の実験結果の追試のため、定量評価を行うスクリプトを実装する。
Depth関連のgithubに実装があると思うので、それらを参考にして実装を行う。

まずは、論文の実験結果と同等の結果が得られるような実装を行い、後から必要と思う評価指標を追加すること。

作業内容

• 論文中の評価指標を列挙
• 各評価指標の実装を探す(論文中で参考文献として載っているはず)
• 実装
• 評価結果の比較

完了条件

• 論文の実験結果と同等の評価結果が得られていること
  • 学習結果によっては、多少異なるかも