【第3章】3-7. Xavierの初期値、Sigmoid関数はどちらに実装されてますか？ about pytorch_advanced HOT 3 OPEN

@Akira106 さま

非常に重要なコメントをありがとうございます。
こちらは確かに私が書籍内で説明を記載しておらず、読者の皆様に混乱を与える
部分だと気づきました。

3-7では分類層の最後はclassificationで出力が（21チャネル×画像高さ×画像幅）となっています。
これは各ピクセルが各チャネル（＝ラベル、クラス）である確率を示しています。

ただ、実際はまだ確率になっておらず、推論時にsoftmax関数を実施して、確率に変換します。
このsoftmax関数はシグモイド関数なので、

そこから逆向きに考えていって、Xavierの初期値にしているという流れになります。

参考
シグモイド関数とソフトマックス関数
https://qiita.com/SabanoMizuni/items/ab4b73cd9b8e733da11a

from pytorch_advanced.

小川様

ご丁寧にご解説いただき、誠にありがとうございます。
理解しました。

from pytorch_advanced.

はい、ありがとうございます。

また、気軽になんでも気になった点はご相談ください。
（読者の皆の知見につながり、私も非常に嬉しいです）

ありがとうございました。

from pytorch_advanced.