loss to nan about h-net HOT 3 OPEN

损失太大的话，试一下梯度裁剪？
我在训练的时候没有遇见的。

from h-net.

@Xylon-Sean 请问你有没有试过先训练好autoencoder，再去训练metric，而不是交替的训练。效果会怎么样

from h-net.

@fAnchao1
不好意思, 最近忙着 dead line, 给您回复的太晚了.

您说的这种训练方法, 我没去尝试过.
不过按照我的猜想, metric network 如果能收敛, 那必定是 AutoEncoder 收敛了才有可能.
如果 AutoEncoder 没有收敛, 而一直在变化参数, 我们假设我们的训练数据只有一对图片的话, 那么这对图片在此时提取的特征描述也会一直在变化, 那么 metric network 也因此会一直有梯度产生, 而没有收敛.
所以, 可能先训练好 AutoEncoder 再去训练 metric 的哈, 和这样交替训练也许是差不多的.

不过, 这个只是猜想, 没有实验证明的话还不能肯定.

from h-net.