请问预训练阶段是不需要调整学习率的吗？代码中预训练时的steps比它的迭代次数还要大 about qdmn HOT 6 CLOSED

我用2个GPU训练的时候发现score loss的收敛似乎很困难，比较慢，这个正常吗？用的是源代码，没有修改

from qdmn.

不需要调整，我在预训练没有使用衰减，不过你也可以试一下加上衰减。score loss收敛应该是比较快的，有log吗

from qdmn.

不需要调整，我在预训练没有使用衰减，不过你也可以试一下加上衰减。score loss收敛应该是比较快的，有log吗

我迭代了2000多次，前面一排是每个batch中score的值，都很小，所以我感觉它几乎没收敛

from qdmn.

我没有用tps，这应该不会影响收敛的吧

from qdmn.

我刚才跑了一下代码，两张卡的话score loss在500--600ite之间会迅速收敛，500之前收敛的会比较慢。并且score的预测会从1e-7级别慢慢上升到1e-4然后迅速到达正常输出如0.7、0.8。这是由于sigmoid函数的梯度在输出值非常接近于0时很小，逐渐上涨之后梯度变大了收敛就迅速了。2000ite还未收敛不是正常现象，或许与您模型的初始值有关系，或许您改变了部分代码。我刚才跑的是原始代码，您也可以实验一下不加修改的原始代码。目前的代码是没有问题的。

from qdmn.

我刚才跑了一下代码，两张卡的话score loss在500--600ite之间会迅速收敛，500之前收敛的会比较慢。并且score的预测会从1e-7级别慢慢上升到1e-4然后迅速到达正常输出如0.7、0.8。这是由于sigmoid函数的梯度在输出值非常接近于0时很小，逐渐上涨之后梯度变大了收敛就迅速了。2000ite还未收敛不是正常现象，或许与您模型的初始值有关系，或许您改变了部分代码。我刚才跑的是原始代码，您也可以实验一下不加修改的原始代码。目前的代码是没有问题的。

ok,谢谢您的指导

from qdmn.