我去掉了lora部分，在原始结构finetune，总报错ValueError: Attempting to unscale FP16 gradients. about chatglm-tuning HOT 15 OPEN

我也遇到了类似的问题，对于作者的代码去掉peft的部分，是不能直接运行的。

from chatglm-tuning.

我在colab上的p100也有这个问题，但是换成了T4后就没了 ， 不确定是不是硬件问题

from chatglm-tuning.

我在colab上的p100也有这个问题，但是换成了T4后就没了 ， 不确定是不是硬件问题

大佬是直接去掉peft的部分试的吗

from chatglm-tuning.

我在colab上的p100也有这个问题，但是换成了T4后就没了 ， 不确定是不是硬件问题

难道因为4090太新了？我已经升级到pytorch 2.0了，想不通还要怎么解决，我如果直接把allow_fp16 = True，会导致loss=nan，脑壳疼。

from chatglm-tuning.

我在colab上的p100也有这个问题，但是换成了T4后就没了 ， 不确定是不是硬件问题

难道因为4090太新了？我已经升级到pytorch 2.0了，想不通还要怎么解决，我如果直接把allow_fp16 = True，会导致loss=nan，脑壳疼。

这种情况可能是环境依赖问题 🤣 我在4090上测过没这问题

from chatglm-tuning.

另外pytorch2.0我还没试过，目前用的1.13.1

from chatglm-tuning.

你跑的是带不带lora的啊？我用你的标准脚本没问题，但是我砍掉了lora那部分，也就是peft的部分，就不行了。。。

from chatglm-tuning.

你跑的是带不带lora的啊？我用你的标准脚本没问题，但是我砍掉了lora那部分，也就是peft的部分，就不行了。。。

我这样跑下来是没有问题的： https://github.com/mymusise/ChatGLM-Tuning/blob/master/examples/finetune.ipynb

from chatglm-tuning.

噢，抱歉，你说的是直接finetune原模型，这个我没试过，直接finetune可以参考别的repo：https://github.com/ssbuild/chatglm_finetuning

from chatglm-tuning.

嗯，那个repo我看了，话说，你的新版本好像显存占用增加了，我以前可以跑bs = 2现在只能跑1了，同样4090

from chatglm-tuning.

你跑的是512长度么

from chatglm-tuning.

大佬看下我的配置对吗？

from chatglm-tuning.

你跑的是带不带lora的啊？我用你的标准脚本没问题，但是我砍掉了lora那部分，也就是peft的部分，就不行了。。。

试试注释掉finetune.py的第128行：model.lm_head = CastOutputToFloat(model.lm_head)

from chatglm-tuning.

大佬看下我的配置对吗？

模型的配置用官方默认的就可以

你跑的是512长度么

我这块是说训练的样本的最大长度，之前数据预处理脚本有点问题，最大长度限制没起作用，现在修复了，可以拉下最新的代码重跑下数据预处理再试试，我这边同样24G显存跑320长度, bs=2是没问题

from chatglm-tuning.

python fineturn.py的fp16改成bf16试试

from chatglm-tuning.