RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions. about zero_nlp HOT 6 CLOSED

同遇到问题

from zero_nlp.

是多卡出现的问题么

from zero_nlp.

是多卡出现的问题么

是的，我也是这个情况。顺便问问大佬python版本号，我单卡可以运行但是训练卡住了，感觉是版本的问题。

from zero_nlp.

是多卡出现的问题么

是的，目前是4卡，运行您之前旧的train能跑起来，我也怀疑是否是torch或者cuda版本问题导致的

from zero_nlp.

我也遇到了这个问题，单卡可以跑通，多卡跑就不行了。

from zero_nlp.

#44 (comment)

添加了单机多卡训练代码，链接放在这里，https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/Chatglm6b_ModelParallel

单机多卡、模型并行方式训练chatglm6b模型代码。
同时，结合lora算法、fp16精度、使用checkpoint等方法，可以在文本长度为1024、batchsize=4的情况下，在两个T4显卡上跑的很快乐（显卡的显存最大为16G，但是实际上卡1用了8G，卡2用了11G），甚至batchsize还可以提高。

from zero_nlp.