RuntimeError: probability tensor contains either `inf`, `nan` or element < 0 about baichuan2 HOT 7 OPEN

我是可以正常用原始模型，但是8bit量化报和你一样的错，https://github.com/baichuan-inc/Baichuan2/issues/48#issue-1885592066。
有解决方案了可以互相通知一下。

from baichuan2.

遇到了同样的问题，有解决方案了吗

from baichuan2.

@pagyyuan @ywancit @bihui9968
model = AutoModelForCausalLM.from_pretrained(quant8_saved_dir, load_in_8bit=True, device_map="auto", trust_remote_code=True)
问题应该出自device_map="auto"这里，我的机器内存和GPU显存都较小，因此它会将模型分别加载到cpu和cuda里，接下来保存的时候，就没有把全部权重都保存下来（保存下来的'pytorch_model'只有8GB左右，这并不是一个正常的大小）。
我将把模型全部加载到cpu里：device_map="cpu"，保存下来的’pytorch_model‘大小有13.9GB，推理正常没有报错。

from baichuan2.

@ChiQiuHong 我将device_map由"auto"改为"cpu"后会报新的错误：ValueError: If passing a string for device_map, please choose 'auto', 'balanced', 'balanced_low_0' or 'sequential'.

from baichuan2.

我将报错的地方打印出来：有一个tensor是这样的：tensor([[nan, nan, nan, ..., nan, nan, nan]], device='cuda:0',
dtype=torch.float16)

from baichuan2.

请问解决了吗

from baichuan2.

#291 可以看下这个能不能解你的问题

from baichuan2.