申请入群，运行infer文件报错，想请教一下如何解决！ about huatuo-llama-med-chinese HOT 12 CLOSED

我的错误提示和你不一样，但是问题差不多，就是超不到cuda安装路径吧，提示里说了，你要sudo find / -name libcudart.so找到你的cuda所在目录，然后export LD_LIBRARY_PATH=cuda所在目录，这行加到你的~/.bashrc里

from huatuo-llama-med-chinese.

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

from huatuo-llama-med-chinese.

我也遇到了相同的问题，老哥解决了么？

from huatuo-llama-med-chinese.

问题解决了，你把bitsandbytes那个package uninstall一下就可以了

from huatuo-llama-med-chinese.

问题解决了，你把bitsandbytes那个package uninstall一下就可以了

我uninstall后报错了。麻了，你的可以跑了吗

from huatuo-llama-med-chinese.

可以跑了~

from huatuo-llama-med-chinese.

是这样的，uninstall之后，可以跑infer.py但是训练的时候，load_in_8bit = False。这样的话，我的4090显存就会溢出了。我昨天po了问题，作者也没有解答 #48

from huatuo-llama-med-chinese.

作者可以成功部署了么？

from huatuo-llama-med-chinese.

我的错误提示和你不一样，但是问题差不多，就是超不到cuda安装路径吧，提示里说了，你要sudo find / -name libcudart.so找到你的cuda所在目录，然后export LD_LIBRARY_PATH=cuda所在目录，这行加到你的~/.bashrc里

大概率就是这个问题，github上也有更新，针对可能的版本问题做了优化，大家可以尝试一下

from huatuo-llama-med-chinese.

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

在data/llama_data.json更换了自己的数据后，运行bash ./scripts/finetune.sh然后直接bash ./scripts/infer.sh推理时，是不是使用自己的数据微调后的模型吗？

from huatuo-llama-med-chinese.

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

在data/llama_data.json更换了自己的数据后，运行bash ./scripts/finetune.sh然后直接bash ./scripts/infer.sh推理时，是不是使用自己的数据微调后的模型吗？

fine-tune后进行infer时，需要修改lora的路径再进行infer

from huatuo-llama-med-chinese.

看起来是cuda path的问题，可以尝试排查一下运行infer.py的环境中cuda路径是否有异常

在data/llama_data.json更换了自己的数据后，运行bash ./scripts/finetune.sh然后直接bash ./scripts/infer.sh推理时，是不是使用自己的数据微调后的模型吗？

fine-tune后进行infer时，需要修改lora的路径再进行infer

哥 怎么修改啊？能不能加个微信啊chen2319529093，求求你了哥

from huatuo-llama-med-chinese.