此项目需要解决的问题：1、... about qwen HOT 8 CLOSED

感谢意见。相关的东西我们都在坐着，争取让项目好用一些

from qwen.

1、按README的方法从头到尾实践后，无法启动。 2、下载flash-attention后，无法成功pip install csrc/layer_norm和pip install csrc/rotary。 2、无法流式问答。 4、无webUI。 5、没有说明如何加载本地模型，本地模型的路径应该填写在哪里？希望给个代码范本。 6、按说明安装环境后，在项目内打开CMD输入python medo.py加载后报错：device_map="auto" 总结：希望有更易读且全面的说明流程（起码按README的方法从头到尾实践后可运行）。 如果不改进可能：不利于推广，即使那么多人说你的好，却没有一个真正运行后的测评，也没有视频真正去讲解，因为没人能按你的readme运行得起来。

1、已经跑通没问题（HuggingFace版本）
2、无法编译flash-attention(非必要，但是V100上流式速度感人，希望能加速)
3、流式官方的cli_demo.py默认的
4、webui可以蹲一蹲开源的，估计已经有了
5、这个都不会建议放弃玩LLM这条路（不是）
6、大概率环境问题，希望能够掌握goole解决问题的能力，实在解决不了再请教网友

from qwen.

1、按README的方法从头到尾实践后，无法启动。
2、下载flash-attention后，无法成功pip install csrc/layer_norm和pip install csrc/rotary。
2、无法流式问答。
4、无webUI。
5、没有说明如何加载本地模型，本地模型的路径应该填写在哪里？希望给个代码范本。
6、按说明安装环境后，在项目内打开CMD输入python medo.py加载后报错：device_map="auto"
总结：希望有更易读且全面的说明流程（起码按README的方法从头到尾实践后可运行）。
如果不改进可能：不利于推广，即使那么多人说你的好，却没有一个真正运行后的测评，也没有视频真正去讲解，因为没人能按你的readme运行得起来。

可以看下前面的issues，不需要安装flash-attention也可以成功运行，webUI完全可以自己基于gradio搭建一个，开源的例子有很多，可以参考alpaca-lora项目，本地模型路径直接把AutoTokenizer和AutoModelForCausalLM的第一个参数替换成相应路径即可，这里建议阅读下transformers的源代码。device_map报错建议贴出具体报错信息，否则没有办法解决你的问题。

from qwen.

还有一点：量化模型代码中max_memory不知道哪来的：
model = AutoModelForCausalLM.from_pretrained(
args.checkpoint_path,
device_map="cuda:0",
quantization_config=quantization_config,
max_memory=max_memory,
trust_remote_code=True,
).eval()

from qwen.

我也碰见了，max_memory不知道如何设置。

from qwen.

我也碰见了，max_memory不知道如何设置。

解决了没有啊，我也碰到了

from qwen.

我也碰见了，max_memory不知道如何设置。

解决了没有啊，我也碰到了

直接注释掉“max_memory=max_memory,”这行吧

from qwen.

我也碰见了，max_memory不知道如何设置。

解决了没有啊，我也碰到了

直接注释掉“max_memory=max_memory,”这行吧

注释之后，还是会爆显存，我用了modelscope一样的代码就不爆显存，不知道什么原因...

from qwen.