在 泰山派
上尝试使用 llama.cpp 离线部署 Qwen1.5-1.8b 大模型,基于 OpenBLAS
+ CLBlast
加速,prebuild 目录下提供了编译好的二进制文件
- 泰山派 2G + 16G 版本
ubuntu20.04_hdmi_20231130_update.img
git clone https://github.com/guidons-master/tspi-LLM.git
cd tspi-LLM
source install.sh
手动下载 Qwen1.5-1.8B-Chat-GGUF 模型文件,将 qwen1_5-1_8b-chat-q3_k_m.gguf
文件移动到 llm
目录下
交互式对话
llm-main -m llm/qwen1_5-1_8b-chat-q3_k_m.gguf -n 512 --color -i -cml -f llm/qwen.txt
OpenAI API
服务器
llm-server -m llm/qwen1_5-1_8b-chat-q3_k_m.gguf -c 2048 --host 0.0.0.0 --port 8080