Comments (16)
从这里看TensorRT-LLM ip配置这块应该是没问题了,那么可能要看看
再选择LLM模型部分,选择OpenAI (Running)即可
,我记得想要有两个OpenAI,你可以在前面的页面多尝试一下,显然是第一个OpenAI。是的有两个,刚开始不能区分,我就将名字改为OpenAI-test,发现两个都发生了变化,但是两个返回的错误都是一致的 TT
![]()
我注意到在webui进行选择模型切换的时候,切换到OpenAI(Running)会出现一个红色的错误这里不建议修改,还是还原之前的叫法比较好。
确实,复议!改回OpenAI名称
错误发生了改变,直指我langchain项目里的openai版本过低(0.4.0)
然后我更新了(版本 1.2.4)
正常了!(终于!!)
ps:
会莫名其妙出现bug最好是在requirements.txt进行改正之后重装!!
from qwen-tensorrt-llm.
这个错误是因为openai的包最近更新到1.x了,改了调用方式,langchain那边没有更新导致的。
from qwen-tensorrt-llm.
并且新版api_key为必填项目,可以给一个任意数值。
from qwen-tensorrt-llm.
这个错误是因为openai的包最近更新到1.x了,改了调用方式,langchain方面没有更新导致的。
我看langchain-chatchat昨天更新到了0.2.7版本,或许 是更新了?
from qwen-tensorrt-llm.
而新版api_key为必填项目,可以给出一个任意数值。
from qwen-tensorrt-llm.
建议检查一下langchain那边openai模块版本,应该是0.4.1才能跑,1.x是跑不了的。
TensorRT-LLM这边我上周已经升级到1.x了,所以没啥影响。
from qwen-tensorrt-llm.
还有一个就是TensorRT-LLM这边需要做端口映射,如果你的TensorRT-LLM部署不是本机,请你将127.0.0.1换成部署TensorRT-LLM所在服务器的ip,例如192.168.x.x
from qwen-tensorrt-llm.
建议检查一下langchain有关openai模块版本,应该是0.4.1才能跑,1.x是跑不了的。TensorRT -LLM普拉斯我上周已经升级到1.x了,所以没啥影响。
我对openai进行了降级,但是没有发现0.4.1版本, 就安装了0.4.0版本,依旧是存在着上述情况。
from qwen-tensorrt-llm.
还有一个就是TensorRT-LLM布拉格需要做端口映射,如果你的TensorRT-LLM配置不是本机,请你将127.0.0.1换成配置TensorRT-LLM所在服务器的ip,例如192.168.xx
关于这个 在部署tensor-llm +qwen的时候已经做了映射
docker run --gpus all \ --name trt_llm \ -d \ --ipc=host \ --ulimit memlock=-1 \ --restart=always \ --ulimit stack=67108864 \ -p 8000:8000 \ -p 7860:7860 \ -v ${PWD}/qwen:/app/tensorrt_llm/examples/qwen \ tensorrt_llm/release sleep 8640000
from qwen-tensorrt-llm.
个人感觉是127.0.0.1:8000不通导致的, 你可以看看TensorRT-LLM api.py启动后那边有收到langchain调用的日志吗?如果没有,请检查你langchain这边设置的ip http://127.0.0.1:8000/v1
是否正确。
from qwen-tensorrt-llm.
个人感觉是127.0.0.1:8000不通导致的,你可以看看TensorRT-LLM api.py启动后那边有收到langchain调用的日志吗?如果没有,请检查你langchain参数设置的ip是否正确
http://127.0.0.1:8000/v1
。
我使用了postman进行了测试,是可以得到回复的,图如下:
然后在langchain-chatchat里面,我看到是有接收到一个信息的,这是全部详细的信息
from qwen-tensorrt-llm.
我刚才怀疑是pydantic版本的原因,在langchain-chatchat 项目中,如果将pydantic升级到2.x,fschat和pydantic一直存在着冲突的问题,我可以请求一份你的pip requirements.txt看一下吗?
from qwen-tensorrt-llm.
从这里看TensorRT-LLM ip配置这块应该是没问题了,那就可能要看看再选择LLM模型部分,选择OpenAI (Running)即可
,我记得好像有两个OpenAI,你可以在前端页面多试试,貌似是第一个OpenAI.
from qwen-tensorrt-llm.
我刚才怀疑是pydantic版本的原因,在langchain-chatchat 项目中,如果将pydantic升级到2.x,fschat和pydantic一直存在着冲突的问题,我可以请求一份你的pip requirements.txt看一下吗?
这个有可能是,不过我安装langchain的时候是直接按作者说的,用Python3.10.12版本,然后直接按照他提供的requerements.txt安装的包(确保openai版本是0.4.0)。我建议你用conda重新构建一个Python3.10.12的虚拟环境,再试一次。
from qwen-tensorrt-llm.
从这里看TensorRT-LLM ip配置这块应该是没问题了,那么可能要看看
再选择LLM模型部分,选择OpenAI (Running)即可
,我记得好像有两个OpenAI,你可以在前面的页面多试试,显然是第一个OpenAI。
是的有两个,刚开始不能区分,我就将名字改为了OpenAI-test,发现两个都发生了了变化,但是两个返回的错误都是一致的 T T
我注意到在webui进行选择模型切换的时候,切换到OpenAI(Running)会出现一个红色的错误
from qwen-tensorrt-llm.
从这里看TensorRT-LLM ip配置这块应该是没问题了,那么可能要看看
再选择LLM模型部分,选择OpenAI (Running)即可
,我记得好像有两个OpenAI,你可以在前面的页面多试试,显然是第一个OpenAI。是的有两个,刚开始不能区分,我就将名字改为了OpenAI-test,发现两个都发生了了变化,但是两个返回的错误都是一致的 T T
![]()
这里不建议改,还是还原之前的叫法比较好。
from qwen-tensorrt-llm.
Related Issues (20)
- qwen_14b_chat build error HOT 3
- triton 部署, 生成乱码 HOT 18
- web_demo无法显示模型响应 HOT 2
- python run 错误 HOT 9
- How to use multi gpus in qwen2/quantize.py? HOT 2
- API for multi-GPU inference HOT 4
- qwen1.5 编译错误:KeyError: 'kv_cache_block_pointers_list' HOT 2
- 想请教一下qwen1.5_7b和llama系的区别 HOT 1
- Hi, a error about kv_cache_block_pointers_list HOT 2
- Qwen1.5做smoothquant时维度不对 HOT 3
- 请教一个codeqwen7b模型build过程的一个问题 HOT 2
- 当我用perf_analyzer测试性能时,出现“Thread [0] had error: Cannot send stop request without specifying a request_id”错误 HOT 3
- 求一个新的 TLLM 群交流群二维码 HOT 3
- 求助 HOT 1
- ModuleNotFoundError: No module named 'transformers.models.qwen2' HOT 2
- 运行run.py报错,Segmentation fault (core dumped) HOT 8
- how to build Qwen-72B-Chat-Int4 with tp=2 HOT 27
- Triton 和 Langchain部署问题 HOT 6
- 编译tritonserver 镜像 失败 HOT 4
- Qwen 2 build.py multi gpu with 2 different GPU's issue HOT 17
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from qwen-tensorrt-llm.