Comments (5)
遇到了个异常情况,输入如下,还是会偶发异常,输出为空:
['你是一个医学专家,请对以下指南内容做归纳,根据以下要求总结出三个符合以下要求的问答对:\n 1、问题以Q:开头,答案以A:开头。\n 2、问答对之间用两个换行符间隔;问题和答案之间用一个换行间隔\n 3、答案需尽可能的详细。\n 4、问题需要跟氟马替尼强相关。\n ```氟马替尼在血浆中主要以原形药物形式存在,此外存在的主要代谢物形式为 N-去甲基化代谢物 M1 和酰胺键水解代谢物 M3,代谢物 M1 的稳态血浆暴露量约为原形药物的 20%,代谢物 M3 的稳态血浆暴露量约为原形药物的 10%。氧化、水解后乙酰化和氧化、以及葡萄糖醛酸结合物等其它代谢物浓度均低于原形药物的 10%。单次给予甲磺酸氟马替尼片 400mg 和 600mg 剂量后,氟马替尼在慢性粒细胞白血病慢性期患者体内平均血浆消除半衰期(t1/2)为 16.01~17.21h;N-去甲基代谢物 M1 的平均血浆消除半衰期(t1/2)为 18.92~19.21h;水解代谢产物 M3 的平均血浆消除半衰期(t1/2)为7.63~8.66h。CYP3A4 是氟马替尼的主要代谢酶,同时本品对 CYP3A4 酶的抑制具有时间依赖性。```',
'你是一个医学专家,请对以下指南内容做归纳,根据以下要求总结出三个符合以下要求的问答对:\n 1、问题以Q:开头,答案以A:开头。\n 2、问答对之间用两个换行符间隔;问题和答案之间用一个换行间隔\n 3、答案需尽可能的详细。\n 4、问题需要跟氟马替尼强相关。\n ```药理作用甲磺酸氟马替尼在分子水平对 Bcr-Abl 酪氨酸激酶磷酸化抑制作用的 IC50 为 11 nM;对P210 Bcr-Abl 表达阳性的白血病细胞(K562、KU812)增殖的抑制作用 IC50 为 6-8 nM,对P210 Bcr-Abl 表达阴性的肿瘤细胞(人早幼粒白血病细胞 HL-60、人组织细胞淋巴瘤细胞U-937)、表达生长因子受体(PDGFR)的人非小细胞肺癌 A549 细胞、人结肠癌 Ls174t 细胞、人表皮样癌 A431 细胞均未见明显抑制作用。体外药效试验结果显示,甲磺酸氟马替尼代谢产物 N-去甲基代谢物(M1)对 Bcr-Abl抑制作用的 IC50 为 16.6 nM,对 K562 细胞增殖抑制作用 IC50 为 3 nM (甲磺酸氟马替尼为 1nM);甲磺酸氟马替尼酰胺键水解羧酸代谢物(M3)未见明显酪氨酸激酶抑制活性。``` ',
'你是一个医学专家,请对以下指南内容做归纳,根据以下要求总结出三个符合以下要求的问答对:\n 1、问题以Q:开头,答案以A:开头。\n 2、问答对之间用两个换行符间隔;问题和答案之间用一个换行间隔\n 3、答案需尽可能的详细。\n 4、问题需要跟氟马替尼强相关。\n ``` 液体潴留同类其他产品存在严重液体潴留的不良反应。本品的临床试验中,受试者发生的液体潴留主要表现为浅表水肿,如面部水肿、眼睑浮肿、眼睑水肿等,均为 1 级(见【不良反应】)。在服用本品过程中,建议监测体重,出现非预期的快速体重增加,需要警惕液体潴留的可能,建议及时就医明确诊断。液体潴留可以加重或导致心衰,目前尚无严重心衰患者(按纽约心脏学会分类法的Ⅲ~Ⅳ级)临床应用甲磺酸氟马替尼的经验。有心脏病、心力衰竭风险因素或肾衰竭病史的患者慎用本品。青光眼患者建议慎用。```']
from qwen.
Batch Inference 异常时,输入的文本应该没有太长.同样的输入有时候model.generate(text)能出结果,绝大多数不能
from qwen.
How long is the input? I wonder if you could share with us an example input.
P.S.: The 14B model have a comparatively shorter sequence length support. If it is okay, could you try if the 7B model or the Qwen1.5-14B model have the same issue?
from qwen.
How long is the input? I wonder if you could share with us an example input.
P.S.: The 14B model have a comparatively shorter sequence length support. If it is okay, could you try if the 7B model or the Qwen1.5-14B model have the same issue?
我做了实验,应该是我输入异常导致的问题,正常输入是ok的。
另外 同样batch inference 的代码,Qwen1.5-14B是没有办法适用的,很多模型tokenizer的参数不一样。如果有适合Qwen1.5-14B的代码,可以共享下。
from qwen.
For batch inference using Qwen1.5, see this comment: QwenLM/Qwen2#282 (comment).
from qwen.
Related Issues (20)
- [BUG] <title>fastchat + vLLM +OpenAI API 调用qwen模型,数据不需要预先处理吗 HOT 1
- 本地部署后,运行很慢啊 HOT 4
- 请问下 2.5什么时候开源呀? HOT 1
- File "finetune.py", line 412, in <module> train() File "finetune.py", line 384, in train model = get_peft_model(model, lora_config) File "/opt/conda/envs/qwen/lib/python3.8/site-packages/peft/mapping.py", line 123, in get_peft_model peft_config.base_model_name_or_path = model.__dict__.get("name_or_path", None) AttributeError: 'NoneType' object has no attribute '__dict__'[BUG] <title> HOT 2
- qwen 14b 不微调的情况下,问相同的问题,模型输出也不太一致,是为什么?温度已经设置成0了 HOT 2
- [BUG] <title>torch.cuda.OutOfMemoryError: CUDA out of memory. HOT 1
- Qwen pre_trained, 打印一下内容,就没有了,不确定是否训练完成 HOT 2
- [BUG] 转换Qwen1.5-14B报错 HOT 1
- 多轮对话训练数据格式组织 HOT 1
- [BUG] Questionable embedding feature shape extracted from Qwen-7B-Chat HOT 2
- [BUG] <title> 命令行运行参数解析错误
- 工具调用的时候,本来用户没有输入参数,但是模型会自动幻想参数 HOT 1
- [BUG] model的forward函数接收attention_mask的时候,若attention_mask[i, 0]==0,则序列i输出的logits全都是NaN值 HOT 4
- 模型的TEMPLATE是怎么样的 HOT 1
- [BUG] <title>全参数微调qwen-14b-chat时卡住 HOT 1
- 运行web_demo.py程序时问答卡顿 HOT 1
- [BUG] <title>Qwen有支持OpenAI形式的functoncall的计划吗 HOT 1
- [BUG] <title>RuntimeError: Expected attn_mask dtype to be bool or to match query dtype, but got attn_mask.dtype: c10::BFloat16 and query.dtype: c10::Half instead. HOT 1
- 量化细节请教 HOT 1
- [BUG] 这模型似乎很固执或直男癌,prompt里明确了不要怎么怎么样,每次输出还是不按要求去
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from qwen.