Comments (16)
能贴个 case 吗?type_id 对整个 context 都是0,response 是1,这个是正常的
from knover.
[Human]: Example: 0
Context:
你喜欢猫还是狗?
[Bot]: 我养了一只吉娃娃。
[Human]: Example: 0
Context:
你喜欢猫还是狗?
我养了一只吉娃娃。
买彩票了吗?
[Bot]: 我觉得小猫比较可爱。
[Human]: Example: 0
Context:
你喜欢猫还是狗?
我养了一只吉娃娃。
买彩票了吗?
我觉得小猫比较可爱。
你有什么爱好?
[Bot]: 我是爱猫派
from knover.
这是我debug时的结果,和run出来的界面稍有区别,[Human]的提问是Context的最后一句
from knover.
训练NSP模型时也用多轮对话语料吗?会不会用单轮对话语料训NSP模型,对上下句预测的分数更准呢?
from knover.
你跑的中文是从哪里下载的?还是你自己训的呢?我这边用我的模型跑了下,效果是正常的
from knover.
是我自己收集数据训练的模型
from knover.
这个预测出来的效果是有些奇怪,你的 decode strategy 是什么呢?有在脚本打开task.debug()
吗?可以看看采样出来的多个候选回复,进一步看看是否正常
from knover.
有开task.debug。用了nsp_score,topk_sampling=3,我训练的是小语种。我用翻译软件把结果翻译一下:
[人类]:示例:0
背景:
你更喜欢狗还是猫?
预测:
我有一只吉娃娃。 0.99367
是的。猫很可爱。 0.99352
我有一只猫!0.99309
我有一只吉娃娃。 0.99285
我不打算养狗,但我想知道这只狗是否可爱。 0.99249
[机器人]:我有一只吉娃娃。
[人类]:示例:0
背景:
你更喜欢狗还是猫?
我有一只吉娃娃。
你买彩票了吗?
预测:
我是一只猫和一只猫米妮。很可爱,但我喜欢这件衣服。 0.99416
很多人买了就留着。 0.99035
我不能保留 0.98374
我不能保留它,因为我是我父母的房子。 0.98179
有多少条裙子? 0.96495
[机器人]:我是一只猫和一只猫米妮。很可爱,但我喜欢这件衣服。
[人类]:示例:0
背景:
你更喜欢狗还是猫?
我有一只吉娃娃。
你买彩票了吗?
我是一只猫和一只猫米妮。很可爱,但我喜欢这件衣服。
你有什么爱好?
预测:
我是猫教派-0.99317
我经常养猫。 0.99041
毕竟是猫。 0.98828
猫咖啡馆怎么样?0.96132
我喜欢狗。猫是猫吗?-999.00636
[机器人]:我是猫派
from knover.
抱歉,感觉翻译的也不太确切。不过候选里面似乎有相对正确的回答,但是NSP的分数排在了后面,所以我想是不是我训练的NSP模型的问题
from knover.
训练NSP的语料和训练UT,Plato的语料都是一样的吧。也就是说训练这三个模型所使用的语料是同一个语聊吧?
from knover.
对的,三个模型训练的时候用的是同一份语料
from knover.
抱歉,感觉翻译的也不太确切。不过候选里面似乎有相对正确的回答,但是NSP的分数排在了后面,所以我想是不是我训练的NSP模型的问题
不知道是不是翻译的原因,感觉效果不够好
这个语料的有多少个 context - response pair 呢?
from knover.
一共收集了348603个pair,后续数据还在收集
from knover.
是否在转换话题的时候会有这种现象呢?我测试的几个问题之间都是没有关联的
from knover.
是否在转换话题的时候会有这种现象呢?我测试的几个问题之间都是没有关联的
从上面你试的 case 来看,这个 NSP 的打分倾向于给之前的话题高分,能否多试几个例子呢?
from knover.
确实是NSP 模型打分倾向于给之前的话题高分,是不是说明NSP模型训练的还不够收敛,继续训练NSP比较好
from knover.
Related Issues (20)
- Plato-KAG部署环境下如何输入topic和knowledge
- 请问Link theWorld这个论文中2.1节Service Information的service API是如何构建的
- Plato-KAG文档 HOT 1
- 加载数据时发现报错[WARN] Invalid example: context too long / no context - Example HOT 2
- WARN,读数据时显示context过长或无content HOT 1
- 使用single_gpu训练报错TypeError: __new__() got multiple values for argument data_id HOT 4
- PLATO stage-1训练之后output里没有输出 HOT 1
- InvalidArgumentError: Broadcast dimension mismatch HOT 2
- PLATO stage1训练发现内存一直在增长,训练到9w步后,出现内存溢出,这是什么原因? HOT 4
- PLATO-KAG生成的回复能否使用NSP模型的score排序 HOT 2
- 关于PLATO-KAG模型部署后的回答生成 HOT 2
- Release of training code for QKConv HOT 11
- KAG训练中mean_mlm_ce指标的意义是什么 HOT 2
- KAG训练中mean_mlm_ce指标的意义是什么
- lr scheduler参数设置 HOT 4
- Changing the allowed maximum conversation length in Plato-2 HOT 1
- Using PLATO-XL for inference on 3 or more GPUs HOT 2
- Methods of PLATO-KAG pre-training for other languages
- 训练plato2.2L
- AG-DST模型开源了吗 HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from knover.