本节大部分的内容摘自——qhduan的ConversationalRobotDesign
流程细节:
- 数据的输入,文字或者语音(可以通过第三方直接转成文字)
- 文字处理: 中文分词(jieba,hanlp)、 实体识别(ner, wit.ai和api.ai)、 意图识别(intent detection) 对话可采用:命令式、模糊式; 判断是否匹配的方法(levenshtein distance, word net, 2vec, lstm)
实践经验:
- 易学易用的QA Pairs管理查询引擎,如怎么退货
- 易学易用的对话模板生成管理,如每个商品或者分类咨询的固定话术
- NLU内部组件,如intent classification意图识别, entity recognization实体识别, 人工分词
- 机器人不准的时候,人工介入,如电话、邮件、IM
- 对化状态跟踪dialogue state tracker 对话策略组件dialogue policy
- 模拟程序(不了解这个模拟程序的作用)与评价系统
- 良好的开发文档
- 面对业务良好的培训文档
- 自动训练程序
- Attention机制,Residual RNN机制,Dropout机制
- 实体词管理,系统词典、自定义词典,词典名字、词条、同义词管理等
- 意图识别可以考虑优先级,实体词抽取,提示话术,默认值
- Slotfilling 必须词条
- 为方便操作可以添加快捷键,快捷回复。可以多参考ruyi.ai
关键技术与名词:
- 对话系统(dialogue system / dialog system), GUS对话系统(genial understander system)
- 问答系统(question answering system), QA paris问答对、KBQA(knowledge based QA知识库问答)、Retrival based QA基于检索
- 聊天机器人(chatbot)
- 人工智能标记语言(AIML)
- 深度学习聊天机器人(Sequence to Sequence)
- 任务驱动式多轮对话(Spoken Dialogue System, SDS)
论文 A Non-Task-Oriented Mixture Model Dialog System Daniel G. Bobrow, GUS, A Frame-Driven Dialog System, 1977
- 科大讯飞
- 百度度秘
- 阿里小蜜介绍,效果可以去APP端自行体验
- 自己做聊天机器人
- conversational robot desing —— qhduan
- 聊天机器人:神经对话模型的实现与技巧
- AIML——rivescript
- AIML——superscript
- AIML——chatscript
- 参考文档——微软对话系统技术挑战
- 参考文档——剑桥对话系统组
- 参考文档——剑桥课件
- 参考文档——Stanford 对话和语言处理
- 产品参考——国内——yige.ai
- 产品参考——国内——ruyi.ai
- 产品参考——国外——pandaorabots
- 产品参考——剑桥——pydial
- 开源实现——DeepPavlov
- 开源实现——chatterBot
- 开源实现——buboqa
- 得翻墙 api.ai
- 《机器学习实战》
- 《数据科学入门》
- 《Python自然语言处理》
- 《数学之美》
- 《数字图像处理》- russ
- 《python计算机视觉》
- 《OpenCV3计算机视觉 python语言实现》