sophonplus / chinesenlpcorpus Goto Github PK

搜集、整理、发布中文自然语言处理语料/数据集，与有志之士共同促进中文自然语言处理的发展。

Jupyter Notebook 100.00%

chinesenlpcorpus's Introduction

ChineseNlpCorpus

搜集、整理、发布中文自然语言处理语料/数据集，与有志之士共同促进中文自然语言处理的发展。

情感/观点/评论倾向性分析

数据集	数据概览	下载地址
ChnSentiCorp_htl_all	7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论	点击查看
waimai_10k	某外卖平台收集的用户评价，正向 4000 条，负向约 8000 条	点击查看
online_shopping_10_cats	10 个类别，共 6 万多条评论数据，正、负向评论各约 3 万条，包括书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店	点击查看
weibo_senti_100k	10 万多条，带情感标注新浪微博，正负向评论约各 5 万条	点击查看
simplifyweibo_4_moods	36 万多条，带情感标注新浪微博，包含 4 种情感，其中喜悦约 20 万条，愤怒、厌恶、低落各约 5 万条	点击查看
dmsc_v2	28 部电影，超 70 万用户，超 200 万条评分/评论数据	点击查看
yf_dianping	24 万家餐馆，54 万用户，440 万条评论/评分数据	点击查看
yf_amazon	52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据	点击查看

中文命名实体识别

数据集	数据概览	下载地址
dh_msra	5 万多条中文命名实体识别标注数据（包括地点、机构、人物）	点击查看

数据集	数据概览	下载地址
ez_douban	5 万多部电影（3 万多有电影名称，2 万多没有电影名称），2.8 万用户，280 万条评分数据	点击查看
dmsc_v2	28 部电影，超 70 万用户，超 200 万条评分/评论数据	点击查看
yf_dianping	24 万家餐馆，54 万用户，440 万条评论/评分数据	点击查看
yf_amazon	52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据	点击查看

FAQ 问答系统

数据集	数据概览	下载地址
保险知道	8000 多条保险行业问答数据，包括用户提问、网友回答、最佳回答	点击查看
安徽电信知道	15.6 万条电信问答数据，包括用户提问、网友回答、最佳回答	点击查看
金融知道	77 万条金融行业问答数据，包括用户提问、网友回答、最佳回答	点击查看
法律知道	3.6 万条法律问答数据，包括用户提问、网友回答、最佳回答	点击查看
联通知道	20.3 万条联通问答数据，包括用户提问、网友回答、最佳回答	点击查看
农行知道	4 万条农业银行问答数据，包括用户提问、网友回答、最佳回答	点击查看
保险知道	58.8 万条保险行业问答数据，包括用户提问、网友回答、最佳回答	点击查看

加入我们

愿景：以人工智能产品和技术服务 30 亿人
团队：极客精神、技术驱动，做有温度的技术，让世界更美好
产品：面向细分行业领域的自动营销机器人，客户需求旺盛，产品前景无限
职位：自然语言人机交互应用研究、自然语言处理算法工程师、系统架构师（人工智能产品）

chinesenlpcorpus's People

Contributors

Stargazers

Watchers

Forkers

lymcurry xianglizuel simmoncn cyy0523xc coeasy infinityfuture chenghuige chenjun0210 xhappy obaby liangsheng yndu13 amarry garrett-cn jiaqi18 ninedaywang bingtel nonva charlottesean wushicanasl yorkchu1995 mingleili moolighty fendaq iamzn havesupper dream1202 lhmzll artist100 1780041410 micahxie 1jasonzhang tianyikenan amoliu ericxsun dream5788 yulinlin0828 shannonyu allensmile mocha-pudding drganghe qiwsir robingong little1tow richardsun-voyager rolinston4 limengmingx liujiabing derekgrant haishuofang yifeixian lionxu feiwofeifeixiaowo zombie366 zouxiaoyuonly gongqingyi-github awesome-archive hulalazz yyht huguanglong yiyinianhua qiansi ycsuperlife weiyunfei zpeng1989 fword wybert studylzpvit joe2hpimn wishchen lplping skywindy zenghang cuitxubin colionx chenbing-ml demonsong greengrass2015 songxianjin x-hacker haiyunj1234 ahappycutedog changaolin lyjsz mrrabbit0o0 thelisq yutaoxxx excelsimon baizhengbiao wangjing0128 wibruce ikuangye benjamesbabala liudan8 mowayao someone-xsl freshzy zdsicecoco liu4lin jiniaoxu

chinesenlpcorpus's Issues

could I use it in bert and how I should do the preprocessing for the data? are emoticons out of vocabulary?

论文中可否引用该数据？

本科毕业论文想引用豆瓣影评中的一些数据。想请问本数据可否引用，若引用参考文献中怎么写才好？谢谢(#^.^#)

simplifyweibo_4_moods百度网盘无法下载

simplifyweibo_4_moods百度网盘无法下载，请问有新的下载链接吗？

百度知道(FAQ)里的数据，可否提供原始数据，不做任何处理的

yf_amazon数据集来源问题

您好，看到您在对yf_amazon数据集进行介绍时，描述的是“数据来源：亚马逊”，但是在原数据集地方写的是“JD.com E-Commerce Data，Yongfeng Zhang 教授为 WWW 2015 会议论文而搜集的数据”，在具体的数据集评论中发现确实存在“亚马逊”等字眼，所以想跟您确认一下yf_amazon数据集的来源，谢谢！

豆瓣评论限制问题

豆瓣的影评现在只能最多查看500页的信息，请问是怎么做到爬取数万条影评信息的呢？

分享100G中文数据

资源公布在https://github.com/pass-lin/misaka-writer/blob/main
其中100G中文数据里百分之九十以上都是小说
除了小说还有名人传记、百科等

Weibo senti 100k is very likely labelled by the emoticons

I downloaded this dataset(ChineseNlpCorpus/datasets/weibo_senti_100k) to train a model for chinese sentiment analysis. Upon treating this dataset I observed that 100% of the posts contain emoticons. Here is the distribution of the top10 emoticons according to the positive and negative polarity:

1013 emoticons in total. They are: [('泪', 44489), ('哈哈', 40510), ('嘻嘻', 22370), ('抓狂', 17262), ('鼓掌', 15923), ('爱你', 12685), ('怒', 12011), ('衰', 10466), ('晕', 9440), ('偷笑', 8375)]

710 emoticons in the positive set. They are: [('哈哈', 35764), ('嘻嘻', 20115), ('鼓掌', 14836), ('爱你', 11349), ('偷笑', 5223), ('太开心', 3820), ('可爱', 3809), ('心', 2122), ('赞', 1991), ('给力', 1976)]

695 emoticons in the negative set. They are: [('泪', 43248), ('抓狂', 16643), ('怒', 11830), ('衰', 10202), ('晕', 9022), ('哈哈', 4746), ('偷笑', 3152), ('蜡烛', 2887), ('汗', 2456), ('嘻嘻', 2255)]

I trained a very simple model to classify and I obtained 98% of accuracy in 2 epochs. Therefore, the emoticons have a strong bias in the classification. It led me to conclude that this dataset is not manually annotated. Probably whoever annotated the dataset manually classified some frequent emoticons and use them to tag the posts. Just saying for anyone who want to gather this data, you'd probably like to clean the emoticons out of it to avoid bias.

Peace!