youth007 / weibo-public-opinion-analysis Goto Github PK

CSDN，52账号：灵海之森

环境：Python3.6

仅做学习交流使用！不收费，若发现搬运倒卖的，请私信我处理。

包含微博爬虫、LDA主题分析和情感分析三个部分。

新增话题热度、话题相似度部分。

新增地图可视化部分，数据由团队自行搜集。

1.微博爬虫

实现微博评论爬取和微博用户信息爬取，一天大概十万条。

2.LDA主题分析

实现文档主题抽取，包括数据清洗及分词、主题数的确定（主题一致性和困惑度）和最优主题模型的选择（暴力搜索）。

3.情感分析

实现评论文本的情感值计算，准确率超过97%，处于0到1之间。

4.话题热度计算

实现话题的热度的计算，同一时间内总和为1.

5.主题相似度计算

实现两个相邻时间片的话题的演化探测，以判断主题演化情况。

6.地图绘制

实现分省市情感均值、评论总数、新增确诊人数的地图可视化。