===========================================
- 获取**境内指定行政区域内（最小可精确到街道）的指定关键词的所有兴趣点 例如可以获取一个城市内所有的便利店、商场、超市、咖啡店等兴趣点信息
- 组合批量获取**境内多个行政区域内多个关键词的所有兴趣点信息
- 将所有采集到兴趣点数据存储到指定的
mysql数据库中
后续补充
-
1 安装
Twisted库，需要离线安装可以到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载相应python版本的Twisted 的离线文件
然后使用
pip install Twisted_xxxx版本.whl安装 -
2 安装pywin32
注意：如果使用virtualenv 环境，请参考此博客https://blog.csdn.net/qingche456/article/details/54587898
- 3 使用
pip install requirements.txt安装依赖库
注意：前提是必须先安装
Twisted库，不然安装时会报错
lxml==4.2.5
numpy==1.15.4
pandas==0.23.4
PyMySQL==0.9.2
pypinyin==0.33.2
requests==2.20.0
Scrapy==1.5.1
Shapely==1.6.4.post2
SQLAlchemy==1.2.12
yagmail==0.11.214
设置文件位置： china_region_pois_spider\BaiduMapWebApiSpier\settings.py
默认已经设置（但有次数限制1000/天），这个key主要用来调用行政区划边界api，1000/天其实是足够了。
高德地图开发平台：https://lbs.amap.com/
GaoDeMap_API_KEY = '182ad5d7061ed1e421091c22089c3677'
可移步申请：百度地图开放平台
ak_list = ['iMplFNfYyAf4e7EleegtObtcOZdliriG']
注意：这里是以个列表，你可以放置多个ak,程序会随机调用，调用前会检测ak是否有效，若无效自动使用列表中的下一个ak，直至使用完毕
region_name_list = ["成都市", "德阳市"]
query_word_list = ['大学', '咖啡馆']
# 设置mysql 信息
MYSQL_HOST = 'localhost' # mysql ip
MYSQL_USER = 'root' # mysql用户名
MYSQL_PASSWORD = 'test123456' # mysql用户名密码
MYSQL_DBNAME = 'test' # mysql 中数据库名，必须提前创建好
MYSQL_TableName = '' # 将要写入的数据库中的表名，若不存在会自动创建，若为空，则自动以"指定的区域名_bd_map_pois"命名
def send_email_163(subject, body, file):
# 配置163发送邮件的主体账户选项
yag = yagmail.SMTP(user='[email protected]', password='', host='smtp.163.com', port='465')
body = body
# 配置接收邮件的邮箱
yag.send(to=['[email protected]'], subject=subject, contents=[body, r'%s' % file])
直接运行根目录下的run.py即可：python run.py
你可以在这里找到我：夜雨微寒的个人主页
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent