特性 | 技术架构 | 快速开始 | 使用说明 | 免责声明 | 常见问题 | 学习交流
🚀「闲鱼APP数据爬虫」一个基于uiautomator2的闲鱼APP爬虫项目,严禁将所得数据商用! 本项目只供学习使用,作者不承担任何由此带来的法律风险和损失!如果本项目对你有用,点个Start,方便回顾知识~
- 支持任意关键词采集
- 支持数据导出Excel
- 支持自定义上滑次数
- Python3.6+
- uiautomator2
- clone本项目代码
- 在项目根目录创建Python虚拟环境venv
cd xianyu_spider
pip install virtualenv
virtualenv venv
- 安装依赖库
pip install -r requirements.txt
- 本次使用的是uiautomator2和USB真机调试,请打开Android手机USB调试模式并连接到电脑
- 首次通过uiautomator2连接手机时,会自动在手机上安装一个小黄车APP
- 打开cmd输入
adb devices
获取设备ID
- 将设备ID输入xianyu.py的
d = u2.connect("设备ID")
中 - 运行
python xianyu.py
即可进行采集,如需更改采集数据,可更改main函数keyword即可main(keyword='餐饮券')
- 本次使用的是uiautomator2和USB真机调试,请打开手机USB调试模式并连接到电脑
- 本次只采集了每个商品的【标题、价格、图片】
- 如果想采集其他信息,可使用weditor进行调试,自行更改相应代码,命令行输入
weditor
自动打开调试辅助工具 - 程序运行完成后,会在当前目录下生成
YYYY-MM-dd结果.xlsx
电脑USB连接安卓设备;
1. 查看设备是否成功连接:adb devices
出现的真实设备名称在device前即连接成功;
2. 进入手机shell环境:adb shell
3. 赋予设备权限:chmod 775 /data/local/tmp/atx-agent
4. 后台启动atx-agent: /data/local/tmp/atx-agent server -d
如果输入adb devices
显示unauthorized表示usb调试模式授权有问题,按如下方式调整
1、手机里点击【撤销USB调试授权】
2、电脑上重启adb
adb kill-server
adb start-server
3、然后重新连接
请勿将xianyu_spider
应用到任何可能会违反法律规定和道德约束的工作中,请友善使用xianyu_spider
,遵守蜘蛛协议,不要将xianyu_spider
用于任何非法用途。如您选择使用xianyu_spider
即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。
扫码入群交流学习,如群二维码失效请加作者微信:FearlessMan888,备注:python群