weststarqp / python3-spider Goto Github PK

This project forked from wkunzhi/python3-spider

🎯Python3爬虫实战、加解密、教程、原创工具 🎯 拼多多登陆解密、百度、大众点评字体解密、淘宝自动登陆、易贷、美团爬虫、中关村网、51Job、github 、逗游、查快递、5173交易平台、9377游戏网、空中网

Python 99.11% TSQL 0.89%

python3-spider's Introduction

Python3 Spider

Author	Zok
Email	[email protected]
日志博客	https://blog.zhangkunzhi.com
实战博客	https://www.zhangkunzhi.com

一、案例

二、教程

三、原创工具

此工具包在我另外一个项目中，欢迎 star

四、爬虫项目

各站案例
│
├── PinDuoDuo                           // -----拼多多解密-----
├── DianPing                            // -----大众点评-----
│   ├── parse_address_poi.py            // 坐标加密
│   └── parse_font_css.py               // CSS字体解密
├── ZhongGuanChun                       // ------中关村加密解析-----
├── 9377游戏平台                         // ------9377自动登陆-----
├── GitHub                              // ------GitHub-----
│   └── login.py                        // GitHub自动登陆
├── JingDong                            // -------京东-------
├── 9377                                // ---9377游戏平台自动登陆---
├── BaiDu                               // -------百度-------
│   ├── login.py                        // 登陆密码加密器
│   └── translation.py                  // 百度翻译
├── MeiTuan                             // -------美团-------
│   ├── get_login_cookies.py            // 基于pyppeteer登陆并获取cookies
│   ├── parse_play_areas.py             // 三级区域解析器(休闲板块)
│   ├── parse_play_info.py              // 休闲会所商铺数据解析
│   ├── parse_hotel_info.py             // 酒店基础数据解析
│   ├── parse_hotel_comments.py         // 酒店评论解析
│   ├── create_food_token.py            // 餐饮页Token生成器
│   ├── parse_food_comments.py          // 获取用户评论数据
│   └── parse_food_info.py              // 解析餐馆数据
├── TaoBao                              // -------淘宝-------
│   ├── login_for_sina.py               // 淘宝自动登陆-新浪入口
│   ├── auto_login_pyppeteer.py         // 淘宝自动登陆-淘宝账号
│   ├── login_for_pyppeteer.py          // 利用pyppeteer过webdriver检测
│   └── login_for_mitmproxy.py          // 利用mitmproxy过webdriver检测
├── wcbchina                            // -------万创帮-------
├── 5173                                // -------5173交易平台-------
├── BiliBili                            // -------BiliBili-------
│   └── login.py                        // 视频下载器
├── MeiTuanArea                         // -------基于美团全国区域采集器-------
├── KuaiDi                              // -------快递单号快速查询-------
│── 51Job                               // -------51job-------
│   └── select_job.py                   // 编码转换，岗位查询
└── RSA_AES_DES_DES3                    // 主流编码加密解密



原创工具
├── Proxy                               //      代理工具包 
│   ├── ZhiMaProxyPool.py               // 芝麻代理ip清洗工具
│   ├── ZhiMaProxyUseDemo.py            // 芝麻代理池客户端使用Demo
│   ├── XDLProxyPool.py                 // 讯代理ip清洗工具
│   └── XDLProxyUseDemo.py              // 讯代理池客户端使用Demo
├── Register                            //      注册类工具
│   └── MessageCode.py                  // 异步验证短信接收器
├── Cookies                             //      Cookies获取
│   └── MeiTuan                         // 异步并发批量获取美团登陆Cookies
├── DataMigration                       //      跨数据库迁移
│   ├── db                              // 基础数据库封装包
│   └── migration                       // 迁移器
├── Decode                              //      可拓展式解密器
├── Jsencrypt                           //      自动生成encrypt加密
└── README.md

Recommend Projects