amorfati12 Goto Github PK

163spider

爬取网易客户端内容的小爬虫。

aiss-spider

爱丝APP图片爬虫，以及免支付破解VIP看图

anti-anti-spider

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

baidu-music-spider

百度mp3全站爬虫

bilibili-user

🍥 Bilibili 用户爬虫

cnblogsspider

用scrapy采集cnblogs列表页爬虫

cnkispider

**知网爬虫

distribute_crawler

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

doubanspider

豆瓣读书的爬虫

music-163

爬取网易云音乐所有歌曲的评论数

proxyspider

爬取http://www.xicidaili.com/上代理IP，并验证代理可用性

python-100-days

Python - 100天从新手到大师

python-spider

:rainbow:Python3网络爬虫实战：VIP视频破解助手；GEETEST验证码破解；小说、动漫下载；手机APP爬取；财务报表入库；火车票抢票；抖音APP视频下载；百万英雄辅助；网易云音乐下载；B站视频和弹幕下载；京东晒单图下载

python-spider-1

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

python_for_data_analysis_2nd_chinese_version

《利用Python进行数据分析·第2版》

pythondatasciencehandbook

Python Data Science Handbook: full text in Jupyter Notebooks

pythonspidernotes

Python入门网络爬虫之精华版

qqspider

QQ空间爬虫（日志、说说、个人信息）

scrapy_jingdong

用scrapy写的京东爬虫

sinaspider

新浪微博爬虫（Scrapy、Redis）

spider

社交数据爬虫

spider_learning

the-art-of-command-line

Master the command line, in one page

wechatsogou

基于搜狗微信搜索的微信公众号爬虫接口

wooyun_public

乌云公开漏洞、知识库爬虫和搜索 crawl and search for wooyun.org public bug(vulnerability) and drops