yullin / python3-concurrency-pics-02 Goto Github PK
View Code? Open in Web Editor NEWThis project forked from wangy8961/python3-concurrency-pics-02
爬取 www.mzitu.com 全站图片,截至目前共4564个图集,13.7万多张美女图片,使用 asyncio 和 aiohttp 实现的异步版本只需要不到2小时就能爬取完成。按日期创建图集目录,保存更合理。控制台只显示下载的进度条,详细信息保存在日志文件中。支持异常处理,不会终止爬虫程序。失败的请求,下次再执行爬虫程序时会自动下载
Home Page: http://www.madmalls.com/blog/post/python3-concurrency-pics-02/