爬取一个懒加载网页的所有图片到本地
- 去网站下载chromewebdriver.exe
- 跟chrome.exe放在同一个目录下
- 设置chrome.exe环境变量
在命令行模式下运行python getimg.py
由于不同的网站图片地址的后缀不一样,所以要根据图片地址的实际情况来对文件名进行处理
比如,以美食天下
这个网站为例,他们处理图片大小的方式是在图片地址后面加上?...
的方式,所有在格式化文件名称的时候要把问号后面的全部去掉,不然执行open方法的时候,打不开这个文件,提示Invalid Syntax
有了这个工具,对我们来说,模仿其他网站做项目将会有所帮助。