notending / wenshuapp Goto Github PK

感谢您的分享！最近我在使用您的方法对文书网进行爬取的时候，经过一段时间后所有的请求都返回了491而不是200。
2021-08-20 17:11:37 [scrapy.core.engine] DEBUG: Crawled (491) <POST http://wenshuapp.court.gov.cn/appinterface/rest.q4w> (referer: None) 2021-08-20 17:11:38 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <491 http://wenshuapp.court.gov.cn/appinterface/rest.q4w>: HTTP status code is not handled or not allowed
请问这种情况是不是因为访问过于频繁而被ban了呢，如果要避免这种情况有什么可能的方案呢

感谢您的代码！最近我正在爬取判决文书，请问在大规模爬取时不使用代理可行吗，使用代理是为了达到什么效果呢？

谢谢您分享代码，但请注意：您在wenshu_spider.py中泄露了代理订单号。如果是您付费使用的话，请保护好账户。