kohn / httpproxymiddleware Goto Github PK

爬取的ip好像不能爬Https网站

def process_request(self, request, spider):
"""
将request设置为使用代理
"""
if self.proxy_index > 0 and datetime.now() > (self.last_no_proxy_time + timedelta(minutes=self.recover_interval)):
logger.info("After %d minutes later, recover from using proxy" % self.recover_interval)
self.last_no_proxy_time = datetime.now()
self.proxy_index = 0
request.meta["dont_redirect"] = True

博主我想问下这段代码中self.proxy_index = 0是什么意思呢?如果是将request设置为使用代理的话,设置self.proxy_index = 0,不就是使用零号代理(无代理)了吗?

我使用上面的代理去抓取点评的页面，运行几分钟后发生错误<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly，试过几次都是报同样的错误，所以想问下是代理IP不行吗？还是。。。

HttpProxyMiddleware中request.meta["proxy_index"]会报错，KeyError：‘proxy_index'.

看了源码，一直好奇，代理时，什么时候切换IP，尤其是当直连时，遇到服务器返回302 或者 403时，
貌似在parse中抛出异常，在process_exception中也捕获不了，想让它切换IP，希望能明示。