一段奇怪的报错 about haipproxy HOT 5 CLOSED

然后大概抓了一百多个IP后自己中断了
haipproxy_1 | 2018/03/10 09:55:07| Closing HTTP port [::]:3128
haipproxy_1 | 2018/03/10 09:55:07| storeDirWriteCleanLogs: Starting...
haipproxy_1 | 2018/03/10 09:55:07| Finished. Wrote 0 entries.
haipproxy_1 | 2018/03/10 09:55:07| Took 0.00 seconds ( 0.00 entries/sec).
haipproxy_1 | Aborted (core dumped)
haipproxymaster_haipproxy_1 exited with code 134

过会再请求IP就变回0了

from haipproxy.

这几个地方你确认一下
(1)你看看redis中的ip的情况，推荐用redisdesktopmanager
(2)你的squid是否做了权限处理，如果你的squid暴露在了公网且没给它设置访问控制权限，那么恭喜你，你的服务器肯定被端口扫描器扫描了，也就是充当肉鸡了。这种情况可以查看为squid设置访问权限
(3)确实可能出现ip空缺的情况，但是这个情况是极少的，这种情况下py_cli会降低筛选IP的要求，但是貌似在squid那段代码中忘了做标准降低处理了。所以导致某些时候取出来的代理为0

from haipproxy.

第一点我等下看看
关于第二点，我之前就注释掉了Dockerfile里的
RUN apt install squid -yq
RUN sed -i 's/http_access deny all/http_access deny all/g' /etc/squid/squid.conf
RUN cp /etc/squid/squid.conf /etc/squid/squid.conf.backup
这三行squid相关的，不过Run.sh里的squid-update.py没有注释
因为我用不到squid，也不太符合我的需求，所以想请教一个官方的关闭或者不安装DOCKER里的squid的方法，谢谢

from haipproxy.

你给的日志不就是squid的日志吗

haipproxy_1 | 2018/03/10 09:55:07| Closing HTTP port [::]:3128

明显3128这个端口就是squid的端口。

按理说你注释掉了squid的安装命令，怎么都不会启动squid了。

如果你不想安装squid的话，除了把Dockerfile的相关内容删了，也把run.sh中的内容改为:

#!/bin/bash
nohup python crawler_booter.py --usage crawler common > crawler.log 2>&1 &
nohup python scheduler_booter.py --usage crawler common > crawler_scheduler.log 2>&1 &
nohup python crawler_booter.py --usage validator init > init_validator.log 2>&1 &
nohup python crawler_booter.py --usage validator https > https_validator.log 2>&1&
python scheduler_booter.py --usage validator https

这种形式。

然后你用telnet或者docker exec看看吧，这样应该squid是没有的。

然后你看看会不会出现你这个问题。

from haipproxy.

经测试，就算去掉run.sh里的以及dockerfile里的，squid的服务还是会被启动，还是会变成代理，很怪。
所以还是希望大佬增加选项，让用户可选安装squid。不然如果没改端口，估计很多布这个IP池的都被用作他用了。
另外，提醒其他用户splash的host端口也要记得改。
辛苦大佬了

from haipproxy.