Weixin

Sougou Weixin Spider Using Proxy

weixin's Issues

各种连接错误

一直报各种连接错误（基本是这三种）
(MaxRetryError("HTTPConnectionPool(host='103.218.25.193', port=8080): Max retries exceeded with url: http://weixin.sogou.com/weixin?type=2&query=gakki (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x000001D18D534DD8>, 'Connection to 103.218.25.193 timed out. (connect timeout=20)'))",),)

(ReadTimeoutError("HTTPConnectionPool(host='190.2.110.180', port=8080): Read timed out. (read timeout=20)",),)

(MaxRetryError("HTTPConnectionPool(host='118.25.18.67', port=80): Max retries exceeded with url: http://weixin.sogou.com/weixin?type=2&query=gakki (Caused by ProxyError('Cannot connect to proxy.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)))",),)

看着自己的代理池应该没什么问题.....用崔神的码也是这样的问题......请教下到底是怎么回事....

还有最新的读者嘛，现在是不是搜狗改版了，一个节点代码如下

<li id="sogou_vr_11002601_box_1" d="ab735a258a90e8e1-6bee54fcbd896b2a-7131716be5bf751feae84264b7d40406">
<div class="img-box">
<a data-z="art" target="_blank" id="sogou_vr_11002601_img_1" href="/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6cwJThYulHEtVjXrGTiVgS3A2FvRU4J5IWHrv4eg0NlqqbPRDjCjDLVqXa8Fplpd91tUK76ZJA_s6LeroKYdI1p7TEAakfa8jZOEKUatKpSQipt-zzrKqJINbtI3LHayPA76LGoCm1xHAsYRmnP18D8FrdT5H3FiMHaApTK2nUS2TqbLjaZTjytPj8-rrdyQkMfeAMJPU2sLZLD3b0BRHPbHNr5aeqJkBneKpNGHxlNvRtmyIGw2VAg..&amp;type=2&amp;query=nba" uigs="article_image_1"><img src="//img01.sogoucdn.com/net/a/04/link?appid=100520033&amp;url=http://mmbiz.qpic.cn/mmbiz_jpg/GD4TgwHRQ55UBt2s99V8XW7kOdojYDicHDoXDVd2US7icrDiaIIjicGEICgRwSssbbrfeOWDLtKOx1eRQYwwRKVL7g/0?wx_fmt=jpeg" onload="resizeImage(this,140,105)" onerror="errorImage(this)" style="height: 105px; width: auto; margin-left: -53.5px;"></a>
</div>
<div class="txt-box">
<h3>
<a target="_blank" href="/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6cwJThYulHEtVjXrGTiVgS3A2FvRU4J5IWHrv4eg0NlqqbPRDjCjDLVqXa8Fplpd91tUK76ZJA_s6LeroKYdI1p7TEAakfa8jZOEKUatKpSQipt-zzrKqJINbtI3LHayPA76LGoCm1xHAsYRmnP18D8FrdT5H3FiMHaApTK2nUS2TqbLjaZTjytPj8-rrdyQkMfeAMJPU2sLZLD3b0BRHPbHNr5aeqJkBneKpNGHxlNvRtmyIGw2VAg..&amp;type=2&amp;query=nba" id="sogou_vr_11002601_title_1" uigs="article_title_1"><em><!--red_beg-->NBA<!--red_end--></em>竞猜红单分析:雷霆VS步行者</a>
</h3>
<p class="txt-info" id="sogou_vr_11002601_summary_1">竞猜篮球/篮球推荐/今日稳单<em><!--red_beg-->NBA<!--red_end--></em> 雷霆VS步行者按了关注才不会错过免费推单 最近不少朋友问,不买的时候怎么猜怎么对,一买就错...</p>
<div class="s-p" t="1575444531">
<a class="account" target="_blank" id="sogou_vr_11002601_account_1" i="oIWsFt6NAHY0L-cct0wmpICJzdtM" href="/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6EzDJysI4ql5MPrOUp16838dGRMI7NnPqDKOVM6mwV4dRA423AimXCQwvDqyjOWdzOpRfWMD1A3mLvJtyj4a8PRYNl5XSdr2gy1eR1Wqv0nC6q7VvGlQe4gnpslo5NQuvqhOGy47V7QN2vjHuSLs3KmpawEDDhACg74A0a9KQwUGsp6Jo_eQWVqUiiWOv1GPM&amp;type=2&amp;query=nba" data-headimage="http://wx.qlogo.cn/mmhead/Q3auHgzwzM6jPkbhWuIuKKQvhQ3yicWnql74EdD685TQKryrlDHiafkw/0" data-isv="0" uigs="article_account_1">篮球免费推荐</a><span class="s2"><script>document.write(timeConvert('1575444531'))</script>1小时前</span>
</div>
</div>
</li>

请问这是几句是什么意思

Weixin/weixin/mysql.py

Lines 29 to 31 in 713a0f1

 keys = ', '.join(data.keys()) 

 values = ', '.join(['%s'] * len(data)) 

 sql_query = 'insert into %s (%s) values (%s)' % (table, keys, values)

关于这个案例需要更新的地方

这个搜狗微信的案例代码作者写于两年前，现在已经有一些不适合的地方，需要稍作修改才能适用：
1、搜狗搜索出来的列表页的文章链接已经不是真正的文章链接，中间有个用js脚本执行的跳转，需要模拟这个跳转过程
2、除了要使用IP代理外，现在搜狗微信对Cookie也有要求，因此需要隔一段时间就要换Cookie，不然很容易就被搜狗封死了
3、文章详情页的文章发表日期已经不是#post-date里的内容，而是藏在js脚本里面动态生成的，需要用正则把它找出来

以上供大家参考

Recommend Projects

python3webspider / weixin Goto Github PK

weixin's Introduction

Weixin

weixin's People

Contributors

Stargazers

Watchers

Forkers

weixin's Issues

各种连接错误

这个代码可以改写成异步协程方式？asyncio+aiohttp

还有最新的读者嘛，现在是不是搜狗改版了，一个节点代码如下

数据库保存不了

现在不行了抓搜索框最新更新数据需要添加动态的refer

你好,这免费代理能获取到公众号文章的连接,却无法获取到公众号文章的内容哦

请问这是几句是什么意思

关于这个案例需要更新的地方

Recommend Projects

React

Vue.js

Typescript

TensorFlow

Django

Laravel

D3

Recommend Topics

javascript

web

server

Machine learning

Visualization

Game

Recommend Org

Facebook

Microsoft

Google

Alibaba

D3

Tencent

	keys = ', '.join(data.keys())
	values = ', '.join(['%s'] * len(data))
	sql_query = 'insert into %s (%s) values (%s)' % (table, keys, values)