考虑如下方式：搜狗公众号可查询最新文章，如搜索<a href="https://weixin.sogou.com/weix

对于搜狗获取，情况如下：进度： 2021-12-22: 基于<code class

采集器：公众号文章获取 about liuli HOT 1 CLOSED

howie6879 commented on July 28, 2024

采集器：公众号文章获取

from liuli.

Comments (1)

howie6879 commented on July 28, 2024

对于搜狗获取，情况如下：

进度：
- 2021-12-22: 基于playwright的数据获取脚本基本完成
问题：
- 必须利用playwright调用浏览器的形式抓取，下面两种方式都可能会触发搜狗拦截，增加 Issue #31
  - playwright调用无头浏览器增加ua，测试可行
  - [默认使用此方案] 尝试用爬虫看看验证码触发限制如何，可行
- [备份方式解决] 获取的公众号文章链接有时长限制，但是只要在微信体系内打开，哪怕链接过期也会自动跳转到正确的链接，所以只要分发器用的是微信公众号也没事，哪怕是其他分发器，这个链接有效期也是比较长的，影响应该还好
  - 将目标内容备份，具体见Issue #20
方案：2021-12-22: 基于playwright调用无头浏览器增加ua的形式进行微信最新文章抓取

数据格式：

{
    "doc_author": "howie6879",
    "doc_content": "",
    "doc_ts": 1639702080,
    "doc_date": "2021-12-17 08:48",
    "doc_des": "本周推荐游戏程序员的读书笔记，致敬。",
    "doc_id": "bd998b9c43ba2d91fd6be9f833ecb634",
    "doc_image": "http://mmbiz.qpic.cn/mmbiz_jpg/YRBRJvZXcIVBtU4gtNsZrRQtDLDS725uEGsCGXHbq7GzfDK2KumHOSKkA6TiaWLia1co96EzPqHRoiac7w7wtqlkg/0?wx_fmt=jpeg",
    "doc_keywords": [],
    "doc_link": "https://mp.weixin.qq.com/s?src=11&timestamp=1640227638&ver=3513&signature=KSf-sAynN5L4LZlsLccoZvT7BT2C6BOcinT77piilqyZnDkcBAy8xpN5o1E8XIKNlBei5CiWNuWJ7e8OzqzyvsY6Fr-aF60Sc6mXJLExQrCNDgGf1V-F8LmOuyCxPVZv&new=1",
    "doc_name": "我的周刊（第018期）",
    "doc_source": "2c_wechat",
    "doc_source_account_intro": "编程、兴趣、生活",
    "doc_source_account_nick": "howie_locker",
    "doc_source_meta_list": [
        "howie_locker",
        "编程、兴趣、生活"
    ],
    "doc_source_name": "老胡的储物柜",
    "doc_type": "article"
}