zouzanyan / douyin_crawl Goto Github PK

Traceback (most recent call last):
File "/Users/apple/Downloads/douyin_crawl-main/CrawlHome.py", line 157, in
c.get_home_video(user_in)
File "/Users/apple/Downloads/douyin_crawl-main/CrawlHome.py", line 79, in get_home_video
cursor = json_str["max_cursor"] # 当页页码
KeyError: 'max_cursor'

execjs._exceptions.ProgramError: TypeError: Cannot read property 'JS_MD5_NO_COMMON_JS' of null

首先非常感谢您的代码给予我的帮助！本人不太会这个 lssues 的格式。。🤣

CrawlMajority.py 文件中 get_video_info 方法：
pageurl = f'https://www.douyin.com/aweme/v1/web/aweme/post/?aid=6383&sec_user_id={self.sec_uid}&count=10&max_cursor={max_cursor}&publish_video_strategy_type=2'

在您给出的以上获取作者主页信息的链接中，我发现您的代码是通过判断响应数据中 has_more 是否等于1来进行下一次请求的，而下一次请求变更的 max_cursor 参数也是从响应中取得，但您使用的该 v1 版本链接中 max_cursor 抖音其实每次都是返回固定的（一个时间戳，可能是作者的注册日期之类的🤔），也就是说当请求执行到第二次的时候，您的代码会固定 break，这就导致获取到的用户视频信息永远只会有10条。我有尝试搜索，发现以往使用的 v2 版本链接中的确是通过 max_cursor 来进行分页的，本人不善于爬虫分析，所以提了一个 lssues，提醒一下，也想关注一下作者后续的分析思路

https://www.iesdouyin.com/aweme/v1/web/aweme/detail/?aweme_id=7261524574834134272&aid=1128&version_name=23.5.0&device_platform=android&os_version=2333

这个方案，现在不支持了