douyin_parse
抖音短视频解析 在网上看过一些论坛帖,有一些解析抖音无水印视频的教程。说是教程,其实大部分都是提供接口,或引流或卖接口。我想看看究竟是怎么实现的去水印。立帖记录全过程。
1.浏览器分析
从抖音短视频中分享一段视频。可以得到:
#在抖音,记录美好生活#再见,武汉!战“疫”英雄要回家了。一路平安~https://v.douyin.com/WuRMPV/ 复制此链接,打开【抖音短视频】,直接观看视频!
我将这段文字中的链接部分复制下来,在浏览器打开。并使用开发者工具调试。
可以看到在video标签中存在一个链接。
https://aweme.snssdk.com/aweme/v1/playwm/?video_id=v0200fba0000bpo4s1b82vu9dp4ehlog&line=0
发现仍然是带水印的视频,而且页面重定向成了新地址:
http://v6-dy-y.ixigua.com
/8d090338ca04948b648bb7e4ba0b215f/5e72da81/video/tos/hxsy/tos-hxsy-ve-0015/832e6e52408d4c1e931b763b152e5d21
/?a=1128&br=0&bt=2405&cr=0&cs=0&dr=0&ds=3&er=&l=202003190935350101940982142734B1FC&lr=aweme&qs=0&rc=am9oc
zx5OzQ3czMzZGkzM0ApODVpNzk8OWRmNzVnM2g1N2dsZTFhci9fcGxfLS1fLS9zczM0Yl8vMzVfYGBhNmItYTE6Yw%3D%3D&vl=&vr=
分析之前的地址:
https://aweme**.snssdk.com**/aweme/v1/playwm/?video_id=v0200fba0000bpo4s1b82vu9dp4ehlog&line=0
包含playwm 后面的wm是什么意思?将playwm改成play,并将请求的User-Agent修改为手机。便得到了无水印版本的视频。手动操作部分结束!
2. 代码实现
先测试一下下载流媒体。
def download(video_url, file_name):
r = get_resp(video_url)
with open(file_name, 'wb') as mp4:
for trunk in r.iter_content(1024 * 1024):
if trunk:
mp4.write(trunk)
调用之后可以正常下载视频。所以可以放心写爬虫获取到这个真实地址了。剩下的按照第一步的手动操作即可。
遇到了一个大问题,即在初始页面上没有视频地址,必须点击一下按钮,才会跳出。故直接用XPATH会找不到要的链接。怎么办呢?首先想到模拟点击,但是这样我就需要使用selenium(或许有更好的办法我想不到),这样就会让程序庞大不少。非我所愿。 仔细观察页面,发现页面下方的js有这样一段:
$(function(){
require('web:component/reflow_video/index').create({
hasData: 1,
videoWidth: 720,
videoHeight: 1280,
playAddr: "https://aweme.snssdk.com/aweme/v1/playwm/?s_vid=93f1b41336a8b7a442dbf1c29c6bbc561699c13ffb2ce3cacb960e9bcb7c0b8f9f0ec410108d165bd0bfd2b83c1070676ccafc940fd5dc933ea73704a90e4faf&line=0",
cover: "https://p3.pstatp.com/large/tos-cn-p-0015/584d6a06932940998a1decc057ab2978_1584418313.jpg"
});
});
这不就把地址封面直接给我了吗。实在有种“得来全不费功夫”的感觉! 写一个函数来解析js:
# 从script中获取真实视频地址
def findUrlInScript(script):
test = script.split('playAddr: "', 1)
test = test[1].split('",', 1)
like_link = test[0]
link = like_link.replace('playwm', 'play').strip()
return link
给文件命名:
id = et.xpath("//*[@id='pageletReflowVideo']/div/div[2]/div[2]/div/div[2]/p/text()")[0].split('@')[1]
content = et.xpath("//*[@id='pageletReflowVideo']/div/div[2]/div[2]/p/text()")[0]
content = content.split('#')[0].split(',')[0].split('。')[0].split('?')[0].split('?')[0].split(',')[0].split('!')[0].split('!')[0]
name = id + ':' + content + '.mp4'
随便测试一个,已经可以下载到根目录了。为了工整,还是创建一个文件夹用于保存吧~
if not os.path.exists(path):
os.mkdir(os.getcwd() + '\\douyin_download')
os.chdir(path)
测试确实把水印去了,至此,核心功能已经全部实现,编写总代码~~~
3. 最后一步 封装
从来没有用过python的用户界面,但是这次想发到论坛,所以还是简单做一个用户界面方便使用吧。 口碑比较好的似乎是PyQt,试一下吧~
工具还是比较好的,但是我第一次用,所以界面比较丑,也存在一些小bug,比如说错误的链接会闪退~下个版本再更新吧
最终代码已经上传到github上,看到的帮我点个star吧~ 源码及成果