Comments (10)
抖音分享的链接 无法获取到数据,例如:https://www.iesdouyin.com/share/video/7274129170744020284
需要将地址改造成如下的地址才可以https://www.douyin.com/video/7274129170744020284
from tiktokdownloader.
抖音分享的链接 无法获取到数据,例如:https://www.iesdouyin.com/share/video/7274129170744020284 需要将地址改造成如下的地址才可以https://www.douyin.com/video/7274129170744020284
第一个链接是怎么拿到的?
from tiktokdownloader.
我就在抖音的分享那点击复制URL得到的分享链接,多数时候得到是:https://v.douyin.com/**的短链接,那个链接不知道是什么情况下会给
from tiktokdownloader.
我就在抖音的分享那点击复制URL得到的分享链接,多数时候得到是:https://v.douyin.com/**的短链接,那个链接不知道是什么情况下会给
一般分享按钮拿到的链接都是 v.douyin
,这种分享链接是支持的。
from tiktokdownloader.
昨天重现了,是分享按钮显示绿色的wechat图标时拿到的就是:[https://www.iesdouyin.com/share/video/***的链接
from tiktokdownloader.
批量下载账号 获取每一页数据时能不能检测下最后一条(最老)数据是否存在于 数据库中?
如存在则不继续抓取后续的页码减少请求,直接使用数据库中的数据?
from tiktokdownloader.
批量下载账号 获取每一页数据时能不能检测下最后一条(最老)数据是否存在于 数据库中? 如存在则不继续抓取后续的页码减少请求,直接使用数据库中的数据?
目前可以使用参数限制请求次数。
from tiktokdownloader.
@JoeanAmier
不是请求次数,限制请求它还是会遍历吧.
或者说限制页数,限制页数可能会有未完全下载,或不知道限制多少页的问题
每次更新的时候都会遍历所有页数.作品较多的非常耗时
第一次已经加载完所有数据了,并存入数据库了
后续更新再请求所有页面完全没必要呀,它已经存在于数据库中了
页数在前面的都是最新的
判断一下每一页最后一个存在于数据库中时后续的用数据库的内容就行了
这种情况下后续更新一般只要抓取一两页就够了
from tiktokdownloader.
刚想了下,可能是想简单了,文案之类的可能没变,但可能链接会变...
唉,可能还得自己来想办法
TikTokDownload是抓取一页下载一页
要临时中断还挺容易的
本脚本是一次性抓取所有页,对python也不熟悉
我得看看怎么样在抓取一页后临时加个判断,看看ID是否存在于IDRecorder.txt中.
存在多次就代表已经下载到历史位置了
可能还得反转抓取数据,从最老的开始下...
from tiktokdownloader.
@JoeanAmier 不是请求次数,限制请求它还是会遍历吧. 或者说限制页数,限制页数可能会有未完全下载,或不知道限制多少页的问题
每次更新的时候都会遍历所有页数.作品较多的非常耗时 第一次已经加载完所有数据了,并存入数据库了
后续更新再请求所有页面完全没必要呀,它已经存在于数据库中了 页数在前面的都是最新的 判断一下每一页最后一个存在于数据库中时后续的用数据库的内容就行了 这种情况下后续更新一般只要抓取一两页就够了
不是所有人都使用数据库格式储存数据;如果设置了发布日期限制,早于该日期的数据不会请求获取;如果有定制需求,建议二次开发。
from tiktokdownloader.
Related Issues (20)
- 提取作品 ID 失败 HOT 2
- 提取账号 sec_user_id 失败 HOT 1
- 关于配置文件的 HOT 1
- 获取账号作品一次是21个,怎么获取该账号下的所有作品? HOT 1
- name_format如果想支持 create_timestamp需要怎么改呀 HOT 2
- 下载完后保存在那里 HOT 6
- 为什么只有第一个视频是1080的,后面的视频都是574*1024 HOT 1
- 使用Pyqt 做一个可视化的工具 HOT 3
- DownloadRecorder一直提示下载记录数据可能已经丢失 HOT 3
- 下载直播只能一直下载吗?中间暂停不会生成文件吗 HOT 1
- English translation HOT 1
- 这样填写不对吗,下载的始终是第一个链接的作品 HOT 1
- 网页版tiktok可以登录 但是数据请求失败 网络环境是全局代理 HOT 3
- 试了两个抖音号 要批量下载一个抖音号的视频,但是报错如下 HOT 4
- 请添加英语语言 HOT 1
- 希望支持 docker 部署, 支持配置代理
- 抖音评论采集 HOT 1
- UnicodeEncodeError: 'latin-1' codec can't encode character HOT 1
- TK网页可登录,用的是v2rayNG全局,VMESS服务器,提取TK视频时候读取很久然后报错 HOT 2
- ~
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from tiktokdownloader.