Giter VIP home page Giter VIP logo

Comments (10)

wangyi1573 avatar wangyi1573 commented on May 12, 2024

抖音分享的链接 无法获取到数据,例如:https://www.iesdouyin.com/share/video/7274129170744020284
需要将地址改造成如下的地址才可以https://www.douyin.com/video/7274129170744020284

from tiktokdownloader.

JoeanAmier avatar JoeanAmier commented on May 12, 2024

抖音分享的链接 无法获取到数据,例如:https://www.iesdouyin.com/share/video/7274129170744020284 需要将地址改造成如下的地址才可以https://www.douyin.com/video/7274129170744020284

第一个链接是怎么拿到的?

from tiktokdownloader.

wangyi1573 avatar wangyi1573 commented on May 12, 2024

我就在抖音的分享那点击复制URL得到的分享链接,多数时候得到是:https://v.douyin.com/**的短链接,那个链接不知道是什么情况下会给

from tiktokdownloader.

JoeanAmier avatar JoeanAmier commented on May 12, 2024

我就在抖音的分享那点击复制URL得到的分享链接,多数时候得到是:https://v.douyin.com/**的短链接,那个链接不知道是什么情况下会给

一般分享按钮拿到的链接都是 v.douyin,这种分享链接是支持的。

from tiktokdownloader.

wangyi1573 avatar wangyi1573 commented on May 12, 2024

昨天重现了,是分享按钮显示绿色的wechat图标时拿到的就是:[https://www.iesdouyin.com/share/video/***的链接

from tiktokdownloader.

vvyoko avatar vvyoko commented on May 12, 2024

批量下载账号 获取每一页数据时能不能检测下最后一条(最老)数据是否存在于 数据库中?
如存在则不继续抓取后续的页码减少请求,直接使用数据库中的数据?

from tiktokdownloader.

JoeanAmier avatar JoeanAmier commented on May 12, 2024

批量下载账号 获取每一页数据时能不能检测下最后一条(最老)数据是否存在于 数据库中? 如存在则不继续抓取后续的页码减少请求,直接使用数据库中的数据?

目前可以使用参数限制请求次数。

from tiktokdownloader.

vvyoko avatar vvyoko commented on May 12, 2024

@JoeanAmier
不是请求次数,限制请求它还是会遍历吧.
或者说限制页数,限制页数可能会有未完全下载,或不知道限制多少页的问题

每次更新的时候都会遍历所有页数.作品较多的非常耗时
第一次已经加载完所有数据了,并存入数据库了

后续更新再请求所有页面完全没必要呀,它已经存在于数据库中了
页数在前面的都是最新的
判断一下每一页最后一个存在于数据库中时后续的用数据库的内容就行了
这种情况下后续更新一般只要抓取一两页就够了

from tiktokdownloader.

vvyoko avatar vvyoko commented on May 12, 2024

刚想了下,可能是想简单了,文案之类的可能没变,但可能链接会变...
唉,可能还得自己来想办法
TikTokDownload是抓取一页下载一页
要临时中断还挺容易的

本脚本是一次性抓取所有页,对python也不熟悉
我得看看怎么样在抓取一页后临时加个判断,看看ID是否存在于IDRecorder.txt中.
存在多次就代表已经下载到历史位置了
可能还得反转抓取数据,从最老的开始下...

from tiktokdownloader.

JoeanAmier avatar JoeanAmier commented on May 12, 2024

@JoeanAmier 不是请求次数,限制请求它还是会遍历吧. 或者说限制页数,限制页数可能会有未完全下载,或不知道限制多少页的问题

每次更新的时候都会遍历所有页数.作品较多的非常耗时 第一次已经加载完所有数据了,并存入数据库了

后续更新再请求所有页面完全没必要呀,它已经存在于数据库中了 页数在前面的都是最新的 判断一下每一页最后一个存在于数据库中时后续的用数据库的内容就行了 这种情况下后续更新一般只要抓取一两页就够了

不是所有人都使用数据库格式储存数据;如果设置了发布日期限制,早于该日期的数据不会请求获取;如果有定制需求,建议二次开发。

from tiktokdownloader.

Related Issues (20)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.