arthur-dy-lee / dataprobe Goto Github PK
View Code? Open in Web Editor NEW主要负责从各种视频和新闻网站上爬取各种资料,这些网站包括但不限于抖音,bilibili, 小红书,视频号、百加号,今日头条,tiktok,youtube, facebook, reddit, x(tiwwer), instagram, 西瓜视频,百度新闻,163新闻,新浪新闻, cnn,Fox News,ABC News,CBS News,The New York Times,netflix等。我主要使用Python作为编程语言,并利用Scrapy等高效的工具来执行爬虫任务
License: MIT License