Giter VIP home page Giter VIP logo

kr1s77 / awesome-python-login-model Goto Github PK

View Code? Open in Web Editor NEW
15.8K 15.8K 3.3K 18.22 MB

😮python模拟登陆一些大型网站,还有一些简单的爬虫,希望对你们有所帮助❤️,如果喜欢记得给个star哦🌟

License: Other

Python 100.00%
163mail-login bilibili-login douban-spider facebook-login github-login guoke-spider jingdong lagou-spider python selenium sina-spider spiders taobao-spider tuchong twitter-bot weixinbot zhihu-spider

awesome-python-login-model's Introduction

🎉Life is fantastic🥳!~


Master


"Did you know all your doors were locked?" - Riddick (The Chronicles of Riddick)


Branch Stars Forks License Awesome


Created by @kris


传送门

💕Website login model

一些爬虫示例程序,以及模拟登陆程序,模拟登陆基于 selenium,有些模拟登录基于 js 逆向,持续更新,有问题可以直接提交 Issues,欢迎提交 PR, 测试通过可以直接 merge,文中所有程序都是使用 python3 编写 :-)

About

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,bilibili等如果采用selenium就相对轻松一些。

虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来,然后调用requests或者scrapy等进行数据采集,这样数据采集的速度可以得到保证。

WebDriver

Chrome FireFox

Completed

catalogue

Test

Please touch here to view test images

Informations

  • 为感谢你们的支持,准备写一套免费爬虫的教程,保证你学会以后可以爬取市面上大部分的网站,教程地址

tips of pull request

  • 欢迎大家一起来 pull request 💗

Problems

  • 关于验证码:本项目所用的方法都没有处理验证码,识别复杂验证码的难度就目前来说,还是比较大的。以我的心得来说,做爬虫最好的方式就是尽量规避验证码。
  • 代码失效:由于网站策略或者样式改变,导致代码失效,请给我提issue,如果你已经解决,可以提PR,谢谢!
  • 正在对部分代码进行优化。。。
  • 如果该repo对大家有帮助,记得 star 哦。

Acknowledgments

@deepforce | @cclauss | ksoeasyxiaosi | JasonJunJun | MediocrityXT

  • 感谢以上开发者的支持和贡献。

联系我

注意:

  • 本项目仅用于学习和交流

欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远

awesome-python-login-model's People

Contributors

cclauss avatar deepforce avatar jasonlaw1994 avatar kagxin avatar kr1s77 avatar ksoeasyxiaosi avatar mediocrityxt avatar nlpsuge avatar srcres2581 avatar xclala avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

awesome-python-login-model's Issues

关于知乎模拟登录的问题

能否在爬虫代码的文件中加一个readme文件,大概介绍一下这个模拟爬虫的大概思路,例如知乎 这个我就不太懂login_data是怎么分析得到的······。

jd_login 试用商品有可能是string

Traceback (most recent call last):
File "Try_selenium.py", line 182, in
Control_try(SET['total_num_of_page'])
File "Try_selenium.py", line 116, in Control_try
get_try(page)
File "Try_selenium.py", line 87, in get_try
price = float(price_text)
ValueError: could not convert string to float: '无报价'

Github模拟登陆报错

老铁,Github那个模拟登陆显示下标越界啊。
File "/Users/fuli/vim_practice/github_bew.py", line 46, in post_param
'authenticity_token': self.get_param()[0],
IndexError: list index out of range

我重新解析了 authenticity_token,然后又是HTTP 422错误。。。

Bilibili代码的问题

1、第一个是识别出的轨迹一直定位在60,我找了一下发现是获取第二张图片的时候没有等待,获取的图片不带缺口,加了time.sleep后可以识别正确的位置
2、第二个是硬伤,也就是轨迹的设计,解析出的轨迹特别慢,不知道你那个动图是怎么来的,时间太慢一下子就识别出错。

关于163邮箱登录

似乎不可用了?
Debug后报错情况是Exception has occurred: selenium.common.exceptions.NoSuchFrameException
我看了一下,似乎是163邮箱页面的iframe id 变成了动态的形式了(x-URS-iframe加上一串数字)

京东试用筛选bug

我在试用您的京东试用时,发现Method_First choice.txt 中的筛选时并没有起到作用
,原因在于读取choice.txt读取为列表是最后会有一个空项,需要去除
我自己做了一些尝试,在Try_selenium.py 152行添加
choice_list = list(filter(None, choice_list))
即可正常使用筛选功能 ,
我没有使用ban 但可能那里也有错误
如果是我使用不当,请忽略一个入门新手的大胆尝试 ,谢谢您做的一切

dropbox注册

各种方式均会出现谷歌验证码,但是自己打开浏览器就没问题。不知道怎么造成的。

求解惑

def getUUID():
global uuid, session

url = 'https://login.weixin.qq.com/jslogin'
params = {
    'appid': 'wx782c26e4c19acffb',
    'fun': 'new',
    'lang': 'zh_CN',
    '_': int(time.time()),
}

请问 params 里面的参数是怎么获取的。我放在我本地运行总是报错。获取不到对的结果

求解惑

def getUUID():
global uuid, session

url = 'https://login.weixin.qq.com/jslogin'
params = {
    'appid': 'wx782c26e4c19acffb',
    'fun': 'new',
    'lang': 'zh_CN',
    '_': int(time.time()),
}

请问 params 里面的参数是怎么获取的。我放在我本地运行总是报错。获取不到对的结果

关于登录原理

如果有时间的话,是否可以用文档的形式分享一下是如何反向工程然后寻找到登录方法的?
或者,如果其他人看到你的代码,是否可以PR自己分析的原理文章?
谢谢!

豆瓣好像登不上了

之前行的,昨天想重新存一次cookie发现好像又不行了。看了一圈不知道什么问题。

淘宝代码有点问题

您好:
淘宝代码在32行代码self .browser = webdriver.Chrome(options = options)缺少一个executable_path参数,参数值为chromedriver。完整代码self.browser = webdriver.Chrome(executable_path="chromedriver存放路径",chrome_options=options)

模拟登录58

之前尝试登录58成功了,后来他们策略改变了,就没再成功,即使成功了,多试几次 就不行了。

天涯论坛模拟登入

万年不变的天涯论坛居然要模拟登入了,而且还整的挺高级,老铁,请求增援

知乎登录报错

execjs._exceptions.ProgramError: TypeError: 'exports' 未定义
定位不出来是哪错了

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.