Web Scraper escrito em python utilizando selenium web driver. Tem como objetivo automatizar a coleta dos resultados do jogo Double, gravando no mysql para posterior análise.
Ele foi feito para coletar dados que estão no DOM da página, em breve criarei um novo projeto com um jeito mais elegante de coletar tal informação.
- Mysql ou mariadb instalado com o seu usuário e senha em mãos;
- python3;
- Navegador Chrome;
-
Acessar o banco de dados com o gerenciador de sua preferência;
-
Rodar o script sql [
..db/script_cria.sql
] para criar o banco de dados e suas tabelas; -
Instalar os módulos necessários no projeto via shell: pip install selenium pip install python-dotenv pip install mysql-connector pip install webdriver_manager
-
Criar o arquivo [
.env
] com seus respectivos valores:URL_LOGIN=https://blaze.com/pt/?modal=auth&tab=login URL_DOUBLE=https://blaze.com/pt/games/double LOGIN=//Email de acesso ao sistema da blaze SENHA=//Senha de acesso DB_HOST=localhost DB_PORT=3306 DB_USER=//usuario do banco de dados DB_PASS=//senha do banco de dados DB_DATABASE=billy_blaze CHROME_PATH=//usr//bin//google-chrome-stable **path do executavel do chrome**
python3 fogo.py
Ao executar, ele vai abrir o chrome, navegar até o site da blaze, preencher o login e irá aguardar o usuário resolver o captcha. Ao resolver o captcha o mesmo irá coletar os resultados de forma automática.
Consultas úteis estão no arquivo [..db/querys/uteis.sql
]