docker-web-scraping's Introduction

Docker for Web Scraping

Constroi Docker image para processos de web Scraping

Atualização de versão.

Após atualizações é necessário:

Atualizar a versão da imagem que será publicada no arquivo pyproject.toml, nas tasks image e container.
Atualizar a versão da imagem que será publicada no DockerHub no aquivo .github/workflows/main.yaml (final da última linha).

Task image é tanto pelo processo GitHub actions quanto para debug local. Task container pode ser utilizada para debug local.

Utilização docker

Comando docker images verifica images instaladas na máquina.
comando docker container ls -a mostra containers.
Comando docker rmi <image-id> remove uma imagem a partir no seu id.
Exemplo de utilização local do comando docker run: docker run -it --rm -v $PWD:/work_dir gabrielbdornas/docker-web-scraping:1.0.2 bash:
- Tag --rm remove o container após seu fechamento.
- Tag it e comando bash entra na máquina para testes.
- Tag -v compartilha pasta entre as máquinas.

docker-web-scraping's People

Contributors

Watchers

docker-web-scraping's Issues

Add chrome driver version to build image logs

Similar to what was made with google-chrome --version. But this suggestion is not working. It says Permission denied.

Improve image with needed updates

Errors like this and this are still happening, what make me think about updating versions, leaving all as updated as possible.

Updates

python docker tag version.
chrome version.
chrome drive version.

Other maintenances

remove trigger from pull_request in main.yaml action.
translate all documentation to English.
Improve documentation with this material.
clean the project, removing the folder scripts.
update docker image version.
answer this stackoverflow question suggesting using my docker image.

Adicionar instalação `requirements.txt` na inicialização do container

Incluir script para verificar se container tem arquivo requirements.txt caso tenha instalar.

Atualizar versão chrome-driver e chrome

Após este actions no repositório minha-assistente-pessoal recebi um erro de versão do google chrome:

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: cannot connect to chrome at 127.0.0.1:43499
from session not created: This version of ChromeDriver only supports Chrome version 116
Current browser version is 88.0.4[32](https://github.com/gabrielbdornas/minha-assistente-pessoal/actions/runs/6042372415/job/16397344698#step:5:33)4.96
Stacktrace:
#0 0x5611a464ee23 <unknown>
#1 0x5611a43777a7 <unknown>
#2 0x5611a43a6d48 <unknown>
#3 0x5611a439eb39 <unknown>
#4 0x5611a43dfd92 <unknown>
#5 0x5611a43df3af <unknown>
#6 0x5611a43d6de3 <unknown>
#7 0x5611a43aaa7b <unknown>
#8 0x5611a43ab81e <unknown>
#9 0x5611a4610638 <unknown>
#10 0x5611a4614507 <unknown>
#11 0x5611a461ec4c <unknown>
#12 0x5611a46151[36](https://github.com/gabrielbdornas/minha-assistente-pessoal/actions/runs/6042372415/job/16397344698#step:5:37) <unknown>
#13 0x5611a45e39cf <unknown>
#14 0x5611a46[38](https://github.com/gabrielbdornas/minha-assistente-pessoal/actions/runs/6042372415/job/16397344698#step:5:39)b98 <unknown>
#15 0x5611a[46](https://github.com/gabrielbdornas/minha-assistente-pessoal/actions/runs/6042372415/job/16397344698#step:5:47)38d68 <unknown>
#16 0x5611a46[47](https://github.com/gabrielbdornas/minha-assistente-pessoal/actions/runs/6042372415/job/16397344698#step:5:48)cb3 <unknown>
#17 0x7f1221f6eea7 start_thread

Devendo ser atualizado a versão do chrome para a 116.

Recommend Projects