exata0mente / webscrapingcda Goto Github PK

Descrição

Motivo da issue: Fazemos a validação das colunas do data.frame através de um arquivo Cabecalhos.RDS que é atualizado automaticamente cada vez que uma obra é convertida em data.frame. Este processo é necessário pois o número de campos de cada obra varia.
Sugestão: Relembrar as aulas do Coursera e montar um cache para manter armazenado esta informação.

Descrição

Motivo da issue: Ao realizar a conversão de lista para data.frame há colunas que precisam ser seperadas conforme seu conteúdo. Exemplo a coluna Avaliação da Obra que possui 3 informações separadas por "|"

Influência direta em ...

função listaObras2csv

Observações em Geral

Erro gerado:
Warning message:
In (function (..., deparse.level = 1) :
number of columns of result is not a multiple of vector length (arg 1211)

Arquivo utilizado: Portinari

Descrição

Motivo da issue: Melhorar a extração dos dados de colunas aglutinadas com a expressão regular.
Sugestão: Dar uma olhada no pacote stringr e ler mais sobre expressões regulares.

Influência direta em ...

Todas as etapas de limpeza de campos de texto

Descrição

Motivo da issue: Uma das informações mais importantes não está separada exatamente em um campo. Ela aparece no campo de descrição sem ordem específica: Ou no começo do texto, ou no meio ou no fim. Há situações em que nem aparece.
Sugestão: Acredito que seja necessário "limpar" este campo várias vezes.

Descrição

Motivo da issue: Devido a problemas com o uso de vínculos do excel com arquivos CSV, o professor solicitou alteração do arquivo de saída para XLSX.
Sugestão: Ver biblioteca xlsx

Descrição

Motivo da issue: Esta mudança é necessária para que a integração dos dados realizada em EXCEL (VAMOS MUDAR ISSO!!!!!!!).
Sugestão: Ver funções de string

Descrição

Motivo da issue: Está saindo valores de vendas para obras que possuem status de não vendida. Não faz sentido

Descrição

Motivo da issue: Quando o conjunto de obras de um artista é grande acaba ocorrendo um time-out do login fazendo com que os dados venham com informações como "Somente para Assinantes".
É necessário verificar se este time-out é parametrizável e tratá-lo na etapa de mineração, seja com refresh ou retorno à pagina de login.

Sugestão: Utilizar o driver de simulação de navegador web para acompanhar visualmente.

Descrição

Motivo da issue: Há funções que foram implementadas no ínicio mas não são utilizadas nas versões atuais. Verificar então a manutenção destas e documentação das devidamente utilizadas

Descrição

Motivo da issue: Os valores de NA aparecem quando o dado de fato não existe (a informação não aparece) no site. Para manter a formatação da coluna como número, tratar os valores NA para 0.
Sugestão: Este tratamento foi realizado na issue #4 e pode ser usado na mesma forma aqui.