brenoguim / cpi4all Goto Github PK

Na tabela do site do senado existe uma coluna com descrição de cada arquivo, nomes e tudo mais. Esses dados estão todos coletados e guardados em database/rows. Seria interessante mostrar nos resultados da pesquisa também.

O desenvolvimento vai ficar mais facil se tiver uma CI que a cada commit no "main", roda o "docs/generate_content.py" e cria um commit em outro branch só com o index.html. Assim o index.html nao tem que ser alterado manualmente a cada novo txt adicionado

Notei que o conversor de PDF para PNG funciona muito melhor que de PDF pra JPG. A tarefa aqui é ajustar o pdf2jpg para ser um pdf2png e rerodar o OCR.

Notei tambem que o switch -flatten traz alguns problemas em arquivos com multiplas paginas. Elas ficam sobrepostas. Removendo esse switch, varios arquivos de imagem serão gerados (um pra cada pagina do documento). Será necessario ajustar os scripts para tratar documentos com multiplas paginas.

A pagina é criada pelo docs/generate_content.py. É um python que gera o html/JS com todo o conteudo de todos os txts embutidos. Isso permite que nao seja necessario um server.

O layout parece de uma pagina de 1995. Qualquer melhoria na aparencia será muito bem-vinda.

Seria interessante prover um script pra quem quer apenas ajudar a rodar um OCR ou outro no tempo livre.
A pessoa clona o repositorio, roda esse script com o numero de OCRs que quer rodar, e o script ira baixar o PDF, converter pra imagem, converter pro txt.
O proprio script poderia abrir uma issue automaticamente (PR seria o ideal mas é mais burocratico para leigos)

Essa estatistica pode incentivar que as pessoas refaçam pesquisas quando notarem que a pagina foi melhorada.

Nesse projeto algumas dependencias são necessarias. Seria interessante rodar o fluxo e documentar todas as dependencias necessarias.

Como temos muitos arquivos, seria interessante usar algum software de dicionario pra medir a qualidade de cada conversão. Seria inclusive util para evitar regressões

É interessante ter algumas estatisticas sobre o resultado da pesquisa.