O nosso empacotador de dados 📦
Na pasta datasets você irá encontrar as bases de dados que estamos disponibilizando. Ela segue a estrutura:
datasets
<orgao-publico>
<base-de-dados>
query.sql
tableschema.json
Os dados são coletados e armazenados pela Maria Quitéria. Você pode acessá-los em nossa página no Kaggle.
Para baixar os dados localmente você precisará ter configurado a variável de ambiente
DATABASE_URL (veja o arquivo .env.example).
Então execute o script seguinte passando como parâmetro o arquivo sql desejado e o nome escolhido:
python fetch_data.py datasets/prefeitura/licitacoes/query.sql
python fetch_data.py datasets/prefeitura/licitacoes/query.sql --filename licitacoes-da-prefeitura
O arquivo com o resultado será criado na mesma pasta do arquivo sql informado.
Por enquanto é feito de maneira manual. Dentro de cada diretório de datasets
você encontrará um query.sql com a query utilizada para exportação dos dados.
Utilizamos o Frictionless Data para criar o esquema de dados e, posteriormente, validá-los. Veja mais sobre o table-schema aqui.
Para validar um pacote de dados execute:
goodtables datasets/camara/assiduidade-dos-vereadores/datapackage-results.csv
É esperado que o arquivo esteja na mesma pasta que o seu table-schema.json.
Para contribuir você precisará ter instalado:
- Postgres 9+
- Poetry
Esse repositório segue o código de conduta e o guia de contribuição do Dados Abertos de Feira.
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent