Repositorio criado para testar as funcionalidades da ferramenta dbt
Rodando o script build.sh
irá descompactar o arquivo .zip com as tabelas em formato csv, montar e iniciar os containers do banco e do dbt:
sh build.sh
Após todo o setup estiver pronto basta rodar o comando dbt seed
, que irá carregar os arquivos .csv em tabelas do banco:
docker exec -it dbt dbt seed
Rodar o comando dbt run
para executar as transformações das tabelas do schema raw para refined:
docker exec -it dbt dbt run
Para validar os resultados gerados basta rodar o comando dbt test
:
docker exec -it dbt dbt test
Para gerar e servir localmente a documentação dos models, sources e macros basta rodar os comandos dbt docs generate
e dbt docs serve
:
docker exec -it dbt dbt docs generate
docker exec -it dbt dbt docs serve
Algumas visualizações foram criadas em um dashboard utilizando o Apache Superset. Para acessar basta ir em http://localhost:8088/.