hugomuniz94 / pipeline-etl-datalake-dw-sql Goto Github PK

Desafio Final do BootCamp de Engenharia de Dados do IGTI. Neste desafio utilizei o Airflow via Docker para orquestração do Pipeline de extração de dados do MongoDB e da API do IBGE, e ingestão no Data Lake S3 da AWS. Após isso os dados foram tratados e filtrados apenas para o público alvo para serem disponibilizados em um DW pelo RDS da AWS utilizando o banco de dados Postgree. Pipelines de Dados. Containers. Bases de Dados SQL e NoSQL. Conexão a APIs. ETL. Data Lake. Processamento de dados distribuído.