Este projeto consiste em entregar uma datalake com dados do Sistema de Informação Hospitalar (SIH) do DATASUS usando as ferramentas:

• Airflow (2.7.1)
• PySpark (3.5.1)
• MinIO (AGPL v3) 🦩
• Jupyter Lab

✅ Pipeline para ingestão de dados no formato dbc e transformados em csv na camada raw
❓ Processar dados da camada row para a bronze
❓ Processar dados da camada row para a silver
❓ Dashboard

Criar um ambiente centralizado e estruturado para armazenar e processar os dados do SIH, permitindo análises e insights.

Os dados brutos são armazenados na camada raw do MinIO 🦩

• ✅ Record Linkage Comparison Patterns https://bit.ly/1Aoywaq

Primeiro, você precisa construir uma imagem docker digitando make build. Depois disso, digite make start toda vez que quiser iniciar o serviço.

Após a conclusão do processo de construção e inicialização, digite make token e copie o resultado.

Acesse http://localhost:8888, cole o token no campo text/password e envie. Se tudo estiver certo, agora você tem acesso ao Jupyter Lab e pode criar scripts python normalmente.

Acesse http://localhost:9090 Usando o Apache Airflow como orquestrador para a ingestão de dados do nosso Data Lake.

• username: admin
• passsword: admin

Acesse http://localhost:9000 e faça login usando estas credenciais:

• username: minioadmin
• passsword: minioadmin

Agora você pode criar seus próprios buckets para salvar e manipular arquivos como um AWS S3 🍷.

Acesse http://localhost:8080 para inspecionar aplicativos e workers do PySpark (por padrão, o docker-compose.yml é configurado para executar 1 worker do PySpark com 1 vCore e 1 GB de memória cada).

Para inspecionar os estágios de execução, você pode acessar http://localhost:4040 durante a execução.

Para parar todos os contêineres, digite make stop no terminal e espere que todos eles sejam baixados.

Os exemplos estão no diretório workspace/ na raiz do projeto. Esta pasta é compartilhada entre a máquina host e o jupyter workspace em execução dentro do contêiner.