Ambiente para estudo dos principais framework de um ambiente moderno de dados utilizando docker.
- Instalação do Docker Desktop no Windows Docker Desktop ou o docker no Linux
- Instalação do git
- OBS: A primeira vez que o ambiente for iniciado, todas as imagens serão baixadas para a maquina local.
- Para executar todo o ambiente, o servidor/host deve possuir pelo menos 16GB de memória.
- É indicado subir apenas os containers para o worload que será utilizado/testado.
INICIANDO O AMBIENTE*
git clone https://github.com/fabiogjardim/mds.git
No Windows abrir PowerShell, do Linux um terminal e acessar o diretório mds
docker-compose up -d minio spark-worker
docker-compose up -d minio kafka-broker kafka-connect nifi postgres
docker ps
docker stop [nome do container]
docker stop $(docker ps -a -q)
docker rm [nome do container]
docker rm $(docker ps -a -q)
docker container inspect [nome do container]
docker-compose up -d [nome do container]
docker-compose up -d
docker container logs [nome do container]
- Minio http://localhost:9051
- Jupyter Spark http://localhost:8889
- Pinot http://localhost:9000
- Nifi http://localhost:9090
- Kafka Control Center http://localhost:9021
- Airflow http://localhost:8180
- Elastic http://localhost:9200
- Metabase http://localhost:3000
- Kibana http://localhost:5601
- Superset http://localhost:8088
- Trino http://localhost:8080
- CloudBeaver http://localhost:8010
Usuário: admin
Senha: admin
Usuário: [email protected]
Senha: admin
Usuário: admin
Senha: admin
Usuário: admin
Senha: admin
Usuário: admin
Senha: admin
Usuário: admin
Senha: admin
Usuário: admin
Senha: admin
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent