cd docker
docker-compose up
- PostgreSQL, MongoDB автоматически запустит скрипты, для заполнения БД.
- Входим в airflow по адресу
localhost:8080
логин/пароль:airflow
/airflow
. - Заходим во вкладку DAGs и смотрим как они работают. Фактическни нужно подождать 1 минуту примерно, чтобы все инициализировалось и отработало.
- Login:
postgres
- Password:
postgres
- DataBase:
postgres
- Port:
5432
- Login:
root
- Password:
root
- DataBase:
mydatabase
- Port:
27017
- Login:
airflow
- Password:
airflow
- URL: http://localhost:8080
- Все что было в postgre, mongo и api -- мы передаем на слой
stg
как есть. - Затем мы парсим данные из json со слоя
stg
и передаем на слойdds
и раскладываем по таблицам. - После того как передали все данные, заполняем таблицу фактом
dds.dm_fact_table
. - Затем на основе данных из слоя
dds
получаем данные для витрины на слоеcdm
.
Все, что помечено оранжевым, не используется для витрины, но информация нужна для поддержания связей между другими таблицами, т.к. там FK (внешние ключи).