micopes / aws_datalake Goto Github PK

• DB와 Data Lake, Data Warehouse에 대해 이해하였다.

• AWS의 종류와 동작 방법을 이해했으며, 어떤 때에 어떤 서비스를 사용해야 할 지 이해

• 이후에는 보안 관련이나 구체적인 AWS 서비스 각각의 사용법에 대해 공부한다.
• 아직 해당 서비스를 도입해야 겠다는 생각을 하지 않았으며 구체적인 사용법을 알아도 실습하는 것이 없으므로 따로 공부해야 하는데 AWS 만 사용할 이유가 없다.

중단 결정

• DB와 Data Lake, Data Warehouse에 대해 이해하였다.
• AWS의 종류와 동작 방법을 이해했으며, 어떤 때에 어떤 서비스를 사용해야 할 지 이해
• Amazon에서 제공하는 강의이므로 편향되어 있으며 다른 서비스의 장단점과 비교하여 특징을 설명해주지 않음.
• 그러나, Amazon에서 제공하는 서비스를 이해함으로써 Data Lake와 Data Warehouse 구축에 있어 필수적인 요소들을 이해할 수 있었다.
  • Metadata 관리(다양한 형식, 어떤 데이터가 있는지 모르거나, 시간이 지남에 따른 변경 사항으로 인해 Data Lake가 Data Swamp가 되지 않기 위해.)
  • 대용량 배치 처리/실시간 처리
  • 대규모 데이터 이동 및 변경
  • 시각화
    
    

[출처] Coursera 강의 - Introduction to Designing Data Lakes on AWS