Este repositório representa um passo adiante na minha jornada de manipulação de dados. Enquanto o projeto anterior focava em usar Python com Pandas para processamento de dados, este projeto explora a capacidade do Spark através da interface PySpark para lidar com grande volume de dados - Big Data. Ambos os projetos usam o mesmo dataset e abordam as mesmas demandas de negócio, tornando-os perfeitos para comparação. Se você está interessado em entender as diferenças, desafios e benefícios de cada ferramenta, recomendo fortemente que acompanhe ambos os projetos em paralelo.

As demandas deste projeto refletem as do projeto anterior baseado em Python/Pandas. A ideia é replicar as mesmas análises, mas agora com a potência do processamento distribuído do PySpark. Mais informações podem ser vistas no Projeto de Manipulação de Dados com Python

• PySpark: Framework principal utilizado para processamento distribuído de grandes conjuntos de dados.
  • SparkSession: Ponto de entrada para funcionalidades do Spark.
  • Functions (F): Conjunto de funções para operações e transformações em dataframes.
  • Data Types (como FloatType): Para definição e conversão de tipos de dados em colunas de dataframes.
  • Window: Para operações de funções de janela em dataframes.

• Dataset: Gas Prices in Brazil
• Descrição: O conjunto de dados reflete os preços médios semanais dos combustíveis no Brasil de 2004 a 2019.

• Notebook: manipulacao_dados_pyspark.ipynb

• output: Arquivos gerados durante a execução do notebook.

• dados: O dataset base do projeto: GasPricesinBrazil_2004-2019.csv

Se você estiver interessado em comparar as abordagens deste projeto com a versão Python/Pandas, confira o Manipulação de Dados com Python. Este projeto anterior serve como base para este e é uma excelente maneira de entender os contrastes entre as ferramentas e suas aplicações em cenários práticos.