← Voltar para projetos
Projeto

Pipeline ETL na AWS com Terraform

Descrição do Projeto

Pipeline de processamento de dados automatizada na AWS: armazena arquivos CSV no S3, cataloga com Glue Crawler, executa um Glue Job em PySpark para transformação e salva os resultados em outro bucket S3, com infraestrutura como código via Terraform.

Tecnologias Utilizadas

  • Terraform
  • Python
  • PySpark
  • AWS S3
  • AWS Glue
  • Athena