Projeto de Pipeline de Dados Meteorológicos
📌 Descrição
Este projeto implementa um pipeline de dados meteorológicos que coleta automaticamente previsões de 7 dias para uma localidade específica, armazenando-as em um Data Lake local. O processo é orquestrado e agendado pelo Apache Airflow, sendo executado toda segunda-feira.
🎯 Objetivo
Automatizar a coleta e o armazenamento de dados meteorológicos, criando uma base consistente para análises climáticas e previsões futuras. O pipeline é modular e escalável, permitindo integração com novos destinos de armazenamento e visualização.
🧱 Estrutura do Projeto
- Extração: Coleta de previsões via API.
- Armazenamento: Salvamento em um Data Lake local.
- Orquestração: Automatização via Apache Airflow com execução semanal.
🛠️ Tecnologias Utilizadas
- Python 3.8+
- Apache Airflow (v2.3.2+)
- API Meteorológica Pública
- Data Lake Local
📦 Requisitos
- Python 3.8 ou superior
- Apache Airflow 2.3.2 ou superior
- Dependências no arquivo
requirements.txt
🚀 Instalação
git clone https://github.com/anselmoaxo/pipeline_meteorologia_airflow
cd pipeline_meteorologia_airflow
python -m venv venv
source venv/bin/activate # Linux/Mac
venv\Scripts\activate # Windows
pip install -r requirements.txt
airflow db init
airflow webserver --port 8080
airflow scheduler
📅 Agendamento
Executado automaticamente toda segunda-feira às 08h (UTC).
🙌 Contribuições
Contribuições são bem-vindas! Crie um fork, envie um pull request ou abra uma issue com sugestões.
🧑💻 Autor
Anselmo A. Xavier – Engenheiro de Dados
GitHub: @anselmoaxo