DESENVOLVIMENTO E IMPLEMENTAÇÃO DE UM PIPELINE DE DADOS PARA MONITORAMENTO E NOTIFICAÇÃO DE EVENTOS CLIMÁTICOS EXTREMOS

Abstract

Este trabalho apresenta o desenvolvimento de um pipeline de dados voltado para o monitoramento climático em tempo real, utilizando tecnologias da Amazon Web Services (AWS) e ferramentas de processamento e análise de dados. O objetivo principal foi cons truir uma arquitetura robusta que permita a ingestão contínua de dados meteorológicos, seu processamento eficiente e a geração de alertas automáticos para eventos climáticos ex tremos, além da análise histórica por meio de ferramentas de Business Intelligence (BI). Para isso, foi implementada uma solução baseada em Kinesis Data Streams para captura e transmissão dos dados em tempo real, AWS Lambda para processamento imediato e Amazon Simple Notification Service (SNS) para notificação de alertas. Paralelamente, foi utilizado um pipeline em batch com armazenamento em Amazon S3, processamento com Apache Spark e armazenamento final em banco de dados PostgreSQL, orquestrado pelo Apache Airflow. O monitoramento da infraestrutura foi realizado com AWS CloudWatch, garantindo rápida identificação e resposta a falhas. Os dados processados foram dispo nibilizados para análises detalhadas no Metabase, possibilitando consultas como média diária de temperatura, vento médio diário, umidade média e detecção de eventos extre mos. A arquitetura medalhão adotada para o processamento em camadas Bronze, Silver e Gold possibilitou organização, limpeza e enriquecimento dos dados, garantindo qualidade e confiabilidade. Os resultados demonstraram a eficácia da arquitetura para cenários que exigem baixa latência e alta escalabilidade, além da importância do monitoramento con tínuo para manutenção da integridade do pipeline. O projeto contribui para o avanço das técnicas de monitoramento climático em tempo real, com potencial aplicação em diversas áreas que dependem de dados meteorológicos confiáveis.