Desenvolvimento de arquitetura de dados para suprimir demanda de informação de uma organização com diversos sistemas usando o Apache Airflow

Abstract

O ambiente empresarial atual é caracterizado por dinamismo e multidisciplinaridade, o que torna a gestão de dados um desafio. A evolução constante desse ambiente exige o acompanhamento eficaz por meio da disponibilização de informações íntegras, de qualidade e de fácil acesso. Diante desse contexto, é necessário desenvolver instrumentos que extraiam informações de diversos sistemas, promovendo a transformação de dados em informações e conhecimento, a fim de fomentar o processo de tomada de decisão nas organizações. O objetivo deste trabalho é desenvolver uma arquitetura eficaz e escalável capaz de validar, anonimizar, processar e integrar dados provenientes de sistemas diversos. Para automatizar esses processos, utiliza-se o Apache Airflow, com a linguagem Python, e os serviços da Microsoft Azure. O escopo do trabalho envolveu a utilização de dados do Health Insurance Marketplace, que são publicamente disponibilizados e contêm informações sobre planos de saúde e odontológicos nos Estados Unidos. A arquitetura desenvolvida demonstrou eficácia no escalonamento do projeto, permitindo a adição de novas bases de dados ao processamento dos dados sem a necessidade de modificações. Isso tem implicações significativas para as organizações, pois proporciona uma gestão de dados mais eficiente, escalável e constante, fornecendo uma base sólida para a tomada de decisões fundamentada nas informações dos resultados obtidos.