Engenheiro De Dados
CurrentNa minha função atual, estou imerso no desenvolvimento e aprimoramento de pipelines de dados no Azure Data Factory, cobrindo desde a etapa inicial de ingestão até a análise refinada de dados. Essa função exige a aplicação de tecnologias avançadas como Hive e Spark, fundamentais para o processamento eficiente de grandes volumes de dados em ambientes Linux. Essa base sólida em sistemas operacionais Linux me permite otimizar a execução e segurança dos pipelines, garantindo alta disponibilidade e desempenho.Responsável pela arquitetura e implementação de soluções de dados, utilizo Python e Pandas em conjunto com o ambiente Linux para assegurar a precisão e a qualidade dos dados. A coordenação de tarefas e a otimização de processos são realizadas por meio do Apache Airflow, com uma integração profunda no sistema Linux, facilitando o gerenciamento eficiente das operações diárias.Com habilidades avançadas em PySpark, abordo o processamento de dados distribuídos, assegurando a escalabilidade das operações em ambientes de Big Data. A criação de dashboards informativos no Power BI, utilizando DAX e PowerQuery, é uma parte importante do meu trabalho, onde aplico minha experiência em Linux para manipular e preparar os conjuntos de dados antes da análise.A minha abordagem é fortalecida por um conhecimento profundo em análise de sistemas e lógica de programação, com uma base sólida em SQL avançado, tudo isso operando em sistemas Linux. A familiaridade com ferramentas de versionamento, como Git, complementa minha capacidade de colaborar e manter a integridade dos projetos em ambientes de desenvolvimento baseados em Linux.
