Databricks Data Engineer
Current• Desenvolvimento e implementação de pipelines de dados ETL para coleta, validação, transformação e armazenamento em camadas Bronze, Silver e Gold, utilizando Azure Data Factory, Databricks, Data Lake Storage Gen2 e Synapse Analytics.• Criação de scripts em PySpark e Spark SQL para integrar dados de APIs de saúde pública no Databricks, garantindo processamento eficiente e escalável.• Automatização de coleta e análise de dados de sistemas governamentais via web scraping com Python e Selenium, otimizando a extração de grandes volumes de informações.• Participação em reuniões com stakeholders para planejamento, alinhamento e negociação de entregas, traduzindo requisitos de negócios em soluções técnicas de dados.• Colaboração com equipes multidisciplinares para garantir a entrega de soluções de dados que atendam às necessidades dos usuários, com foco em governança e conformidade.• Aplicação de práticas de governança de dados para assegurar a qualidade e conformidade dos dados processados, implementando melhorias contínuas nos pipelines.