Ludmilla Vasconcelos Email & Phone Number

Sou um profissional altamente qualificado no desenvolvimento e otimização de pipelines de dados, com expertise abrangente em tecnologias essenciais para ambientes de Big Data. Minha experiência inclui a implementação eficiente de soluções utilizando Azure Data Factory, PySpark, Databricks, Apache Airflow, e Power BI, proporcionando processamento de dados escalável e eficaz. Atualmente, estou engajado em um projeto inovador na área de biodados, onde lidero a integração de processos automatizados dentro de contêineres Docker, hospedados em máquinas virtuais, utilizando Apache Airflow para orquestração precisa e eficiente das tarefas.Principais Competências:-Azure Data Factory: Construção e manutenção de pipelines de dados robustos no ambiente Azure, assegurando operações fluidas e confiáveis.-Databricks: Emprego de funcionalidades avançadas do Databricks para otimizar o processamento de grandes volumes de dados.-Apache Airflow: Coordenação eficaz de workflows automatizados, com experiência recente em sua implantação dentro de contêineres Docker para projetos de biodados, garantindo flexibilidade e escalabilidade.-PySpark: Habilidades avançadas no processamento de dados distribuídos, crucial para a manipulação eficiente de grandes datasets.-Power BI: Criação de dashboards interativos e informativos, utilizando linguagens como DAX e PowerQuery para extrair insights valiosos.-Modelagem Dimensional: Especialização em esquemas Star e Snowflake, otimizando a organização e recuperação de dados.

• 

  Engenheira De Dados

  Dataverse

  Jan 2022 - Present - Rio De Janeiro, Brasil

  Em meu papel como Profissional de Dados, tenho desempenhado um papel crucial na equipe, contribuindo significativamente para a construção e otimização dos pipelines de dados no ambiente Azure Data Factory. Minha atuação abrange todas as fases vitais do processo, desde a etapa inicial de Stage até a fase final de Refined.Minhas principais responsabilidades incluem a arquitetura e implementação de pipelines de dados, onde utilizo Python e Pandas para assegurar a integridade e qualidade dos dados processados. Destaco-me na coordenação efetiva das tarefas e processos utilizando Apache Airflow, otimizando a execução e monitoramento das operações diárias de forma eficaz.Minhas habilidades avançadas em PySpark têm sido essenciais para o processamento eficiente de grandes conjuntos de dados distribuídos, garantindo a escalabilidade das operações em ambientes de Big Data. A utilização estratégica do Databricks como parte integrante das soluções tem sido uma prática recorrente, aproveitando sua escalabilidade e recursos avançados para otimizar operações em larga escala.Na visualização de dados, destaco-me na criação de dashboards informativos no Power BI, aplicando as linguagens DAX e PowerQuery para extrair insights valiosos de conjuntos de dados complexos. Esses dashboards têm sido ferramentas fundamentais para fornecer à equipe e à organização uma visão clara e acionável dos dados.Minha especialização em modelagem dimensional, utilizando esquemas Star e Snowflake, tem sido um diferencial, maximizando a eficácia na organização e recuperação de dados. Ao longo de minha trajetória, liderei projetos que resultaram em operações mais eficientes e insights valiosos para a organização.A integração eficaz de tecnologias como Azure Data Factory, Databricks, Apache Airflow e PySpark tem sido crucial para o sucesso desses projetos.

• 

  Estácio

  Analise E Desenvolvimento De Sistemas