Estágio Analytics & Data Engineer
CurrentPrincipais Atividades:Orquestração e Automação de Workflows de Dados: Configuração e execução de cargas históricas com Apache Airflow e Databricks, integrando S3 para armazenamento e monitoramento de logs via EMR, facilitando a identificação de inconsistências.Armazenamento e Consulta de Dados: Gerenciamento de buckets no S3 para armazenamento seguro e uso do DynamoDB para consultas rápidas, complementando a arquitetura de dados.Análise e Estruturação de Dados: Desenvolvimento de queries personalizadas e views materializadas para otimização de consultas, além de análise exploratória para identificar padrões e inconsistências.Documentação e Transferência de Conhecimento (KT): Preparação de documentação e condução de sessões de KT para equipes de sustentação, assegurando transições organizadas e continuidade operacional.Modelagem e Visualização de Dados: Criação de diagramas de Modelos de Entidade-Relacionamento (MER) em Draw.io e desenvolvimento de visualizações de dados para apoiar a tomada de decisões estratégicas.Integração de Dados Internacionais: Gestão de grandes volumes de dados de múltiplos sistemas, adaptando-se às exigências legais internacionais para conformidade.Contribuições:- Otimização de processos de ingestão e análise de dados, aumentando a eficiência e integridade nas consultas.- Redução de inconsistências nos dados por meio de práticas de revisão e validação, elevando a precisão das informações.- Criação de documentação clara e condução de sessões de KT, assegurando que o conhecimento seja compartilhado e compreendido por todos.Competências:- Ferramentas e Tecnologias: Apache Airflow, Databricks, AWS (S3, EMR, DynamoDB), Bitbucket- Linguagens: Python, SQL- Gestão de Dados: Incremental e Full Loads, Views Materializadas, Análise Exploratória- Modelagem: MER (Draw.io), Visualização e Otimização de Dados- Documentação: Criação de Guias e Treinamento de Equipe