Engenheiro De Dados
CurrentResponsabilidades:• Identificar as necessidades de dados da organização e desenvolver soluções de infraestrutura de dados que atendam a essas necessidades;• Projetar, implementar e manter pipelines de dados eficientes e escaláveis para coletar, limpar, transformar e armazenar grandes volumes de dados.• Trabalhar com equipes de cientistas de dados, engenheiros de software e outros profissionais de tecnologia para desenvolver soluções de dados que suportem análises avançadas e… Show more Responsabilidades:• Identificar as necessidades de dados da organização e desenvolver soluções de infraestrutura de dados que atendam a essas necessidades;• Projetar, implementar e manter pipelines de dados eficientes e escaláveis para coletar, limpar, transformar e armazenar grandes volumes de dados.• Trabalhar com equipes de cientistas de dados, engenheiros de software e outros profissionais de tecnologia para desenvolver soluções de dados que suportem análises avançadas e aprendizado de máquina.• Desenvolver soluções de integração de dados que permitam que diferentes sistemas e aplicativos troquem informações e trabalhem juntos de forma eficaz.Ferramentas e linguagens utilizadas:• Python, Javascript, Java• Apache Airflow|GCP Composer;• Docker, Kubernetes• APIs REST• AWS RDS, Google BigQuery, PostgreSQL• AWS S3, GCP Cloud Storage• AWS Lambda, SNS, SQS• GCP Cloud Functions, PubSub, AppEngineProjetos importantes que estive envolvido:• Migração de dados entre versões de uma aplicação envolvendo vários micro-serviços e aproximadamente 80.000 clientes;• Criação de pipeline para simplificação e padronização da Ingestão de dados de várias ferramentas para o Datalake (Zendesk, Salesforce, TakeBlip, entre outras);• Modernização do Datalake usando ferramentas da Google; Show less