Colaboro diretamente para o crescimento e a performance do time de BI.Minhas principais responsabilidades incluem:- Criação e manutenção de um Data Warehouse utilizando Clickhouse, garantindo a escalabilidade e o desempenho das consultas.- Desenvolvimento e otimização de pipelines de dados com Airflow, tanto em ambientes Composer quanto on-premise.- Elaboração e atualização de datasets para relatórios dinâmicos no Power BI, permitindo uma visão clara e estratégica dos dados.- Processamento de dados utilizando Python, com foco em automação e eficiência.- Implementação de fluxos de dados em tempo real via Kafka, oferecendo soluções de streaming de dados de alta confiabilidade.- Extração de dados via APIs para análise, democratizando o acesso e insights para o time de analistas.- Manutenção e otimização do banco de dados MySQL, focando em desempenho de consultas e redução de custos.- Monitoramento do Google Kubernetes Engine (GKE) em produção, ajustando o cluster para máxima eficiência e otimização de custos.- Versionamento de consultas no Data Warehouse utilizando DBT, trazendo boas práticas de desenvolvimento para o time de dados.- Suporte contínuo ao time de BI no uso de Power BI, facilitando a criação de relatórios e dashboards impactantes.

Atualmente, sou o único engenheiro de dados da minha equipe, responsável pela automação de tarefas, especialmente a automação de planilhas do Google Sheets. Para isso, utilizo duas VPS e Docker para preparar o ambiente de trabalho. As principais tecnologias que utilizo incluem Airflow, Python, Pandas e MySQL.Tenho orgulho de dois projetos em particular:Bot de Apostas em Tempo Real: Desenvolvi um bot que envia apostas em tempo real, otimizando a eficiência e a precisão das informações compartilhadas com a equipe.Orquestração de Workflows com Airflow: Criei e gerencio a orquestração de mais de 120 DAGs usando Airflow. Esse projeto envolve extração de dados via web scraping, transformação dos dados em Excel e carregamento automatizado desses dados em uma pasta. Também desenvolvi um site para facilitar a requisição das planilhas pelo meu colega de equipe, tornando o processo completamente automatizado. Link para o site http://191.252.192.34:8888/.Com minha expertise em automação e gerenciamento de dados, busco continuamente melhorar a eficiência e a eficácia das operações da minha equipe.

Nesse trabalho, era responsável por desempenhar um papel crucial na extração de dados, criando crawlers e garantindo sua manutenção dentro do ambiente do Airflow. Minha expertise se concentra em utilizar a linguagem Python, em conjunto com a biblioteca "requests", para desenvolver crawlers eficientes e eficazes.Minhas principais responsabilidades incluem:Desenvolvimento de Crawlers: Crio crawlers personalizados para coletar dados de várias fontes da web. Isso envolve a análise de estruturas de páginas da web e a implementação de scripts Python que utilizam a biblioteca "requests" para fazer solicitações HTTP e extrair informações relevantes.Manutenção Contínua: A manutenção é fundamental para garantir que os crawlers funcionem sem problemas. Faço atualizações regulares para lidar com mudanças nas fontes de dados, ajustar algoritmos de extração e garantir que tudo esteja em conformidade com as melhores práticas.Integração com Airflow: Utilizo o Airflow como uma plataforma robusta para agendar e orquestrar as execuções dos crawlers. Isso garante que as tarefas de extração de dados sejam realizadas de forma programada e confiável.Otimização de Desempenho: Constantemente busco maneiras de otimizar o desempenho dos crawlers. Isso inclui a implementação de técnicas de concorrência para acelerar a coleta de dados e a redução de possíveis problemas de bloqueio.Monitoramento e Logging: Estabeleço sistemas de monitoramento e logging para rastrear o desempenho dos crawlers e identificar problemas rapidamente. Isso ajuda a garantir a integridade dos dados coletados.Colaboração com a Equipe: Trabalho em estreita colaboração com outros membros da equipe para entender as necessidades de extração de dados e garantir que os crawlers atendam aos requisitos estabelecidos.Minha dedicação e experiência em criar e manter crawlers de extração de dados usando Python e o Airflow são recursos valiosos para garantir que as informações essenciais sejam adquiridas!

Estagiário não remunerado.Auxilio no desenvolvimento de sistemas para aplicações comerciais, usando as seguintes ferramentas: Visual basic 6, SQL, Microsoft Access, Microsoft SQL server.