I worked on an regulatory project called Open Insurance for a big Brazilian insurance company. My main responsibility was to implement new business rules in the transformations carried out by the data pipelines.In addition to the usual activities of a data engineer, I also led the deployment request process in the project, opening these requests and providing the requested items to the change management team.The main tools I have been using at CI&T are:- Databricks- PySpark- Python- Delta Lake- Apache Kafka- Git- Docker- LinuxAnd these are the technical topics I've had the most exposure to so far:- Delta or Medallion and Lambda architectures- Lazy evaluation- Stream processing- Event and processing times- Partitioning- Gitflow- Data Lake and Data Warehouse- CAP Theorem- Object-oriented programming- Data pipeline testing with PySpark

Rede de laboratórios temáticos com o objetivo de catalisar e fomentar oportunidades de inovação e empreendedorismo de base tecnológica nas áreas do conhecimento do Ecossistema Ânima.

Participei do Programa de Bolsas da Compass Uol onde tive a oportunidade de vivenciar o dia a dia real de um profissional de dados por 3 meses.Durante a atuação exerci atividades variadas , que vão desde a consultas com sql e python em uma base de dados relacional para extrair métricas relevantes para o negócio, criação de dashboards com essas métricas , extração de dados da API do twitter até a criação do pipeline de dados que alimentam esse dashboard. As principais ferramentas que utilizei na Compass foram:- Python- SQL - Talend - AWS RDS- AWS EC2 - AWS Lambda Functios - AWS Glue e AWS EMR - AWS IAM E estes foram os pricipais tópicos abordados:- Arquiteturas Lambda- Principios de Big Data - ETL x ELT - Processamento em Batch e Streaming- Particionamento- Gitflow- Data Lake e Data Warehouse- Teorema CAP- Métodos para transformação de dados - Biblioteca pandas - Apache Spark - Apache Hadoop - Paradigma Map Reduce