Diego Silva Email & Phone Number

Blumenau, Santa Catarina, Brasil

Atuo na área de Análise de Dados, gerando insights e valor tanto para o cliente quanto para o negócio. No meu dia a dia, utilizo diversas tecnologias e metodologias para garantir eficiência e precisão no processamento e análise de dados. As principais ferramentas que utilizo incluem:PostgreSQL | Airbyte | Arquitetura Medalion | Hive | Glue | Iceberg | S3 | Spark | EMR | EKS | Trino | Redshift | Power BI | Data Visualization | Athena | Airflow.

Curitiba, Paraná, Brasil

Conduzi um projeto desafiador e multifacetado que exigiu habilidades avançadas em desenvolvimento full stack e operações de DevOps. Meu papel principal foi orquestrar a implantação de uma solução robusta de visualização e manipulação de dados geoespaciais, envolvendo três contêineres Docker dedicados para otimizar a escalabilidade e a manutenção:Modelagem e ETL (usando python pandas) de Banco de Dados PostgreSQL: Projetei o esquema do banco de dados e implementei processos de ETL para assegurar a integridade e a eficiência dos dados geoespaciais, proporcionando uma base de dados sólida e confiável.Front-end AngularJS e Leaflet: Desenvolvi uma aplicação front-end intuitiva utilizando AngularJS, integrada com a biblioteca Leaflet para a apresentação interativa de camadas vetoriais. Essa interface foi cuidadosamente construída para oferecer uma experiência de usuário fluída e responsiva na visualização de dados geoespaciais.API Django: Criei uma API back-end utilizando o framework Django para intermediar as requisições entre o front-end e o banco de dados. A API foi essencial para o processamento de dados e garantia de uma comunicação eficiente e segura.Além do desenvolvimento, fui responsável por toda a configuração da infraestrutura de servidor na AWS. Isso incluiu:Configuração e gerenciamento de uma instância EC2 para hospedar a aplicação.Estabelecimento de um domínio personalizado e configuração do DNS para assegurar uma identidade clara e profissional.Implementação de um sistema de armazenamento S3 para gerenciamento/armazenamento de dados.

Itajaí, Santa Catarina, Brasil

🚀 Aqui estão algumas das responsabilidades e tarefas que assumi em minha jornada:1️⃣ Orquestração e Automação com Airflow: Auxilio a orquestração de tarefas e automatizações, garantindo que os processos da empresa sejam fluidos e eficientes.2️⃣ ETL com Python: Uso Python e Pandas para desenvolver scripts robustos de ETL, transformando e carregando grandes conjuntos de dados.3️⃣ AWS S3 & Data Lake: Organizo dados no AWS S3, incluindo a gestão de arquivos Parquet, criação de pipelines de integração SharePoint-S3 e sincronização entre buckets.4️⃣ Manutenção de Data Lake e DW: Garanto a integridade e organização de nosso data lake, gerenciando arquivos Parquet e data warehouses em SQL Server e PostgreSQL.5️⃣ Desenvolvimento de Dataflows: Atuo no desenvolvimento e manutenção de fluxos de dados utilizando ferramentas como AWS Glue, Athena, Crawlers, Power BI Online e Airflow.6️⃣ Scripts SQL: Mantenho e otimizo scripts SQL robustos para garantir a precisão e eficiência dos nossos sistemas.7️⃣ Visualização de Dados: Desenvolvo dashboards no Power BI que orientam a tomada de decisão em nossa cooperativa, transformando dados brutos em insights acionáveis.8️⃣ Automação com APIs: Automatizo processos integrando a API do Power BI Online e outras ferramentas da Azure, agilizando e ampliando as capacidades de nossos sistemas.Sinto-me honrado por poder contribuir ativamente para o crescimento e sucesso da organização. Estou sempre buscando aprender e me adaptar às novas tecnologias e melhores práticas. 🌐

São Paulo, Brasil

Desenvolvimento de soluções para o cliente (Instituição Bancária) que envolvem Análise de Dados, ETL, SQL Integration Services (SSIS), Analysis Services (SSAS) e Reporting Services (com visual studio 2008 e 2019 no contexto de updates e ajustes de relatórios bancários). Desenvolvimento de painéis dinâmicos usando SQL server 2012 e 2019, Power BI e Qlik Sense na área de analytics e Business Intelligence com grande volume de dados. Validação e homologação de atualizações e implementações de novos reports, acompanhamento de novos requerimentos de negócio, conduzindo a análise, desenvolvimento, documentação e manutenções evolutivas e corretivas junto ao Power BI, desenvolveu relatórios e administrou o fluxo de informações geradas por diversos sistemas e conduziu sua consolidação no Power BI, promoveu o engajamento dos colaboradores de outras áreas com a área de BI, realizando treinamentos para uso dos dashboards analiticos, desenvolveu planos de ações, baseados nas inferências dos dashboards que criou.

Brasília, Distrito Federal, Brasil

Desenvolvimento de Bibliotecas Python para Processamento de imagens de Satélite/Radar Sentinel 1. Uso de Docker para criação de ambiente isolado de desenvolvimento, versionamento com Git. Processamento em paralelo de dados usando biblioteca SITS (com linguagem R), conhecimentos de cubos de dados, OLAP, em colaboração com o Projeto Brazil DataCube – INPE/BRASIL.

Brasília, Distrito Federal, Brasil

Análise de dados com ETL, desenvolvimento de dashboards Power BI. Uso de SQL, SSAS, SSIS, SSRS,Power Query,Qlik Sense, DAX, Python, Qgis e PySpark. Atuação no projeto FIP Paisagens, construindodashboards de BI, desde levantamento e análise de requisitos até treinamento de equipe.

Belém, Pará, Brasil

Condução e liderança de processos que envolvem: processamento e classificação de imagens Landsat, Sentinel e Planet no contexto de sensoriamento remoto com utilização de técnicas de machine learning e deep learning, aplicadas principalmente na Plataforma Google Earth Engine e no framework TensorFlow e desenvolvimento back-end utilizando linguagens de programação Python e JavaScript.Recentemente conduziu e ajudou a desenvolver (em colaboração com outros profissionais) piplines de integração do Google Earth Engine com linguagem R para extração de estatísticas de biomassa de imagens georeferenciadas (RASTER) de classificação de uso de cobertura do solo.Liderança em desenvolvimento de API's REST usando Django, Django REST Framework, Docker/Docker-compose em servidores linux.Conhecimentos avançados de:Bases de dados geográficas;Programação em Python e/ou Javascript- Linux;- Docker; - NodeJS; - MongoDB;- PostgreSQL e PostGIS;- Git, Github e GitLab; - Bitbucket;- Google Cloud Platform (GCP);- Google Earth Engine; - SQL;-Tensor Flow;- Pandas e GeoPandas;- Numpy e GDAL;- Documentação com Swagger;- Scrum;- Django.

Belém, Pará

Aprofundamento em processamento e classificação de imagens Landsat, Sentinel e Planet no contexto de sensoriamento remoto com utilização de técnicas de machine learning e deep learning, aplicadas principalmente na Plataforma Google Earth Engine e no framework TensorFlow. Treinamento em desenvolvimento back-end utilizando linguagens de programação Python e JavaScript e API usando framework Django.Conhecimentos intermediários de:Bases de dados geográficas;Programação em Python e/ou JavascriptPostgreSQL/PostGIS;Processamento de imagens de satélite; eEcossistema Google Google (p.ex., Google Earth Engine, Google Earth e Google Cloud Plataform).Sistema Operacional Linux (Ubuntu).Conhecimentos básicos de:Software Qgis; Gdal;Numpy;Docker;Framework Django;Jupyter Notebook e Google Colab;Mapserver.O desafio deste cargo foi conduzir e desenvolver todo o processo de classficação da classe de infraesturtura urbana (usando o classificador Random Forest e tecnicas de extração, tranfromação, carregamento, treinamento de amostras) para a série temporal do Brasil (de 1985 a 2019) no projeto nacional Mapbiomas (https://mapbiomas.org/), link em anexo.

Belém

Mesma sequência de treinamento mencionada no cargo de técnico com a dição de:Conhecimentos básicos de:Bases de dados geográficas;Programação em Python e/ou Javascript;PostgreSQL/PostGIS;Processamento de imagens de satélite; Ecossistema Google (p.ex., Google Earth Engine, Google Earth e Google Cloud Plataform);Sistema operacional Linux.

Sequência posterior ao estágio, com mais processos de treinamento em processamento e classificação de imagens Landsat, Sentinel e Planet no contexto de sensoriamento remoto com utilização de técnicas de machine learning e deep learning, aplicadas principalmente na Plataforma Google Earth Engine e no framework TensorFlow. Treinamento em desenvolvimento back-end utilizando linguagens de programação Python e JavaScript e API usando framework Django.Conhecimentos básicos de:Programação em Python e/ou Javascript;Sistema Operacional Linux.

Introdução e Treinamento em processamento e classificação de imagens Landsat, Sentinel e Planet no contexto de sensoriamento remoto com utilização de técnicas de machine learning e deep learning, aplicadas principalmente na Plataforma Google Earth Engine e no framework TensorFlow. Introdução e Treinamento em desenvolvimento back-end utilizando linguagens de programação Python e JavaScript e API usando framework Django.Conhecimento introdutório de programação em Python e/ou Javascript.Conhecimento introdutório de sistema operacional Linux

Bacharelado, Ciência Da Computação (Vindo De Transferência De Engenharia De Computação, 5º Semestre)

vindo de Transferência de Engenharia de Computação, 5º semestre

Pós-Graduação Lato Sensu - Especialização, Ciência De Dados E Big Data

Pós Graduação latu sensu em Ciência de Dados e Big Data Introdução à Linguagem Python Bancos de Dados Relacionais e Não - Relacionais.

Bacharelado, Engenharia De Computação (Cursado Até O 5º Semestre, Transferência Para Ciência Da Computação)

Cursado até o 5º semestre, transferência para Ciência da Computação

Especialização, Ensino De Matemática

Especialização Em Ensino de Matemática

Licenciatura, Mathematics

Activities and Societies: - Bolsista de Monitoria de Cálculo Diferencial e Integral - Monitoria Voluntária - Laboratório de Educação.