Data Engineer
CurrentMai 2024 - Aujourd'hui:•Migration d'alimentation Teradata vers Databricks •Mise en place de Unity CatalogSeptembre 2023 - avril 2024:•Mise en place des standards de catalogue / groupe / droit sous Unity Catalog (Databricks)•Mise en place de modèle physique via Hackolade pour des tables Delta (Databricks)•Gestion des données sensibles et mise en place de maskingJanvier 2022 - août 2023:•Mise en place d'un datalake databricks sur azure avec une base de reporting PostgreSQL•Alimentation du datalake via Azure Data Factory•Développement et maintenance de notebook de transformation Databricks •Mise à jour de l'infrastructure terraformSeptembre 2021 - décembre 2021:•Mise en place de test unitaire/ non régression / test d'intégration •Optimisation des coûts et sauvegarde CosmosDB Mai 2020 - septembre 2021:•Mise en place de flux d’alimentation Azure datafactory depuis des bases SQL Server et des FTP vers Azure datalake•Mise en place de traitement Databricks pour rapprocher les données •Mise en place de monitoring Azure