Consultant Data Gcp
Développement d’une application de suivi des prix des actions en temps réel sur GCP visant àoffrir aux primo-arrivants en France une solution innovante de gestion financière:Ingestion en temps réel : Les données sont collectées via l'API Reddit, suivies d'une analyse de sentiment utilisant GPT-4 via l'API OpenAI. Ces données sont ensuite publiées dans Pub/Sub pour la gestion du flux en temps réel. - Traitement en temps réel : Utilisation de Spark Streaming pour traiter les données en temps réel dans une "couche rapide" dédiée. - Traitement par lots : Mise en œuvre d'un traitement batch avec Spark/Scala pour des analyses plus lourdes et structurées dans une "couche batch". - Stockage des résultats : Les résultats des traitements sont stockés de manière optimisée dans Astra DB(Cassandra) et BigQuery, assurant une scalabilité et une performance élevées pour les requêtes ultérieures. - Orchestration avec GCP Composer : Utilisation de DAGs créés avec GCP Composer pour orchestrer et automatiser les workflows de traitement des données. - Déploiement CI/CD avec Terraform : L'infrastructure, incluant les comptes de service IAM, les ressources, et les DAGs, est entièrement gérée et déployée via des pipelines CI/CD utilisant Terraform, garantissant une infrastructure reproductible et scalable.- Réalisation de test unitaires : Le but étant de faciliter la maintenance du code, de détecter les erreurs précocement et de faciliter le refactoring. - Automatisation et déploiement : Le code de récupération des données Reddit et d'analyse des sentiments est déployé sur GCP Cloud Run, garantissant une exécution serverless, sécurisée et scalable.