Data Engineer Senior

Data Engineer Senior

Description du projet:

La mission a pour objet l’exploitation, l’évolution et l’industrialisation de la plateforme Data, ainsi que la mise à disposition de Data Products fiables et gouvernés, au service de projets structurants tels que le Digital Twin, le Plan communal de développement durable, remplacement de l’intranet de l’instruction publique et le monitoring du Plan Climat, incluant la migration de pipelines existants et l’intégration de Microsoft Purview pour la gouvernance technique des données.

Description de la mission :

Vous assumez les responsabilités suivantes :

• Elaborer des analyses fonctionnelles et les traduire en spécifications techniques

• Développer, maintenir et optimiser des pipelines de données batch et temps réel sur Databricks, incluant l’ingestion de flux événementiels issus de capteurs et systèmes IoT

• Faire évoluer, maintenir et optimiser l'architecture de la plateforme Data, scalable et sécurisée, incluant des flux IoT

• Gérer la connexion aux sources des données, la transformation, normalisation et enrichissement des données

• Assurer la qualité, la cohérence, la traçabilité et la fiabilité des données, y compris sur les flux temps réel

• Mettre en place le monitoring, l’alerting et la supervision des pipelines et traitements data

• Exposer des Data Products à partir des pipelines de données, en garantissant leur qualité, leur performance et leur exploitabilité.

• Documenter de manière complète et à jour l'évolution de l'architecture technique, flux, pipelines et schémas de données

• Concevoir et implémenter des modèles de données de type faits/dimensions intégrés aux Data Products

• Collaborer avec les équipes IT, sécurité, infrastructure et produits pour l’intégration des systèmes

• Contribuer à l’amélioration continue des processus, des performances et de la gouvernance data

Profil de data analyste senior

Date de démarrage de la mission : dés que possible