DATA ENGINEER / ingenieur informatique DATA (IT)

ContexteDans le cadre de l'accélération de sa transformation Data, un grand groupe international renforce son équipe Data Europe afin de développer des plateformes de données et des produits Data répondant aux besoins opérationnels et décisionnels des différentes entités européennes. L'équipe intervient dans un environnement en pleine évolution, où certaines plateformes Data globales sont encore en cours de déploiement. Afin de répondre rapidement aux besoins métiers, des solutions régionales sont développées tout en respectant les standards d'architecture du Groupe et en garantissant leur intégration future dans l'écosystème cible. Dans ce contexte, nous recherchons un Senior Data Engineer capable de concevoir, développer et industrialiser des solutions Data robustes, évolutives et performantes. Vos missionsEn tant que Senior Data Engineer, vous participerez à toutes les étapes de la chaîne de valeur Data, de la conception jusqu'à la mise en production. Architecture DataConcevoir des architectures Data évolutives et maintenables. Définir les différentes couches de données (Raw, Curated, Consumption/Data Mart). Garantir l'alignement des solutions avec les standards d'architecture Data de l'entreprise. Participer aux choix techniques et aux évolutions de la plateforme. Développement des pipelines de donnéesVous serez responsable de la conception, du développement et de l'optimisation des pipelines de données. À ce titre, vous devrez : Développer des pipelines ETL / ELT industrialisés. Concevoir des flux de chargement batch et incrémentaux. Mettre en ?uvre des traitements réutilisables et évolutifs. Assurer la fiabilité et la maintenabilité des traitements. Optimiser les performances des pipelines. Modélisation des donnéesVous participerez à la conception du modèle décisionnel. Vos responsabilités comprendront : La modélisation dimensionnelle. La création de tables de faits et de dimensions. La conception de Data Marts orientés métier. La standardisation des jeux de données destinés au reporting et aux KPI. Optimisation des performancesVous serez garant de la performance de la plateforme Data. Vous interviendrez notamment sur : L'optimisation des requêtes SQL. L'amélioration des performances des traitements. L'optimisation des ressources de calcul et de stockage. La réduction des coûts d'exploitation. Qualité des donnéesVous contribuerez à garantir la qualité et la fiabilité des données. Vous mettrez en ?uvre : Des règles de contrôle qualité. Des mécanismes de validation des données. Des procédures de suivi des incidents. Des outils de supervision et d'observabilité. Gouvernance et sécuritéVous appliquerez les bonnes pratiques de gouvernance des données. Vos missions incluront notamment : La gestion des droits d'accès (RBAC). La documentation des flux de données. Le respect des normes de sécurité. La gestion du cycle de vie des données. La traçabilité des données (Data Lineage). OrchestrationVous développerez et maintiendrez les workflows d'orchestration. Vous serez amené à : Concevoir des DAGs Airflow. Gérer les dépendances entre traitements. Mettre en place des mécanismes de reprise sur incident. Superviser les traitements automatisés. CollaborationVous travaillerez en étroite collaboration avec : les Business Analysts ; les Product Owners ; les équipes BI et Analytics ; les équipes techniques ; les parties prenantes métier. Vous participerez aux ateliers de conception, aux cérémonies Agile et aux phases de recette. DocumentationVous produirez une documentation claire et maintenable portant sur : l'architecture des solutions ; les pipelines développés ; les modèles de données ; les procédures d'exploitation ; les transferts de connaissances. Livrables attendusLe consultant interviendra sur la production des livrables suivants : ArchitectureSchémas d'architecture Data. Documentation technique. Cartographie des flux de données. Mapping Source ? Cible. DéveloppementPipelines ETL/ELT prêts pour la production. Workflows Airflow. Modèles dbt. Frameworks d'ingestion. Scripts SQL. ModélisationModèles dimensionnels. Tables de faits et dimensions. Data Marts certifiés. Jeux de données destinés au reporting. QualitéRègles de contrôle. Scripts de validation. Tableaux de bord de supervision. Rapports de qualité. GouvernanceDocumentation des accès. Data Lineage. Standards de développement. Documentation de conformité. OptimisationOptimisation SQL. Optimisation des performances. Optimisation des coûts. Recommandations d'amélioration. IntégrationJeux de données destinés aux outils BI. Interfaces avec les applications consommatrices. Documentation des échanges de données. TestsTests unitaires. Tests d'intégration. Support aux phases de recette. Validation avant mise en production. Amélioration continueRefactoring des traitements. Automatisation des processus. Propositions d'évolution de la plateforme. Environnement techniquePlateforme DataSnowflake dbt Apache Airflow CloudAWS LangagesSQL avancé DevOpsGit

CI/CD

MéthodologieAgile / Scrum OutilsJira Confluence Lucid Profil candidat: Profil recherchéVous justifiez d'au moins 8 années d'expérience en Data Engineering sur des environnements Cloud modernes. Vous possédez une solide expérience dans : la conception d'architectures Data ; le développement de pipelines ETL/ELT ; la modélisation dimensionnelle (Star Schema, Data Marts) ; Snowflake ; dbt ; Apache Airflow ; SQL avancé ; les environnements Cloud, idéalement AWS ; les pratiques DevOps (Git, CI/CD) ; la gouvernance et la qualité des données. Vous êtes reconnu pour votre capacité à développer des solutions robustes, performantes et évolutives, tout en collaborant efficacement avec des équipes pluridisciplinaires dans un contexte international. Qualités personnellesExcellente capacité d'analyse et de résolution de problèmes. Esprit d'initiative et autonomie. Sens de l'organisation et rigueur. Orientation résultats et qualité. Capacité à vulgariser des sujets techniques auprès d'interlocuteurs métiers. Aisance dans le travail en équipe et dans des environnements internationaux. Force de proposition et volonté d'amélioration continue.