CDI ou pré embauche - Data engineer

Contexte

Nous recherchons un Data Engineer pour renforcer une équipe dédiée à l’exploitation et à la valorisation de données environnementales .
L’objectif de la mission est de contribuer à l’industrialisation et à l’optimisation des processus d’ingestion, de traitement et de publication d’indicateurs liés aux données scientifiques .

Missions principales

Conception & développement de pipelines

• Développer des scripts et workflows en Python pour récupérer, transformer et stocker des données volumineuses.
• Orchestrer les tâches avec Argo, Prefect ou un outil équivalent .

Industrialisation & automatisation

• Packager les applications dans des conteneurs Docker .
• Déployer et faire évoluer les environnements sur Kubernetes (hébergés dans un cloud public).
• Mettre en place et maintenir la CI/CD (GitLab CI, Jenkins ou similaire).

Maintenance & support

• Superviser les pipelines et les services en production.
• Gérer les incidents et mettre en œuvre les correctifs nécessaires.

Optimisation & montée en charge

• Adapter les architectures pour garantir la scalabilité, la performance et la maîtrise des coûts .
• Proposer et mettre en œuvre des améliorations continues (refactoring, modularisation, tests unitaires et d’intégration).

Documentation & transfert de compétences

• Rédiger et maintenir la documentation technique (README, runbooks).
• Former et accompagner les équipes internes sur les bonnes pratiques Data Engineering et DevOps .

Profil recherché

Compétences techniques essentielles

• Langages : Python expert (polars, xarray, pandas, netCDF4…), Dask.
• Cloud & infrastructures : expérience sur un cloud public (GCP, AWS ou Azure).
• Conteneurisation & orchestration : Docker, Kubernetes.
• Orchestration de workflows : Argo, Prefect, ou équivalent.
• CI/CD & DevOps : Git, GitLab CI/CD ou Jenkins, gestion des secrets, déploiements automatisés.
• Méthodologies : OOP, tests unitaires, GitOps, Infrastructure as Code (Terraform, Helm, etc.).

Expérience et formation

• Bac+5 en Informatique, Data Science ou Ingénierie .
• 2 à 5 ans d’expérience en Data Engineering , idéalement dans un contexte Big Data ou scientifique .
• Expérience en gestion de projets en autonomie , du recueil des besoins jusqu’à la mise en production.
• Une connaissance du domaine environnemental, scientifique ou climatique est un plus.

Qualités personnelles

• Rigueur et sens de l’organisation.
• Esprit d’équipe et bonnes capacités de communication.
• Curiosité et proactivité dans l’adoption de nouvelles technologies.

Conditions

• Type de contrat : CDI, temps plein.
• Localisation : Près de Marseille (télétravail partiel possible).