Data Engineer - Big Data H/F - Skiils

Le besoin

Contexte

En tant que Data Engineer au sein de l'équipe, vous êtes une personne engagée, dynamique et proactive avec une forte appétence Business. Vous ne vous contentez pas de maintenir des pipelines, vous les concevez pour générer de la valeur et accélérer l'innovation sur notre écosystème. Vous jouerez un rôle pivot dans le succès des nouveaux projets d'intégration d'outils et l'évolution de nos systèmes.

Missions

Votre mission repose sur les objectifs / responsabilités suivantes :

• Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes

• Garantir une architecture et une modélisation des flux optimisés et évolutives

• Garantir la qualité du code et promouvoir les meilleures pratiques

• Garantir la clarté et la pérennité des développements par une documentation rigoureuse

• Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques

• Garantir un RUN de qualité (SLA) selon le principe "You build it, you run it"

• Assurer la qualité, la fiabilité et la gouvernance des données de ventes

• Collaborer en environnement Agile (Scrum)

• Respecter les engagements de sprint et s'inscrire dans une démarche d'amélioration continue

Outils & Environnement

1. Plateforme Data Core (Cloud & Gouvernance)

   • Expérience significative sur DataBricks pour la gestion des clusters, l'optimisation des performances des workloads Big Data et la mise en place d'une gouvernance solide

   • Une connaissance de AWS sera un plus

2. Langages & Modélisation

   • Maîtrise avancée et pratique SQL pour la modélisation, l'optimisation des traitements

   • Expérience significative avec DBT (Data Build Tool) pour l'industrialisation, la documentation et le testing de nos modèles de données

   • Maîtrise avancée et pratique de Python pour la transformation et le traitement de données

3. Orchestration

   • Expérience significative avec AirFlow / Astro pour la création, le monitoring et l'optimisation des DAGs (Directed Acyclic Graphs) complexes garantissant la fiabilité de notre chaîne de production Data

4. Méthodologie & Qualité

   • Travail en environnement agile (Scrum)

   • Pratique quotidienne de la revue de code (code review) et des principes de CI/CD (intégration et déploiement continus) via des outils comme Git/GitLab/GitHub

   • Garantir la qualité de la donnée (Notre promesse N°1 côté CdP) qui est mise à disposition de nos consommateurs

5. Modélisation

   • Garantir une modélisation au service du Easy to Use et la performance d'utilisation

6. Communication locale internationale

   • Assurer une collaboration efficace et de qualité avec nos équipes techniques (Infra, OPS)

   • Une bonne connaissance de l'anglais est demandée notamment à l'écrit pour interagir au quotidien avec nos consommateurs en pays et nos partenaires non francophones

Profil recherché

1. Personne engagée, dynamique et proactive avec une forte appétence Business
2. Expérience significative sur DataBricks pour la gestion des clusters, optimisation des performances Big Data et gouvernance
3. Connaissance de AWS (un plus)
4. Maîtrise avancée et pratique de SQL pour modélisation et optimisation des traitements
5. Expérience significative avec DBT (Data Build Tool) pour industrialisation, documentation et testing des modèles de données
6. Maîtrise avancée et pratique de Python pour transformation et traitement des données
7. Expérience significative avec AirFlow / Astro pour création, monitoring et optimisation des DAGs complexes
8. Travail en environnement Agile (Scrum)
9. Pratique quotidienne de la revue de code et des principes de CI/CD via Git/GitLab/GitHub
10. Capacité à garantir la qualité, la fiabilité et la gouvernance des données
11. Garantir une modélisation orientée Easy to Use et performance
12. Bonne communication et collaboration au sein d'équipes techniques et produit
13. Bonne connaissance de l'anglais, notamment à l'écrit, pour interactions quotidiennes avec partenaires non francophones
14. Soft skills : engagé, responsable, fort intérêt pour le fonctionnel, esprit d'équipe, force de proposition technique et fonctionnelle

• Gestion des données
• Python
• Anglais
• Cluster
• Optimisation des performances
• Gouvernance des données
• Big data
• Pro-activité
• Git
• Scrum
• AWS
• Force de proposition
• SQL