Senior Data Engineer Pyspark Databricks Aws Airflow H/F - collectivite

Information importante

Type de contrat:

Freelance

Taux journalier :

530
Cette offre est à 0% de commission
Localisation :

Lille, France

Date de démarrage :

Urgent

Mode de travail :

Hybride

Publié le :

15 juin 2026

Le besoin

Contexte

Au sein d'une équipe Customer Intelligence d'un acteur majeur de la distribution sportive, le Data Engineer contribue à la construction des fondations de données alimentant des algorithmes de personnalisation client. L'équipe opère dans un contexte international (bureaux à Lille, Paris et Amsterdam) et s'appuie sur une stack technique moderne : PySpark, Airflow, AWS, Databricks, Datadog. Les outils de collaboration utilisés sont Google Suite, Confluence, Jira, Github et Slack.

Missions principales

- Concevoir, développer et maintenir des pipelines ETL/ELT haute performance avec PySpark et Airflow, traitant de larges volumes de données clients.
- Mettre en place des procédures de contrôle qualité, monitoring et validation des données, notamment via Great Expectations.
- Assurer la gouvernance et la conformité des données (GDPR).
- Collaborer avec les Data Scientists et Product Managers pour affiner le modèle de données client, en garantissant sa scalabilité.
- Gérer et optimiser l'infrastructure cloud AWS (EMR, S3) et Databricks pour la performance et la maîtrise des coûts.
- Gérer les transactions ACID avec des fichiers Delta.
- Assurer un rôle de référent technique au sein de l'équipe et promouvoir les bonnes pratiques.

Conditions de travail

- Localisation : Lille (hybride)
- Démarrage : 29 juin 2026
- Durée : longue mission

Profil recherché
- Minimum 4 ans d'expérience en Data Engineering
- Python : Expert
- PySpark : Expert
- AWS S3 : Expert
- Apache Airflow : Confirmé
- Databricks : Confirmé
- Delta Lake : Confirmé
- Great Expectations : Avancé
- Datadog : Avancé
- Anglais courant (utilisation quotidienne à l'écrit et à l'oral)

• Python