Data Engineer - Databricks - Dbt - Python - SQL H/F - Collective Works

  • Indépendant
  • Lille 59
  • Data et IA
  • Nouveau
Data Engineer - Databricks - Dbt - Python - SQL H/F Collective Works · Lille - 59 · Indépendant

Les missions du poste


Nous recherchons un Data Engineer pour rejoindre une équipe Data au coeur des enjeux stratégiques d'un grand environnement international.

Vous interviendrez sur une plateforme Data à fort volume, dédiée à la centralisation, la fiabilisation et la mise à disposition des données de ventes auprès de multiples équipes métier.

Vous participerez activement à la conception et à l'évolution des pipelines Data, à l'intégration de nouveaux outils ainsi qu'à l'amélioration continue de l'écosystème technique.

Vos principales missions

  • Concevoir, développer et maintenir des pipelines Data robustes, performants et évolutifs.

  • Optimiser les traitements et les architectures Big Data.

  • Assurer la qualité, la fiabilité et la gouvernance des données.

  • Concevoir et industrialiser les modèles de données.

  • Mettre en place les bonnes pratiques de développement, de tests et de documentation.

  • Assurer le monitoring, le support et le maintien en conditions opérationnelles.

  • Participer aux choix d'architecture et apporter votre expertise technique.

  • Collaborer avec les équipes techniques et métier dans un environnement Agile / Scrum.

Le profil recherché

Indispensables :

  • Databricks : gestion des clusters et optimisation des performances.

  • SQL : expertise en requêtage, modélisation et optimisation.

  • Python : développement et transformation de données.

  • DBT : industrialisation, documentation et tests des modèles de données.

  • Airflow / Astro : orchestration et monitoring des pipelines.

  • PySpark : traitement de données à grande échelle.

  • Git / GitHub CI-CD : versioning, code review et intégration continue.

  • Expérience des environnements Agile / Scrum.

Atouts supplémentaires :

  • Bonne connaissance de l'environnement AWS.

  • Utilisation d'outils de développement assisté par IA (GitHub Copilot).

  • Anglais professionnel, notamment à l'écrit.

Compétences requises

  • Gestion des données
  • Python
  • Anglais
  • Amélioration continue
  • Cluster
  • Optimisation des performances
  • Gouvernance des données
  • Intégration continue
  • Big data
  • Création d'une base documentaire
  • Git
  • Monitoring
  • Scrum
  • AWS
  • SQL

Ces offres pourraient aussi vous correspondre.

Recherches similaires

L’emploi par métier dans le domaine Data et IA à Lille