Data Engineer Gcp H/F - Collective Works

Au sein de la Datateam d'un acteur majeur du retail, vous opérez et faites évoluer une data platform sur Google Cloud Platform (BigQuery, Cloud Composer/Airflow, Dataform, Cloud Run, Firestore). Elle est utilisée par les data engineers des squads ainsi que par des agents IA conversationnels en cours d'industrialisation.

Votre mission consiste à maintenir la plateforme en condition opérationnelle et à la faire évoluer selon les besoins des data engineers :

• Gestion des droits et de l'IAM GCP

• Exploitation de Composer/Airflow et des mécanismes d'orchestration associés

• Industrialisation des déploiements (CI/CD, infrastructure as code)

• Suivi FinOps (coûts, stockage, optimisation)

• Participation au chantier observabilité (monitoring, alerting, intégration d'un outil de data observability)

Le RUN de la plateforme repose principalement sur des demandes récurrentes : gestion des droits et accès, traitement des anomalies Airflow et sur les outils de catalogage, suivi du stockage et des coûts, supervision des flux issus des systèmes internes.

Le Data Engineer développe, construit et maintient des infrastructures de données d'un point de vue système et sécurité. Il garantit la maîtrise de la donnée et la qualité de son utilisation afin d'en faciliter l'exploitation par les équipes.

Il assure la collecte, le stockage et l'exploitation des flux de données répondant aux enjeux de l'entreprise. Il est garant de la qualité d'accès aux sources de données alimentant le Data Lake, pour faciliter le travail des équipes de Data Science. Il définit également la structure des métadonnées.

Son périmètre d'intervention porte sur les systèmes applicatifs autour de la gestion et du traitement de la donnée, ainsi que sur les plateformes Big Data, IoT, etc. Il supervise et intègre les données issues de sources multiples et contrôle la qualité des données entrant dans le Data Lake (recette, suppression des doublons, etc.).

Livrables attendus

• Dossier d'architecture (ou cadre technique) des solutions de traitement des données

• Un data lake adapté aux besoins actuels et futurs de l'entreprise

• Une cartographie des données

• Les éléments garantissant la qualité de la donnée

Compétences

• Conception de l'architecture

• Veille technologique

• Ingénierie des systèmes TIC

• Fourniture de services

• Gestion des problèmes

• Science des données et analyse

• Gestion de l'information et de la connaissance

• Gestion des risques

• Gestion de la qualité des TIC

• Gestion de la sécurité de l'information

• Gestion des données
• Gestion du risque
• Veille technologique
• Big data
• Cartographie
• Contrôle qualité
• Google cloud platform