Contexte de la mission
Vous intégrerez une équipe data transverse au sein d?un grand groupe international du secteur du luxe et de la cosmétique, actuellement en pleine modernisation de sa plateforme data.
L?objectif : industrialiser et fiabiliser la chaîne de traitement des données dans un environnement cloud Azure, tout en renforçant les volets observabilité, performance et qualité.
L?équipe (8 à 10 personnes) est composée de data engineers, data analysts, product owners et DevOps.
Le cadre de travail est international, agile et collaboratif, avec une forte culture de la qualité, de la rigueur technique et du partage de connaissances.
Missions principales
Concevoir, développer et maintenir des pipelines data robustes et scalables sous Azure Databricks et PySpark.
Participer à la refonte du Data Lake / Lakehouse (Delta Lake ? architecture medaillon : bronze, silver, gold).
Mettre en place des mécanismes d?observabilité pour suivre la performance, la fiabilité et la qualité des données : logs, métriques, alertes, dashboards.
Automatiser et industrialiser les déploiements via CI/CD (GitHub Actions ou Azure DevOps).
Collaborer avec les équipes produit et data science pour assurer la cohérence fonctionnelle et technique des flux.
Améliorer la data quality et la traçabilité (lineage, monitoring, règles de validation).
Participer aux revues de code, à la documentation technique et à la diffusion des bonnes pratiques.
Environnement technique
Cloud : Azure (Data Lake, Data Factory, Databricks, Synapse, Functions, Event Hub, DevOps)
Langages : Python, PySpark, SQL (et idéalement Scala)
Orchestration / ETL : Airflow, ADF, Spark Structured Streaming
Observabilité : Grafana, ELK Stack (Elasticsearch / Logstash / Kibana), Azure Log Analytics
Data Lakehouse : Delta Lake, Unity Catalog, Medallion Architecture
CI/CD \& DevOps : GitHub Actions / Azure DevOps, Terraform, Docker, Kubernetes
Profil candidat:
5 à 10 ans d?expérience en Data Engineering ou développement backend data.
Solide expertise sur Azure, Spark / PySpark et Databricks.
Bonne connaissance des pipelines ETL/ELT et de l?orchestration de jobs (Airflow, ADF, etc.).
Connaissance des concepts d?observabilité data : logs, alerting, dashboards, data quality.
Maîtrise des environnements CI/CD (GitHub Actions, Azure DevOps) et du déploiement cloud.
Sens du détail, esprit analytique, goût pour la performance et la qualité du code.
Bon relationnel, autonomie, curiosité et capacité à collaborer dans un environnement international.