Localisation : Maisons-Alfort (94)
Rythme : 2 jours sur site (lundi \& jeudi) / 3 jours télétravail
Expérience : +8 ans
Démarrage : ASAP
Mission longue
Expérience en banque obligatoire.
Python / Spark / Entrepôts de données / Data Warehouse
1. Description du poste
Dans un contexte de transformation globale du SI et d'accélération autour des technologies Data \& Cloud, nous recherchons un Data Engineer senior expert en Python, PySpark, traitement de données Spark et parfaitement à l?aise avec l?écosystème AWS.
Le rôle implique une forte dimension d?ingénierie logicielle : développement Python, tests unitaires (pytest), participation aux tests fonctionnels automatisés, mise en place de code modulaire, robuste et industrialisé.
Au quotidien, le Data Engineer devra concevoir et développer des jobs de traitement de données (notamment via AWS Glue), maîtriser l?ensemble de la stack AWS Data (S3, Athena, Secret Manager?), intervenir ponctuellement sur des instances EC2, et collaborer étroitement avec le Tech Lead afin de respecter les design patterns applicatifs et les standards d'architecture.
L?objectif majeur de la mission est de modulariser et architecturer les process Data pour construire des solutions évolutives, intégrées et orientées métier. Le poste nécessite une posture proactive, autonome, dynamique, ainsi qu?un excellent relationnel avec les PM et les équipes métiers, dans un environnement Agile SAFe.
Profil candidat:Compétences techniques indispensables :
Python (expert), PySpark, Spark : développement, traitement de données, optimisation.
Testing : tests unitaires (pytest), participation aux tests fonctionnels automatisés.
Très bonne maîtrise du Cloud AWS :
AWS Glue (quotidien)
S3, Athena, Secret Manager
AWS Lambda, EMR, Kinesis
Connaissance des instances EC2
Maîtrise des pipelines d?ingestion/transformation dans AWS (Glue jobs, Lambda, EMR).
Langage SQL très solide.
Data streaming : AWS Kinesis, Kafka.
Bases analytiques / NoSQL : Redshift, Elasticsearch, Athena, RDS.
Stockage objet : AWS S3.
Bonnes pratiques DevOps : Git, Gitlab-CI, Jenkins, Docker, Kubernetes, Terraform, Helm...
Connaissance des environnements ETL, DataOps, qualité et gouvernance de données.
Orchestration : Control-M, Airflow, Oozie, Kubeflow.
API : Swagger/OpenAPI, JWT, API Management.
Gestion des droits \& habilitations : AWS IAM, KMS, Ranger, Sentry.
Machine learning : Spark ML, services ML AWS, Elasticsearch ML.
Certifications (au moins une requise) : AWS Solutions Architect
AWS Database
AWS Developer
AWS Data Analytics
Compétences comportementales : Capacité à travailler en binôme avec un Tech Lead, respect des design patterns.
Forte autonomie, sens des responsabilités, proactivité, dynamisme.
Capacité à produire un code modulaire, propre, documenté et maintenable.
Mindset Agile, ouverture au changement, capacité à s'intégrer dans une logique SAFe.
Excellent communicant, capable d?interagir efficacement avec les métiers et les PM.