Déployer et sécuriser les pipelines de traitement de données par lots (Batch), en assurant la traçabilité complète, la gestion stricte des accès (privilèges) et la conformité aux exigences de sécurité.
Missions :
Concevoir et développer les pipelines de traitement par lots (Batch) orienté système (administrateur) et orienté utilisateurs (clients du système) en utilisant des frameworks comme Argo ou des services cloud équivalents.
Collaborer avec le RSSI pour définir et appliquer les politiques de privilèges et d'accès aux données sensibles (IAM, RBAC).
Implémenter des mécanismes d'audit et de traçabilité pour chaque étape de la vie de la donnée.
Travailler avec l'Ingénieur Cloud/DevOps pour le déploiement et la configuration des clusters de traitement Big Data.
Assurer le contrôle qualité et l'intégrité des données à travers les pipelines.
Coder les politiques d'autorisation du Service Mesh Consul (Consul Connect) afin de garantir que seuls les services autorisés peuvent accéder aux clusters de données Big Data.
Assurer que les accès aux API de publication/consommation de données passent par les contrôles de sécurité et les politiques de Tyk (si l'API est externe).
Participer à la mise en place de la sécurité TLS mutuel (mTLS) entre les composants critiques via Consul.
Profil :
Minimum 3 ans d’exp
Expertise en Batch Processing (par exemple CrossPlane, Argo, Spark, Dataflow) et en langage Python.
Expérience avec les solutions de stockage Big Data (S3, bases NoSQL).
Forte compréhension de la gestion des identités et des accès (IAM) Cloud et des principes de sécurité des données.
Connaissance des outils de logging, monitoring et traçabilité.