Siamo alla ricerca di un
Data Engineer
motivato e orientato ai risultati, che contribuirà alla progettazione, implementazione e ottimizzazione delle pipeline di dati su larga scala.
JOB DESCRIPTION
solido background nello sviluppo di pipeline dati scalabili e performanti in ambienti cloud. Il candidato ideale avrà una comprovata esperienza nell'ecosistema
AWS
e nell'utilizzo intensivo della piattaforma
Databricks
per la trasformazione e l'analisi dei Big Data.
Responsabilità principali
Progettazione e Sviluppo di Pipeline Dati:
Progettare, sviluppare e mantenere pipeline ETL/ELT robuste e scalabili utilizzando servizi AWS e Databricks.
Architetture Dati Cloud:
Implementare soluzioni di Data Lakehouse e Data Warehouse in AWS (es. S3, Redshift) e/o in Databricks
Sviluppo su Databricks:
Scrivere, ottimizzare e gestire codice in
Python
o
Scala
(principalmente PySpark) all'interno di notebook Databricks per l'elaborazione di grandi volumi di dati.
Infrastruttura e Operazioni:
Collaborare con i team DevOps per automatizzare l'infrastruttura dati utilizzando strumenti IaaC (es. CloudFormation o Terraform) e garantire l'affidabilità, la sicurezza e la
governance dei dati
.
Monitoraggio e Ottimizzazione:
Monitorare le pipeline e i cluster Databricks per garantirne l'efficienza, l'ottimizzazione dei costi e le performance, intervenendo proattivamente per risolvere eventuali problematiche.
Competenze richieste
Esperienza Comprovata:
Almeno
2 anni
di esperienza diretta e recente nello sviluppo e gestione di soluzioni dati su
AWS
e/o
Databricks
.
Competenze AWS:
Ottima conoscenza di servizi chiave AWS come
S3, Lambda, Glue
, EC2,
VPC
e
IAM
.
Competenze Databricks/Spark:
Profonda padronanza di
Apache Spark
(con
PySpark/Scala
) e della piattaforma
Databricks
(compresi Delta Lake, Unity Catalog e gestione dei cluster).
Linguaggi di Programmazione:
Eccellente competenza in
SQL
e
Python
(o Scala).
Data Modeling:
Solida comprensione dei concetti di modellazione dati (Star Schema, Inmon, Data Vault) per Data Warehouse e Data Lakehouse.
Nice to have
Certificazioni:
Certificazione AWS
(es. AWS Certified Data Analytics - Specialty o Solutions Architect - Associate) o
Certificazione Databricks
(es. Databricks Certified Data Engineer Associate/Professional).
Workflow Orchestration:
Esperienza con strumenti di orchestrazione come
Apache Airflow
o AWS Step Functions.
Altre Tecnologie:
Familiarità con sistemi di streaming (es. Kafka, Kinesis) e/o altri servizi AWS per l'analisi (es. Athena, SageMaker).
Cosa offriamo
Ambiente tecnologicamente avanzato e in continua evoluzione.
Formazione continua.