Allgemein:
In einem interdisziplinären Projektteam übernimmst Du den Part der technischen Umsetzung von Datenverarbeitungsstrecken in Batch und Realtime. Als Experte für das Data Engineering bist Du im Projekt Ansprechpartner für Kollegen und Kunden. Mit modernen cloud-basierten Technologien generierst Du - KI-unterstützt - innovative Lösungen rund um unsere Produkte.
Wir suchen Dich mit und ohne Berufserfahrung, als
(Junior) Data Engineer (all genders)
für unsere Standorte in
Stuttgart, Hamburg, München oder Karlsruhe.
Tech Stack:
Azure SQL Database, Azure Cosmos DB und Datalake Storage
Weitere Komponenten aus dem Azure Stack wie Log Analytics, KeyVault, API Management
Azure Portal
Unternehmenseigener OpenAI-basierter KI-Assistent
Projektverwaltung in JIRA und Confluence
Deine Aufgaben:
Entwicklung von Azure Functions in .NET C
#
zur Abbildung von Datentransformationen in Realtime. REST API
Erstellung und Pflege von Azure Data Factory Pipelines zur Automatisierung von Datentransfers.
Entwicklung von Azure Databricks Notebooks, insbesondere zur Implementierung von ETL-Prozessen mit PySpark – dabei sind erste Programmierkenntnisse und ein gutes Verständnis für Datenverarbeitung gefragt.
Arbeiten mit SQL, inklusive der Durchführung von Qualitätssicherungen, Datenanalysen und gezielten Performanceoptimierungen auf Speichertechnologien wie Cosmos DB, Azure SQL DB und Data Lake Storage
Optimierung und Feintuning der Prozesse durch Detailanalysen u. a. mit Log Analytics
Das bringst du idealerweise mit:
Erste Kenntnisse Programmierkenntnisse (idealerweise in C#, Python und Pyspark).
SQL-Kenntnisse zur Datenanalyse und Qualitätssicherung
Verständnis für Cloud-Architekturen und Datenverarbeitungsprozesse
Interesse an konzeptionellen Themen rund um Datenmodellierung und ETL-Design
Bereitschaft zur Weiterentwicklung in Technologien wie Databricks und Data Factory