Senior Data Engineer

Für die Weiterentwicklung einer Datenplattform auf Databricks bei einem Kunden in einem Versicherungsunternehmen suchen wir einen erfahrenen Senior Data Engineer. Du entwickelst und betreibst skalierbare Datenpipelines und Datenprodukte, setzt Data-Vault-Modelle um und realisierst Transformationen sowie Qualitätssicherungen mit dbt Core. Dabei sorgst du für einen stabilen und wirtschaftlichen Betrieb der Datenlösungen im Azure-Umfeld und arbeitest eng mit dem agilen Team und den Fachbereichen zusammen.

Aufgaben

• Entwicklung und Betrieb skalierbarer Datenpipelines und Datenprodukte auf Databricks

• Umsetzung und Weiterentwicklung von Datenmodellen nach Data Vault 2.0 inkl. historisierter und dimensionaler Modelle

• Entwicklung von Transformationen, Datenqualitätstests und Dokumentation mit dbt Core

• Weiterentwicklung der Datenplattform im Azure-Umfeld

• Sicherstellung eines stabilen, performanten und wirtschaftlichen Betriebs der Datenlösungen

• Automatisierung von Deployments über Git und CI/CD-Pipelines inkl. automatisierter Tests

• Enge Zusammenarbeit mit Fachbereichen und weiteren Teams im agilen Umfeld

• Mindestens 5 Jahre Berufserfahrung im Data Engineering mit Databricks, SQL, Python und Apache Spark / PySpark sowie in der Entwicklung und im Betrieb skalierbarer D