Wir suchen einen Data Developer mit Schwerpunkt Databricks, der für die Entwicklung, Optimierung und Verwaltung von Datenpipelines auf Spark, Delta Lake und Unity Catalog verantwortlich ist. Die Tätigkeit konzentriert sich auf die Arbeit mit sehr großen Datensätzen (Hunderte Millionen Zeilen, Terabyte-Volumen), die Leistungsoptimierung und die effiziente Nutzung von Clusterressourcen.

• Entwicklung und Optimierung von Datenpipelines in Apache Spark auf der DatabricksPlattform
• Arbeit mit dem Unity Catalog und Verwaltung von Datenobjekten im Rahmen des Governance-Modells
• Optimierung der Pipeline-Performance für Tabellen mit über 500 Millionen Zeilen und mehr als 1 TB Daten
• Optimierung und Konfiguration von Databricks-Clustern für maximale Effizienz und Ressourcennutzung
• Optimierung von Delta LakeTabellen (Layout, Partitionierung, Z-Sortierung, VACUUM, Komprimierung)
• Zusammenarbeit mit Architekten, Data Engineers und Analysten bei der Entwicklung der Datenplattform

• Mindestens 1 Jahr Erfahrung mit dem Unity Catalog
• Mindestens 2 Jahre Erfahrung in mindestens 2 Projekten mit:
  • Optimierung von Spark-Pipelines
  • Arbeit mit Tabellen mit mindestens 500 Millionen Zeilen und mehr als 1 TB Daten 500 Millionen Zeilen
  • Arbeiten mit Daten von mindestens 1 TB
  • Optimierung der ClusterEinstellungen für maximale Ressourcennutzung
• Mindestens 2 Jahre Erfahrung mit dem Delta Lake Debugging von Tabellen mit > 1 TB

Vorteil

• Erfahrung mit Azure (ADF, Synapse, Data Lake Storage)
• Kenntnisse in CI/CD für Datenpipelines
• Erfahrung mit der Leistungsüberwachung von Spark-Jobs
• Erfahrung im Finanzsektor

• Tolle Kollegen und flexible Arbeitszeiten
• Karrierecoaching und -entwicklung
• Flexible Arbeitszeiten
• Technische Schulungen und Workshops
• Arbeitsmittel (Mac/Windows)
• Firmenfeiern
• Betriebspsychologe für psychisches Wohlbefinden
• Multisportkarte