04.08.2026 aktualisiert
Premiumkunde
100 % verfügbarSenior Data Engineer (Azure: Databricks | Data Factory)
Neckarsteinach, Deutschland
Nur Remote
B.Sc. (Physik)Über mich
Senior Data Engineer mit besonderem Fokus auf Azure, Databricks, SQL und ETL/ELT. Ich arbeite lösungsorientiert und zuverlässig – und habe Freude daran, aus Daten klare, nutzbare Ergebnisse zu schaffen. Remote-first, kommunikativ und immer mit Blick auf gemeinsame Erfolge.
Skills
Data LakehouseAzure DatabricksData IntegrationETLAzure SQLScrumMicrosoft Power BIAzure Data LakeDocker ContainerAzure Data FactoryApache SparkInfrastructure as Code (IaC)GitLabPySparkGithub Enterprise
• Azure:
Azure Databricks, Azure Data Factory, Azure Synapse Analytics, Azure Data Lake Gen2, Azure SQL Database, Azure DevOps, Azure Storage, Azure Key Vault, APIs
• Data Engineering:
ETL/ELT, Data Integration, Data Modeling, Data Pipelines, Apache Spark, PySpark, Delta Lake, Unity Catalog, Lakehouse Architecture
• DevOps & IaC:
Git, CI/CD, Terraform, Docker
• Programmiersprachen:
Python, SQL, VBScript
• Analytics & BI:
Microsoft Power BI
Sprachen
DeutschMutterspracheEnglischgut
Projekthistorie
- Weiterentwicklung einer Azure-basierten Enterprise Data Platform mit Fokus auf Azure Databricks und Unity Catalog
- Konzeption und Implementierung skalierbarer ETL-/ELT-Prozesse zur Integration heterogener Datenquellen
- Entwicklung performanter Datenpipelines mit Python, SQL und Apache Spark (PySpark)
- Design und Umsetzung eines einheitlichen Datenmodells zur Harmonisierung von Daten aus verschiedenen Quellsystemen
- Implementierung robuster Datenextraktions- und Transformationsprozesse für einen stabilen und automatisierten Datenbetrieb
- Aufbau und Optimierung von CI/CD-Prozessen für Data-Engineering-Workloads
- Nutzung von Git-basierten Entwicklungsprozessen sowie Infrastructure-as-Code mit Terraform
- Containerisierung und Deployment von Komponenten mittels Docker
- Unterstützung von Data-Engineering-Teams bei Coding Standards, Wiederverwendbarkeit von Komponenten und Best Practices
- Analyse fachlicher Anforderungen und Überführung in skalierbare Cloud-Architekturen
- Erstellung technischer Konzepte, Architekturdokumentationen und Abstimmung mit technischen sowie fachlichen Stakeholdern
Technologien:
Azure Databricks, Unity Catalog, Python, SQL, Apache Spark, PySpark, Microsoft Azure, Git, CI/CD, Terraform, Docker
- Aufbau einer skalierbaren Azure Data-Plattform zur automatisierten Verarbeitung technischer Fahrzeugdaten
- Entwicklung und Betrieb von ETL-Pipelines in Azure Data Factory und Databricks
- Umsetzung von PySpark-Transformationen und Delta-Lake-Workflows für effiziente, inkrementelle Datenverarbeitung
- Sicherstellung von Data Governance und Zugriffskontrolle über Unity Catalog
- Erstellung von Power BI Reports zur Analyse und Visualisierung von Entwicklungsdaten
- Einführung von CI/CD-Prozessen und Monitoring zur Qualitäts- und Performance-Optimierung
Technologien: Azure Data Factory, Databricks, Delta Lake, Unity Catalog, Power BI, PySpark, SQL, Azure DevOps
- Aufgaben:Beratung bei der Anwendung von Analyse- und BI-Tools und -Diensten im Microsoft Azure Stack (z.B.
- Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data
- Factory).
- Selbstständiger Entwurf von Analyselösungen mit Python, SQL, etc.
- Design und Implementierung von ETLs und Data Pipelines
- Erstellung und Pflege von APIs
- Selbstständige Anwendung von CI/CD, Tests und Versionskontrolle
- Modellierung von Daten
Eingesetzte Technologien: Azure Stack:, Data Factory, Data Lake, Databricks, Spark, CI/CD, SQL Database, Python