11.11.2026 aktualisiert


Premiumkunde
100 % verfügbar(Senior) Data Engineer — Cloud Solution Architect
Oldenburg, Deutschland
Deutschland
M.SC. InformatikSkills
JavaJavaScriptPHPApache AirflowAmazon Web ServicesData AnalysisMicrosoft AzureBusiness IntelligenceBig DataCloud ComputingData ArchitectureETLData WarehousingPythonMicrosoft Power BI
Meine berufliche Leidenschaft gilt der Konzeption und Implementierung von cloud-nativen Datenplattformen. Während meines professionellen Werdegangs habe ich für zahlreiche Klienten skalierbare, performante wie zugleich kosteneffiziente Analyseinfrastukturen erfolgreich umgesetzt, die heute einen echten unternehmerischen Mehrwert stiften – das treibt mich an.
Ich habe nahezu alle Data Analytics-spezifischen Komponenten sowohl in der Microsoft Azure Cloud als auch in Amazon AWS Cloud hands-on implementiert und kenne Best Practices sowie Vor- und Nachteile dieser Technologien für einen gegebenen Einsatzzweck.
Ich favorisiere flexibel erweiterbare, quelloffene und skalierbare Architekturen und kann entsprechend dem Modern Data Stack-Paradigma viel abgewinnen. Die eigene Datenplattform sollte sich der schnell ändernden Unternehmensrealität und neuen Analyseanforderungen anpassen können. Diese Mission leitet mich in jedem meiner Projekte.
Ich habe nahezu alle Data Analytics-spezifischen Komponenten sowohl in der Microsoft Azure Cloud als auch in Amazon AWS Cloud hands-on implementiert und kenne Best Practices sowie Vor- und Nachteile dieser Technologien für einen gegebenen Einsatzzweck.
Ich favorisiere flexibel erweiterbare, quelloffene und skalierbare Architekturen und kann entsprechend dem Modern Data Stack-Paradigma viel abgewinnen. Die eigene Datenplattform sollte sich der schnell ändernden Unternehmensrealität und neuen Analyseanforderungen anpassen können. Diese Mission leitet mich in jedem meiner Projekte.
- Sprachen: Python (inkl. Pandas), PySpark, Java, Scala, PHP, JavaScript, SQL
- Technologien (Auszug): Databricks, Spark, Snowflake, Google BigQuery, Apache Airflow, Azure Data Factory, data build tool (dbt), Prefect, Kubernetes, Docker, Soda, Hadoop, Power BI, Azure Functions, AWS Lambda… und mehr.
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2022
Sprachen
DeutschMutterspracheEnglischverhandlungssicher
Projekthistorie
Herausforderung:
Bereichsübergreifende Delivery-Teams sollten Analytics-Use-Cases auf einer gemeinsamen, modernen Datenplattform umsetzen. Dafür brauchte es eine skalierbare, reproduzierbare Snowflake-Plattform mit einheitlicher Datenintegration aus rund 20 Quellsystemen. Außerdem waren klare Standards für Entwicklung, Sicherheit und Datenqualität nötig.
Aufgaben:
- Primäre technische Autorität für Plattformarchitektur und Tooling-Entscheidungen im Center of Excellence; Unterstützung der Delivery-Teams bei der Umsetzung von Analytics-Use-Cases
- Etablierung einer Code-First-Kultur mit CI/CD-Pipelines, automatisiertem Linting und Testing, containerisierten Deployments auf Kubernetes und Infrastruktur-Versionierung mit Terraform
- Verwaltung sämtlicher Snowflake-Objekte mit Terraform: reproduzierbar, versioniert und auditierbar über Entwicklungs-, Staging- und Produktionsumgebung
- End-to-End-Umsetzung eines skalierbaren Ingestion-Frameworks mit dlt (data load tool) und Prefect für 20 Quellsysteme (REST-APIs, relationale Datenbanken, Datei-Feeds)
- Konzeption und Umsetzung einer Data-Vault-2.0-Integrationsschicht auf Snowflake mit dbt
- RBAC-Framework in Snowflake mit feingranularer Rechtevergabe auf Objektebene (DSGVO-konform, Least Privilege)
Technologien: Snowflake, dbt, Data Vault 2.0, dlt, Prefect, Terraform, Kubernetes, Google Cloud Platform, Google BigQuery, Microsoft Azure, CI/CD, Claude Code, GitHub Copilot
Herausforderung:
Die Unternehmensgruppe baut eine zentrale Datenplattform auf Databricks auf. Sie soll Business-Daten, vor allem für den Finanzbereich, einheitlich und verlässlich für Management-Reports bereitstellen. Gefragt waren klare Architekturprinzipien, verbindliche Data-Governance-Prozesse und eine enge Abstimmung mit dem CFO-Bereich.
Aufgaben:
- Beratung beim Aufbau der Datenplattform auf Databricks inkl. Definition von Architekturprinzipien
- Entwicklung und Implementierung von Data-Governance-Richtlinien und -Prozessen
- Erstellung von User Stories für Data-Engineering- und BI-Umsetzungen
- Gestaltung und Implementierung des Präsentationslayers zur Aufbereitung von Business-Daten für Management-Reports
- dbt-Modellierung von Transformationslogik und Datenmodellen
- Enge Zusammenarbeit mit Stakeholdern, insbesondere dem CFO-Bereich, zur Priorisierung von Anforderungen (z. B. Treibstoffverwaltung)
Technologien: Databricks, dbt, Python, PySpark, Claude Code, GitHub Copilot
Aufbau einer cloud-nativen Datenplattform nach „Modern Data Stack“-Paradigma, Automatisierung ELT Strecken & Data-Pipelines
Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen versorgt. Entsprechend war eine skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren.
Inhaltliche Konzeption einer performanten, skalierbaren und kosteneffizienten Datenplattform unter Anwendung des Modern Data Stack-Paradigmas in der Microsoft Azure Cloud
Inhaltliche Konzeption einer performanten, skalierbaren und kosteneffizienten Datenplattform unter Anwendung des Modern Data Stack-Paradigmas in der Microsoft Azure Cloud
- Verantwortung für die Migration und Weiterentwicklung der bestehenden Analyseplattform
- Integration der in- und externen Datenquellen (HTTP-APIs als auch Datenbanken) des Kunden mittels Azure Data Factory und Azure Functions
- Transformation der Rohdaten zu verständlichen semantischen Modellen (Data Vault 2.0) mittels data build tool (dbt) unter Nutzung von Snowflake (compute und storage). Sprachen: SQL & Python
- Orchestrierung der ELT-Datenladestrecken mittels Apache Airflow und Implementierung von Testing-Best Practices
- Einführung eines internen, frei zugänglichen Datenkatalogs zur Stärkung des Self-Service Charakters der Datenplattform auf Basis von Open Metadata
Technologien: Github, Docker, Kubernetes, Azure Functions, data build tool, Snowflake, Apache Airflow, Open Metadata, Azure Data Factory