19.06.2026 aktualisiert
teilweise verfügbar
info: Abends und am Wochenende verfügbar
Senior Data Engineer | GCP • Azure • Databricks • Airflow | Data Pipelines & Reliability
Berlin, Deutschland
Nur Remote
Bachelor of Science - BS, Computer Software EngineeringÜber mich
Data Engineer mit Schwerpunkt auf skalierbaren Datenplattformen, Streaming-Pipelines und Cloud (GCP, Azure, AWS). Technisch stark, kommunikativ, verantwortungsbewusst. Offen für Lead-Rollen und anspruchsvolle Projekte. Skills: Scala • Python • Airflow • Data Architecture • Operational Excellence
Skills
Azure DatabricksdbtGCPZutrittskontrollsystemeAgile MethodologieApache AirflowAmazon Web ServicesAutomatisierungMicrosoft AzureBig DataGoogle BigQueryBusiness-CoachingContinuous DeliveryKryptographieData Architecture
Skalierbare Datenarchitekturen
Entwurf und Aufbau großer, hochverfügbarer Streaming-Pipelines für geschäftskritische Use Cases – von User-Identifikation bis Echtzeit-Attribution im digitalen Marketing.
Cloud-Datenplattformen
Fundierte Erfahrung mit Google Cloud Platform, Microsoft Azure und AWS für skalierbare Datenpipelines, Data Warehousing und cloudbasierte Infrastruktur.
Data-Engineering-Technologien
Sicherer Umgang mit Apache Airflow, Apache Beam, BigQuery, Scala, Python und SQL für komplexe Datenverarbeitung, Orchestrierung und automatisierte Workflows.
Teamführung & Mentoring
Leitung von Projekten über funktionsübergreifende Teams hinweg, Stakeholder-Management sowie Mentoring im Bereich moderner Data-Engineering-Praktiken.
Operational Excellence
Aufbau und Betreuung von Monitoring, Incident-Management, Anomaly Detection und Root-Cause-Analysen inklusive On-Call-Verantwortung.
Data Governance & Compliance
Implementierung von Datenmaskierung, Verschlüsselung, Zugriffsrichtlinien und Compliance-Prozessen für sichere und regelkonforme Reporting-Umgebungen.
Machine-Learning-Integration
Zusammenarbeit mit Data Scientists bei TensorFlow- und PyTorch-Modellen sowie Erfahrung mit Hadoop-basierten ML-Workflows.
DevOps & CI/CD
Automatisierung von Deployments mittels GitHub-CI/CD, individuelle Deployment-Tools und Infrastructure-as-Code mit Terraform.
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2025
Sprachen
DeutschverhandlungssicherEnglischMuttersprache
Projekthistorie
Als Senior Data Engineer entwerfe, baue und betreibe ich großskalige Datenpipelines, die User-Identifikation und Attribution für digitale Werbung ermöglichen. Ich verarbeite hochvolumige Streaming-Daten aus externen und internen Quellen, transformiere sie über skalierbare Pipelines und liefere Insights für Teams, z. B. für Real-Time-Bidding und Conversion-Tracking.
Aufgaben & Verantwortungen:
Umsetzung robuster, skalierbarer Pipelines in Zusammenarbeit mit Produktteams.
Entwicklung komplexer Daten-Transformationen zur Clusterung und Klassifizierung von Usern mit Scala (Cats) und Deployment via Google Cloud Dataflow.
Orchestrierung von End-to-End-Workflows mit Airflow auf GCP Composer, inkl. datenvorbereitung, Attribution und Deduplication.
Operatives Monitoring, Anomaly Detection, Root-Cause-Analysen und On-Call-Dienste.
Zusammenarbeit mit Analytics- und Audit-Teams, Bereitstellung von Daten über BigQuery Views zur Sicherstellung von Transparenz und Compliance.
Automatisierung von Deployments über GitHub CI/CD und kundenspezifische Tools.
Integration neuer Datenkunden, Aufbau von Konfigurations-Schemata und Implementierung kampagnenspezifischer Logik.
Tech Stack: Scala (Cats), SQL, Python (Airflow), GCP (Dataflow, BigQuery, GCS, Composer), Kubernetes, GitHub CI/CD
Leitung von Sprints, Behebung von Blockern und erfolgreiche Lieferung mehrerer Data-Engineering-Projekte auf Microsoft Azure.
Architektur und Implementierung von skalierbaren Datenlösungen mit Python und Scala; Nutzung von Databricks, Azure Data Factory und Azure Blob Storage.
Verarbeitung von Streaming- und Batch-Daten (z. B. Event Hub), Speicherung in Unity Catalog, Migration von Hive-Tabellen und Nutzung von SPN-Zugängen.
Integration von GCP-Diensten wie Cloud Storage und BigQuery für nahtlose Datenverarbeitung und Analyse.
Automatisierung von Cloud-Deployments mit Terraform und Azure Pipelines; Entwicklung von Spark Checkpoints, Exportprozessen und Fehlerbehandlung.
Implementierung von Daten-Governance und Compliance-Praktiken: Maskierung, Verschlüsselung, Zugriffskontrollen, Monitoring und Alerts.
Arbeit in agilen Teams (Scrum) mit DevOps-Praktiken, Dokumentation von APIs, Optimierung von Datenmodellen und Prozessautomatisierung.
Aktive cross-funktionale Zusammenarbeit zur Integration von Daten-Workflows für bessere Entscheidungsprozesse.
Technologien / Stack: Python, Scala, Databricks, Azure Data Factory, Azure Blob Storage, Azure SQL Database, GCP Cloud Storage, BigQuery, Terraform, Spark, Unity Catalog, DevOps, CI/CD
Nutzung von Azure Data Factory und Databricks Notebooks für Datenverarbeitung auf Morpheus.
Verarbeitung großer Datenmengen mit Hadoop, Python und Machine Learning; Speicherung in SQL Server.
Erstellung von Python-Connectors, Datenkatalogen und REST APIs (Python Django) zur Datenintegration und Governance.
Orchestrierung von Datenworkflows mit Azure Data Factory Pipelines; Entwicklung von SQL Stored Procedures und UDFs.
Automatisierung und Versionierung von Deployments via GitHub, Testing mit Postman; agiles Arbeiten mit JIRA, DevOps und CI/CD.
Einsatz von Scala, Statistik, NoSQL sowie Cloud-Diensten (AWS, Azure, GCP) für skalierbare Datenlösungen.
Leitung von Initiativen zur technischen Weiterentwicklung, inklusive Redesign von Datenarchitekturen mit Azure Synapse.
Zusammenarbeit mit Data Scientists, Integration von TensorFlow- und PyTorch-Modellen.
Erstellung von Datenpipelines mit Apache Spark, Kafka, Airflow; Visualisierung mit Tableau und Power BI.
Durchführung von globalen Interviews für Data Engineers und Python-Entwickler; Präsentation innovativer Datenlösungen.
Kontinuierliche Weiterbildung und Teilnahme an Fachkonferenzen zur Anpassung an Branchentrends.
Technologien / Stack: Python, Scala, Hadoop, Databricks, Azure Data Factory, Azure SQL, Azure Synapse, AWS, GCP, Spark, Kafka, Airflow, TensorFlow, PyTorch, Tableau, Power BI, GitHub, CI/CD, DevOps