17.10.2026 aktualisiert


Premiumkunde
100 % verfügbarSenior Data Engineer | Data Architect
Duisburg, Deutschland
Weltweit
B.Sc. Business Informatics (Wirtschaftsinformatik)Über mich
Seit 2016 Senior Data Engineer und Data Architect. Mein Schwerpunkt liegt auf Data Vault 2.0 und Lakehouse-Architekturen mit Databricks und dbt sowie auf Datenintegration mit Talend DI/ESB. Erfahrung in Banken, Energie, Krankenkassen, Handel und Fertigung, von der Architektur bis zur Umsetzung.
Skills
Azure DatabricksData ArchitectureData VaultData WarehousingPythonTalendSnowflake
Kernkompetenzen
- Data-Vault-2.0-Architektur
- Lakehouse- und Medallion-Architekturen
- Datenintegration und API-Architektur
- Datenmodellierung (Data Vault, Star Schema, ER)
- Datenmigration
- Schulung und Coaching
Data Engineering & Orchestrierung
- Databricks (Delta Lake, Spark/PySpark)
- dbt Core
- Apache Airflow
- Kubernetes
Integration & Streaming
- Talend Data Integration
- Talend ESB (Apache Camel)
- Talend Cloud
- Confluent Kafka
- REST- und OData-APIs
Datenbanken
- IBM DB2 LUW
- Exasol
- Oracle DB
- MS SQL Server
- Snowflake
- Google BigQuery
Programmiersprachen
- SQL, T-SQL, PL/SQL
- Python
- Java (SE)
Business Intelligence
- Power BI
- Tableau
Hyperscaler
- Microsoft Azure
- Google Cloud
DevOps
- Azure DevOps
- GitLab CI/CD
- Jenkins
- Git
Qualitätsmanagement
- Abnahme- und Akzeptanztests
- Integrationstests
- Testautomatisierung
Zertifizierungen
- Talend Data Integration Certified Developer
- Talend API Services Certified Developer
- Talend Cloud Certified Administrator
- AWS Certified Cloud Practitioner
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2026
Sprachen
DeutschMutterspracheEnglischMutterspracheSpanischGrundkenntnisseTürkischverhandlungssicher
Projekthistorie
Aufbau einer Integrationslandschaft mit rund 25 Schnittstellen zwischen ERP, Produktdatenmanagement, neuem Fertigungssteuerungssystem und einer Cloud-Lösung für Produktkonfiguration und Angebotserstellung. Plattform: Talend Cloud mit Remote Engines (DEV, TEST, PROD).
- - Review von Schnittstellenspezifikationen, Gap-Analysen und technische Lösungsdesigns
- - Entwicklung von Talend-ESB-Routen (Apache Camel): dateibasierte Listener, Message-Routing, Exception Handling, Datei-Lifecycle
- - Talend-DI-Jobs für Parsing, Validierung, Transformation und batchweise Übertragung von XML- und JSON-Daten an REST- und OData-APIs
- - Wiederverwendbarer Baukasten aus Joblets, Routelets, Routines und Context Groups, u. a. OAuth2, generische API-Calls mit Retry-Logik, Logging und Fehlerbehandlung
- - Integrationsmuster: Idempotenz, Wiederaufsetzbarkeit, Teilfehler-Behandlung, Batch-Verarbeitung
- - Anbindung an Scheduling, Monitoring und Ticketing über strukturiertes Logging
Skills: Talend DI, Talend ESB, Talend Cloud, Apache Camel, REST, OData, OAuth2
Aufbau und Weiterentwicklung eines Lakehouse auf Databricks nach Data Vault 2.0 für SAP- und CRM-Quelldaten (Vertrags-, Abrechnungs- und Geschäftspartnerdaten). Modellierung von Bronze-, Silver- und Gold-Layer mit dbt, Bereitstellung über Power-BI-Semantikmodelle für das Fachbereichs-Reporting.
- - Modellierung und Pflege von Hubs, Links und Satellites im Silver- und Gold-Layer mit dbt für Vertrags-, Vertragskonto- und Geschäftspartnerdaten
- - Erweiterung von Power-BI-Semantikmodellen (TMDL) inkl. Rollen, Beziehungen und Kalendertabellen
- - Code-Reviews für dbt- und Power-BI-Änderungen: Korrektheit, Datenfrische, Testabdeckung
- - Datenqualität über dbt-Tests (unique, relationships, Effectivity Satellites)
- - Anforderungsaufnahme und Abstimmung mit dem Fachbereich
- - Pull-Request- und Branch-Workflow in Azure DevOps
Skills: Data Vault 2.0, Databricks, dbt, Power BI, SQL, Azure DevOps, SAP IS-U
Konzeption und Durchführung einer zweitägigen Data-Vault-2.0-Schulung im Rahmen der Migration einer Oracle-Datenplattform nach Databricks. Data Vault 2.0 wird beim Kunden als automatisierbares Modellierungsregelwerk für KI-generierte Ladestrecken eingeführt.
- - Modernisierung einer bestehenden Schulung inkl. Einordnung in Lakehouse- und Medallion-Architekturen
- - Didaktisches Konzept: Grundlagen an Tag 1, technischer Hands-on an Tag 2, Modellierungsübungen und Szenario-Quiz
- - Schulungsunterlagen zu Hubs, Links, Satellites, Multi-Active, Effectivity und Status Tracking Satellites, Same-As Links, PIT, Bridge, Business Vault und Information Marts
- - Praxisfälle: gelöschte Daten, neue Spalten, Quellwechsel, geänderte Business Keys
- - Hands-on-Paket für MS SQL Server: fiktives Quellsystem, DDL- und Ladeskripte in T-SQL, Musterlösungen und Kontrollskripte
- - Umsetzung in T-SQL: Hash Keys, HashDiffs, idempotente Insert-only-Ladestrecken, Ghost Records, SCD2-Views
- - Regelwerk für KI-generierten Ladecode: Namenskonventionen, Hash-Regeln, Ladetemplates, Review-Checkliste
Skills: Data Vault 2.0, Databricks, MS SQL Server, T-SQL