23.10.2024 aktualisiert
Premiumkunde
100 % verfügbarSenior Data Engineer
Essen, Deutschland
Deutschland +2
M.Sc. Wirtschaftsinformatikinfo: Deutschland, Österreich, Schweiz
Skills
APIsAmazon Web ServicesAmazon S3Atlassian ConfluenceAtlassian JiraMicrosoft AzureCloud ComputingData ArchitectureInformation EngineeringETLData VaultData WarehousingSkalierbarkeitPythonKinesiologie
Übersicht
Ich bin ein erfahrener Data Engineer & Solution Architect mit umfangreicher Erfahrung in der Konzeption und Implementierung robuster und skalierbarer Datenlösungen. Meine Expertise erstreckt sich über Datenmodellierungsmethoden wie Kimball, Inmon und Data Vault, um sicherzustellen, dass Ihre Daten für maximale Effizienz und Einsichtsgewinnung strukturiert sind. Zusätzlich verfüge ich über umfassendes Wissen und praktische Erfahrung mit Hyperscalern wie AWS und Azure, was mir ermöglicht, fortschrittliche Cloud-basierte Datenlösungen zu entwerfen und zu implementieren, die nahtlos in moderne IT-Infrastrukturen integriert werden können.
Fähigkeiten und Expertise
Ich bin ein erfahrener Data Engineer & Solution Architect mit umfangreicher Erfahrung in der Konzeption und Implementierung robuster und skalierbarer Datenlösungen. Meine Expertise erstreckt sich über Datenmodellierungsmethoden wie Kimball, Inmon und Data Vault, um sicherzustellen, dass Ihre Daten für maximale Effizienz und Einsichtsgewinnung strukturiert sind. Zusätzlich verfüge ich über umfassendes Wissen und praktische Erfahrung mit Hyperscalern wie AWS und Azure, was mir ermöglicht, fortschrittliche Cloud-basierte Datenlösungen zu entwerfen und zu implementieren, die nahtlos in moderne IT-Infrastrukturen integriert werden können.
Fähigkeiten und Expertise
- Datenmodellierung: Kimball Inmon, Data Vault
- Data Engineering: Real Time Processing Frameworks (Apache Spark, Pandas, Polars, DuckDB), Data Pipelines & ETL aus verschiedenen Quellsystemen wie SAP HANA, MySQL, Teradata, Postgres, SQLServer, APIs, etc.
- Data Architectures: Data Warehouse, Data Lake, Data Lakehouse
- Databricks: SQLWarehouse, Unity Catalog, Warehouse-to-Databricks Migration
- Python: PySpark, pandas, Polars, DuckDB, numpy, scikit-learn, rapids, streamlit, plotly
- SQL
- AWS: Message Queues, SNS, API Gateway, Lambda, S3, Redshift, Kinesis, RDS
- Azure: Synapse Analytics, Databricks, SQLDB, Azure Functions, Service Bus, Event/IoT Hub
- Snowflake
- Terraform
- Project Management: Jira & Confluence, Agile Culture
Sprachen
DeutschMutterspracheEnglischverhandlungssicher
Projekthistorie
- Aufbau eines Cloud Data Lakehouse auf Databricks
- Anbindung von Quelldatensystemen wie SalesForce, Teradata, MSSQL und SAP
- Konzeption & Implementierung der Lakehouse Layerstruktur mit Domain Driven Design Pattern
- Implementierung von Datentransformationspipelines
- Einsatz nativer Azure Cloud Services wie bspw. Azure Databricks, Azure Data Factory & Azure Event Hubs
- Modellierung & Implementierung eines Business Core Data Models (Data Vault)
- Identifikation & Implementierung von Machine Learning Use-Cases unter Berücksichtigung von MLOps basierend auf MLflow
• Design & Konzeption eines Cloud Data Lakehouse im eCommerce-Kontext mittels Databricks
• Modellierung der Layerarchitektur
• Einführung Data Quality Framework
• Modellierung des Core-Layers für Logistik- & Salesanalysen basierend auf Kimball
• Einführung von Self-Service Data Marts im Saleskontext
• Entwicklung eines generischen Connector-Frameworks zur schnellen und effizienten Integration von neuen
Datenquellen
• Migration von Hive Catalog auf Unity Catalog
• Modellierung der Layerarchitektur
• Einführung Data Quality Framework
• Modellierung des Core-Layers für Logistik- & Salesanalysen basierend auf Kimball
• Einführung von Self-Service Data Marts im Saleskontext
• Entwicklung eines generischen Connector-Frameworks zur schnellen und effizienten Integration von neuen
Datenquellen
• Migration von Hive Catalog auf Unity Catalog