Azure Data Engineer
Schlagwörter
Skills
- Microsoft Azure
- Azure Data Factory
- Azure Synapse
- Azure Databricks
- Azure Logic Apps
- Azure Functions
- Azure DevOps
- SQL
- data migration
- data integration
- cloud
- ETL
- DWH
- Python
- Jira
- Confluence
- Scrum
Projekthistorie
03/2022
-
bis jetzt
- Design and development of scalable data ingestion pipelines to transform wide variety of Big Data datasets using Azure Synapse in the Enterprise Data Lake
- Data analysis and transformation using Spark, Pyspark and Notebooks in Azure Synapse
- Working with Big Data in parquet and delta formats
- Design tables using dedicated SQL pool in Azure Synapse Analytics
- CI/CD in Azure DevOps
- Research, analyze and implement technical approaches
01/2021
-
01/2022
Azure Data Engineer
Additiv
(Banken und Finanzdienstleistungen)
Verantwortlich für die Datenmigration und Datenintegration zwischen zwei Systemen (On-Premise in die Microsoft Azure Cloud)
Technologien:
Technologien:
- Azure Data Factory
- Azure Functions
- Azure DevOps
- Azure Logic Apps
- Microsoft SQL
- Python
- Rest API Git
- Soap, XML
- JSON
- Jira
- Confluence
- Scrum
09/2020
-
12/2020
Azure Data Engineer
LEAD Consult
(Internet und Informationstechnologie)
- Design and implement ETL processes using Azure Databricks to move data from various sources to a data warehouse
- Develop and maintain data pipelines to ensure reliable and efficient Scheduling orchestration using Azure Data Factory
- Implementation of PySpark/SQL code to transform and process data, and to implement complex business logic using Databricks Notebooks
- Troubleshoot and resolve issues related to data processing, data quality, and system performance
- Develop and maintain technical documentation for data processing pipelines and data solutions
- Troubleshoot and resolve data-related issues in a timely manner
04/2018
-
06/2019
Datenintegration Berater
Deutsche Bank Bauspar
(Banken und Finanzdienstleistungen)
- Entwicklung, Wartung und Unterstützung von SQL Server Integration ServicesPaketen (SSIS) im Zusammenhang mit dem Extraktions-, Transformations- und Ladeprozess (ETL-Prozess) mit Microsoft SQL Server 2012
- Entwurf und Implementierung eines Prototyps zur Migration der bestehenden On-Premise-Lösung in die Microsoft Azure Cloud unter Verwendung von Azure Data Factory V2, DevOps, Logic Apps, Azure
Functions - MS SQL Server
- SSIS
- T-SQL
- Azure Data Factory
- Azure Logic Apps
- Azure Functions
- SCRUM
- Jira
11/2017
-
03/2018
Data Engineer
LEAD Consult
(Internet und Informationstechnologie)
- DWH Entwurf und Entwicklung
- Datenmigration
- Datenintegration
- Datenqualitätsanalyse
- Azure Data Factory,
- MS SQL Server
- SSIS
- T-SQL
11/2015
-
11/2016
Data Engineer
HighQ-It
(Internet und Informationstechnologie)
- Analyse und Optimierung bestehender Datenflüsse
- Datenbankentwicklung und -optimierung
- Implementierung verschiedener gespeicherter PL / SQL-Prozeduren
- Oracle
- SQL
- Stored Procedure
- Jira
- Scrum
Reisebereitschaft
Weltweit verfügbar
