Senior Data Engineer | Senior Data Scientist | Senior AI Engineer (Azure, Databricks, Snowflake)

• Konzeption des Projekts
• Entwurf einer Big-Data-Architektur für die Verarbeitung sehr großerDatenmengen
• Entwurf und Implementierung von ETLs und Datenpipelines
• Data Governance im CDP
• Datenklassifizierung und Katalogisierung (z. B. PII-Erkennung)
• Metadaten-Management und Dateninventarisierung
• Zugriffskontrollen und Berechtigungsverwaltung (Access Management)
• Unterstützung des Referats bei der Konzeption und Durchführung neuer Projekte
• Onboarding und Schulung von Refarat-Mitarbeitern für die Cloudera Data Platform
• Entwicklung einer automatisierten Berichterstattung

Verwendete Technologien: Cloudera, Spark, Kafka, NiFi, Ranger, Atlas, Python, SQL, Azure, Airflow, CI/CD, Power BI, AWS

• Data Governance im CDP
• Datenklassifizierung und Katalogisierung (z. B. PII-Erkennung)
• Metadaten-Management und Dateninventarisierung
• Zugriffskontrollen und Berechtigungsverwaltung (Access Management)
• Sicherstellung der DSGVO- und Datenschutz-Compliance
• Überwachung der Datenqualität und Datenintegrität
• Durchführung von Audits sowie Lifecycle-Management (Archivierung/Löschung)
• Planung, Organisation und Durchführung des Projekts
• Integration von Daten aus HTTP-Clients, Azure Blob Storage und Azure
• Data Lake Gen2 mit Azure Data Factory
• Verzweigung und Verkettung von Aktivitäten in Azure Data Factory (ADF)
• Pipelines unter Verwendung von Kontrollflussaktivitäten
• Implementierung von Datenpipelines zur Extraktion von Daten aus verschiedenen Quellen
• Transformation der Daten mit ADF
• Entwurf und Implementierung von ETLs und Datenpipelines

Verwendete Technologien: Cloudera, Hadoop, Spark, Airflow, Hive, Kafka, NiFi, Python, Azure, CI/CD, Power BI, AWS

Im Rahmen eines Projekts von Bundesministerium für Wirtschaft und Energie sollen Detektionssysteme entwickelt werden mit dem es möglich ist eine 360° Überwachung um jede Windenergieanlage zu errichten, um eine Kollision mit Vögeln und Fledermäuse zu verhindern. Hierfür hat Herr Zadeh Detektionssysteme wie Radar, Ultraschall-Mikrofone und Kamerasysteme miteinander vernetzt. Anschließend hat Herr Zadeh eine Infrastruktur geschaffen, mit der alle Daten automatisch gesammelt, vereinheitlicht, gesäubert und in einer Datenbank gespeichert wurden. Danach wurden mehrere Data Pipelines implementiert, welche die Daten mit unterschiedlicher Analyse und Klassifikationsalgorithmen verarbeitet und zur Verfügung gestellt haben. Implementierung prädiktive Datenanalyse-Methoden und Maschinelles Lernen gehörten zu diesen Pipelines.

Ausgeführte Aufgabe: Koordination des Projekts, Entwicklung Cloudbasierte Data Engineering & IoT Lösungen
Eingesetzte Technologien: Azure, Azure IoT Hub, Azure Event Hub, Azure Synapse, Azure Stream Analytics, Spark, Python, SQL/NoSQL, Power BI

• Aufbau einer Architektur für eine Data-Engineering-Lösung mit Azure Data Engineering Technologien wie Azure Data Factory (ADF), Azure Data Lake Gen2, Azure Blob Storage, Azure SQL Database, Azure Databricks, Azure HDInsight und Microsoft PowerBI.
• Umwandlung von Daten aus Azure Data Lake Storage Gen2 in Azure SQL Database mit Azure Data Factory (ADF)
• Erstellen von Mapping Data Flows zur Erstellung von Transformationslogik.
• Debugging von Datenflüssen, Untersuchung von Problemen, Behebung von Fehlern usw.
• Erstellen von ADF-Pipelines zur Ausführung von HDInsight-Aktivitäten und zur Durchführung von Datentransformationen.
• Erstellen von ADF-Pipelines zur Ausführung von Databricks Notebook-Aktivitäten zur Durchführung von Transformationen.
• Überwachen von Datenpipelines, Erstellen von Warnungen und Berichten von Metriken aus dem Azure Data Factory Monitor.
• Überwachung von Data Factory Pipelines mit Azure Monitor und Einstellung von Diagnose Einstellung, die an Azure Storage Account oder Log Analytics Workspace weitergeleitet wird.
• Erstellen von Log Analytics Workspace, Erstellen von Arbeitsmappen und Diagrammen aus Log Analytics auf den Azure Data Factory Pipelines.
• Erstellen des Log Analytics-Arbeitsbereichs, Erstellen von Arbeitsmappen und Diagrammen aus Log Analytics auf den Azure Data Factory-Pipelines
• Koordination des Projekts
• Erstellung von Dashboards in Power BI
• Erstellung von Power BI Reports

Ausgeführte Aufgabe: Koordination des Projekts, Entwicklung Cloudbasierte Data Engineering Lösungen
Eingesetzte Technologien: Azure, HDInsight, Azure SQL, Azure Data Lake, Azure Data Factory, Power BI, Databricks, Azure Blob Storage Gen2 , Python, DevOps

• Design and implementation of advanced deep learning models for automated detection and classification of breast cancer in radiological image data.
• Performing feature extraction to identify relevant image features using convolutional neural networks (CNNs).
• Optimization of model performance by fine-tuning the loss function and hyperparameter tuning with Optuna.

Technologies used: Python, TensorFlow, PyTorch, CNN architectures, Optuna