18.11.2026 aktualisiert


Premiumkunde
nicht verfügbarinfo: nicht verfügbar bis 01.12.2026
Databricks Data Engineer & AI Engineer
Berlin, Deutschland
Weltweit
B.Sc. Business Mathematics, Technische Universität BerlinÜber mich
Mathematiker und Data & AI Engineer mit sechs Jahren Data Engineering, davon drei Jahre produktiv mit Databricks auf Azure. Schwerpunkt: Lakehouse-Plattformen und DWH-Migrationen in Banken, Versicherung und Industrie sowie GenAI- und Agentic-AI-Lösungen mit Git, CI/CD und formaler Abnahme.
Skills
OAuth 2.0RAGMLflowAzure FunctionsData LakehouseAzure DatabricksDelta LakeAzure DevOpsLangChainSql Data WarehouseAtlassian JiraBankingData ArchitectureData GovernanceData Integration
Databricks & Lakehouse Engineering
Rund 6 Jahre Data Engineering und 3 Jahre produktive Databricks-Praxis: PySpark, Delta Lake, Unity Catalog und Medallion-Architektur. Aufbau und Optimierung von Ingestion- und Verarbeitungspipelines sowie Migration von Data-Warehouse-Workloads in die Lakehouse-Plattform.
Agentic AI, MCP & GenAI
Produktive Multi-Agent-Architekturen (Mosaic AI Agent Framework, Genie Spaces) hinter zentral verwalteten, OpenAI-kompatiblen Endpoints mit MCP-Server-Integration und OAuth-Absicherung. LLM-Bereitstellung und Prompt-Flow-Orchestrierung über Azure AI Foundry. End-to-End-RAG-Pipelines mit Parsing, Chunking, Embeddings, Vector Search und Re-Ranking.
KI-gestützte Entwicklung (Claude Code, Copilot)
Claude Code als primäres Entwicklungswerkzeug im täglichen Einsatz, ergänzt durch GitHub Copilot, für Anforderungsanalyse, Coding, Testautomatisierung und Dokumentation. Agentic Engineering als gelebte Arbeitsweise inklusive Review-Prozessen über Pull Requests.
dbt, Datenmodellierung & DWH-Migration
Produktive Erfahrung mit dbt bei der Migration eines Data Warehouse nach Databricks. Datenmodellierung nach Data Vault 2.0 (Raw Vault, Business Vault) und Medallion-Architektur. Plattformmigrationen, u. a. BigQuery nach Databricks mit Zielarchitektur, Reconciliation, Validierung und Cleanup.
Python & SQL Datenverarbeitung
Expertenkenntnisse in Python und SQL für ETL-/ELT-Prozesse, analytische Workloads und statistische Modellierung. Einsatz in regulierten Unternehmensumgebungen mit Git-basierten Workflows, Code-Reviews und formaler Kundenabnahme.
Cloud & Infrastructure as Code (Azure, Terraform)
Fortgeschrittene Kenntnisse in Microsoft Azure (Data Factory, ADLS Gen2, Key Vault, Entra ID) und Terraform für Infrastructure as Code. Gestufte CI/CD-Pipelines mit Plan-/Apply-Trennung und Approval-Gates.
Data Governance & Datenqualität
Unity-Catalog-Governance, RBAC, Berechtigungs- und Namenskonzepte, Data Lineage und Datenklassifizierung. Automatisierte Abstimmung (Reconciliation) auf Transaktionsebene mit Toleranzlogik, Abweichungskategorisierung und Match-Reporting im Banking-Umfeld.
FastAPI, Docker & MLflow
FastAPI zur Bereitstellung OpenAI-kompatibler REST-APIs, Docker für Deployments. MLflow für Experiment-Tracking, Modellversionierung, Deployment und Monitoring.
Power BI & Reporting
Interaktive Dashboards und skalierbare Reporting-Architekturen mit Power BI und Tableau für Kunden aus Banking und Versicherung, inklusive Row-Level Security und Performance-Optimierung.
Workshops, Coaching & Wissenstransfer
Konzeption und Durchführung Databricks-Workshops und Trainings für Entwicklerteams und Fachanwender: Materialien, Hands-on-Übungen und Coaching zur Teambefähigung.
Git & Jira Change Management
Git-basierte Entwicklung mit Code-Reviews, Jira-gestütztem Ticket-Workflow und strukturiertem Change Management. Erfahrung mit Confluence-Dokumentation und agiler Delivery (Scrum, Kanban).
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2020
Sprachen
ArabischMutterspracheDeutschverhandlungssicherEnglischverhandlungssicher
Projekthistorie
Aufbau einer governance-konformen Datengrundlage für konzernweite Forschungs- und Entwicklungsentscheidungen eines Industriekonzerns auf Azure Databricks. Ingestion-Strecken für heterogene externe Quellen, darunter Patentdaten und Metadaten wissenschaftlicher Publikationen. Modellierung in Delta unter Unity Catalog mit Schema- und Qualitätsprüfungen vor der kuratierten Schicht. Entwicklung im gemeinsamen ETL-Repository mit Pull Requests, Code-Reviews und dokumentiertem Change Management, Deployment über Azure DevOps. Tech: Databricks, PySpark, Delta Lake, Unity Catalog, Azure DevOps, Python, SQL.
Token- und Kostenmonitoring für eine Databricks- und Azure-AI-Foundry-Plattform bei einem internationalen Industriekonzern: Nutzungsdatenmodell auf den Systemtabellen des Unity Catalog, Alerting und Budgetlogik, Power-BI-Berichte für Plattformverantwortliche und Controlling. Migration eines zentralen Datenlayers auf Metric Views und Genie Spaces für den natürlichsprachlichen Zugriff auf governance-konforme Daten. Berechtigungen über Entra-Gruppen und formale IAM-Requests, Auslieferung über Azure DevOps mit Pull Requests und Code-Reviews. Tech: Databricks, Unity Catalog, Metric Views, Genie Spaces, Azure AI Foundry, Power BI, Azure DevOps, Python, SQL.
Design und Entwicklung von Datenaufnahme- und Verarbeitungspipelines mit PySpark, Delta Lake und Unity Catalog. Integration externer Datenquellen (REST/SOAP APIs) in das Lakehouse. Aufbau der Ingestion- und Curation-Schicht für GenAI-Agenten (Genie Spaces) und RAG-Vektorindizes. Multi-Agenten-Architekturen mit Mosaic AI und FastAPI. Git-basierte Entwicklung, Terraform auf Azure, CI/CD und Jira-Workflows.