28.10.2026 aktualisiert


Premiumkunde
100 % verfügbarStaff Data Platform Engineer / Data Engineer / Airflow Experte
Hamburg, Deutschland
Weltweit
B.Sc. InformatikÜber mich
Self-Service-Datenplattformen, auf denen andere Teams sicher aufbauen.
Skills
AI AgentsData LakehouseApache AirflowAmazon Web ServicesPythonSQLApache SparkAWS GlueTerraformAWS EKSDatabricks
- Java, Scala, Python, SQL
- Spring Boot, JDBI, Spring, JPA
- RabbitMQ, Messaging, Microservices
- Apache Spark, Databricks, Airflow, Superset
- FastAPI, SQLAlchemy, Haystack, Alembic, Langchain, Huggingface
- Cloudformation, Terraform, Docker
- AWS: EC2, ECS, Fargate, RDS, DynamoDB, S3, SQS, SNS, StepFunctions, Lambda, AWS Batch, Athena, Data Pipeline, Serverless, EMR
- Datalake, Semantic Layer, Lakehouse
- Github Actions, Jenkins, Airflow 2, Airflow 3.x, Gitlab CI/CD
- MariaDB, MySQL, PostgreSQL, AWS Redshift
- GPDR, DSGVO, EU AI Act
- Data Governance / AI Governance
- Agentic Data Engineering
- Agentic Engineering
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit2022
Sprachen
DeutschMutterspracheEnglischMuttersprache
Projekthistorie
- Einführung von Apache Airflow 3 als zentrales Orchestrierungstool
- Wartung und Pflege von Apache Superset 6
- AWS EKS, S3, Glue, Athena
- Kubernetes
- dbt ( data build tool ), dbt core
- Aufbau einer Self-Service Datenplattform
Tätigkeit:
- Einführung von Airflow / Ablösen der custom ETL solution
- Entwicklung vom Datawarehouse
- Entwicklung von der Customer Data Platform
- Entwicklung von ETL Strecken von externen quellen in das Datawarehouse
- Anbindung von Plenigo, Salesforce, Adobe Marketing Cloud
- Konzipierung von Reportings und neuen KPIs
- Python, SQL, SQLAlchemy
- AWS (EC2, Lambda, Serverless, S3, Redshift, SWF, Sagemaker, ECS Fargate, VPC)
- Airflow
Implementing an internal Chatbot using Langchain.
- Integrating internal data sets for retrieval
- Integrating RAG for better results
- Securing data for different teams/departments with a multi tenant paradigm