21.07.2026 aktualisiert
Premiumkunde
100 % verfügbarSoftware Developer | AWS | AI
Frankfurt, Deutschland
Nur Remote
Master of ScienceÜber mich
Senior Software Engineer mit Schwerpunkt auf AWS-Datenplattformen
Skills
AI AgentsData LakehouseDelta LakeAmazon Web ServicesData AnalysisC#ETLPythonScalaAmazon Simple Notification Service (SNS)SQLParquetAWS CDK.NET CoreApache Spark
Senior Software Engineer mit Schwerpunkt auf AWS-Datenplattformen und skalierbaren Daten-Pipelines (von der Ingestion bis zur Abfrage). Ich entwickle Systeme, die Daten von der Erfassung im Web-Maßstab bis zu einem partitionierten, abfragbaren Lakehouse auf S3 mit Abfrage-Latenzen im Sekundenbereich führen — auf vollständig automatisierter, kostenoptimierter, ephemerer Infrastruktur.
Als Backend- / Data-Engineer (in Zusammenarbeit mit Frontend- und Design-Kollegen) habe ich einen Web-Crawler in großem Maßstab und die dahinterliegende AWS-Datenplattform aufgebaut: verteilter Crawler in .NET 8 (C#) auf Tausenden ephemeren Kubernetes-Pods (Kubernetes Jobs + SQS); Crawl-Output im Terabyte-Bereich als Parquet / Snappy nach S3; AWS-Glue-(PySpark)-Pipelines mit Milliarden von Datensätzen; Bereitstellung über Athena und ein SAM-basiertes GraphQL-Backend mit Suchergebnissen im Sekundenbereich; Lifecycle-Automatisierung mit Terraform, CodeBuild und Step Functions. Schwerpunkt auf zuverlässigen Pipelines — mit Idempotenz, Retry-Logik und Monitoring (CloudWatch).
Kernstärken: Glue, Athena, S3, Spark / PySpark, pandas, Python, C# / .NET. Praktisch eingesetzt: EKS, Lambda, SAM, EC2, SQS / SNS, Step Functions, Docker, Delta Lake (inkrementelle Upserts / MERGE), Terraform, AWS CDK (Python, TypeScript), DynamoDB, ASP.NET Core (REST).
Zusätzlich entwickle ich LLM-basierte und agentische Workflows (strukturierte Extraktion, Schema-Validierung, geplante Agenten) und arbeite KI-unterstützt (Claude Code, Cursor).
Zertifizierungen: Functional Programming Principles in Scala (EPFL); AWS Solutions Architect – Associate (in Vorbereitung).
Programmiersprachen: Python, C# / .NET, Scala.
100 % Remote (MEZ), bis zu 40 Std./Woche, kurzfristig verfügbar. In Deutschland ansässig (Niederlassungserlaubnis).
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit2011
Sprachen
DeutschverhandlungssicherEnglischverhandlungssicherRussischMutterspracheUkrainischMuttersprache
Projekthistorie
Entwicklung eines verteilten Web-Crawlers in .NET 8 (C#) mit TPL-Dataflow-Pipeline, verteilt über Tausende ephemere Kubernetes-Pods (Kubernetes Jobs + AWS SQS).
Robustes Crawling: AngleSharp-HTML-Parsing, eigene DNS-Auflösung, Cloudflare-Erkennung mit Proxy-Fallback, Abuse-IP-Gating (AbuseIPDB, gecacht in DynamoDB), Rotation der Bot-Identitäten, Multi-Region-AWS-Deployment zur geografischen IP-Verteilung.
Speicherung des Crawl-Outputs im Terabyte-Bereich als Parquet/Snappy in S3.
Aufbau von AWS-Glue-(PySpark)-Pipelines: partitionierter Datensatz mit Milliarden von Datensätzen.
Inkrementelle Upserts/Merges mit Delta Lake bei eintreffenden neuen Crawls.
Bereitstellung des Datensatzes über Athena und ein SAM-basiertes GraphQL-Backend – Suchergebnisse im Sekundenbereich.
Vollständige Lifecycle-Automatisierung mit Terraform, CodeBuild und Step Functions (EKS bereitstellen → crawlen → verarbeiten → veröffentlichen → abbauen); Kostenkontrolle durch ephemere Umgebungen.
Zuverlässigkeit: Idempotenz, Retry-Logik und Monitoring (CloudWatch).