18.06.2026 aktualisiert
100 % verfügbar
Senior AI & MLOps Engineer
Fankfurt am Main, Deutschland
Weltweit
Abitur (Kippenberg Gymnasium zu Bremen, 1990)Über mich
Senior AI Engineer & Enterprise Architect | MLOps Specialist (GGUF, LoRA) | BaFin- & Compliance-gehärtete DevOps-Pipelines | Ex-Deutsche Bank
Skills
MLflowLLMMLOpsKünstliche IntelligenzAutomatisierungDevOpsNatural Language ProcessingLarge Language ModelsApache SparkIT-ArchitekturGenerative AIGitLabHuggingFaceMachine Learning OperationsJenkins
Langjährige Projekterfahrung als Freiberufler im Bereich IT-Architektur, Data Engineering und DevOps/MLOps in hoch regulierten Enterprise-Infrastrukturen (Großbanken-Umfeld u. a. Deutsche Bank, Commerzbank, VisualVest). Meine Expertise erstreckt sich über die pragmatische Ablösung komplexer Legacy-Systeme, die Automatisierung geschäftskritischer Pipelines und die Implementierung hochverfügbarer Produktions-Infrastrukturen. Mein aktueller Schwerpunkt liegt auf dem Training, sowie der Quantisierung und dem Deployment von LLMs.
Mein Entwicklerherz schlägt grundsätzlich für die Faszination der Erschaffung von etwas Neuem, speziell in der R&D-Welt heutiger KI-Modelle. Darüber hinaus habe ich durch vielfältige Projekte gelernt, technische Visionen in die produktions- und revisionssichere Realität zu überführen. Ich verfüge über Erfahrung sowohl im Aufbau, Betrieb und der Erweiterung von Bare-Metal-Rechenzentren als auch moderner CI/CD-Pipelines im DevOps-Umfeld. Durch mein tiefes Fundament im Data Engineering, der Daten-Forensik (eDiscovery) und dem Management massiver Datenbestände auf Petabyte-Scale – dem technologischen Fundament moderner RAG-Systeme – bringe ich Open-Source-Modelle deterministisch, kosteneffizient und datenschutzkonform (On-Premise / Edge / GGUF, EU AI Act) in die Praxis.
Kernkompetenzen:
- Generative AI, NLP & MLOps: LLM Fine-Tuning (PEFT/LoRA), Quantisierung (GGUF, NF4, INT8), Text-to-Speech (TTS) Inferenz-Pipelines, Token-Engineering, MLflow-Tracking.
- DevOps, CI/CD & Observability: Jenkins, GitLab CI, Liquibase, Grafana, ELK-Stack, automatisierte Release-Zyklen, Härtung von Deployment-Frameworks.
- Data Engineering & Forensik: eDiscovery, Petabyte-Scale-Indizierung (Solr/Elasticsearch), Datenmigrationen, Entity Resolution, Apache-Spark-Cluster.
- Compliance & Infrastructure Governance: Technische Absicherung nach BaFin- und SEC-Vorgaben, Audit-Readiness.
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit1996
Sprachen
DeutschMutterspracheEnglischverhandlungssicherFranzösischgut
Projekthistorie
Dieses Denglisch-TTS-Llama spricht im wahrsten Sinne für sich. Das Projekt belegt praxisnah, wie sich ein altbekanntes Problem der Sprach-Synthese durch ein Llama-LoRA elegant lösen lässt.
Das Problem: Sprachsynthesizer (Text-to-Speech) scheitern kläglich an „Denglisch“. Deutsche TTS schlachtet englische Begriffe.
Die Lösung: Statt einer Datenbank mit Regex-Gefummel übersetzt dieses Llama-LoRA englische und denglische Wörter hochgradig konsistent in verständliche deutsche TTS-Phonetik, während der rein deutsche Input unangetastet bleibt.
Tech View:
- Finetuning „on the edge of overfitting“: PEFT/LoRA (lora_alpha=64) mit nur 3.648 Trainings-Paaren. Custom loss-based LR-Scheduler mit dynamischem Label-Smoothing und LoRA-Dropout gegen Overfitting. Standard-Scheduler (linear/cosine) sind hier ungeeignet.
- Hardware-Alignment & CUDA-Härtung: Behebung von Trainings-Anomalien (Negative Loss Spikes) durch Data-Packing auf Vielfache von 64 zur optimalen Auslastung der Tensor-Cores.
- Guardrails: Eliminierung von Inferenzschleifen und Token-Halluzinationen. Nicht-sprachliche Strukturen (z. B. IP-Adressen) werden unverändert ausgegeben.
- Edge AI & MLOps: GGUF-Quantisierung (Q4_K_M, Q5_K_M, Q8_0) für Betrieb auf Consumer-Hardware bei minimalem VRAM.
- Tech-Stack: Python, PyTorch, Llama 3.1, Unsloth, Hugging Face Ecosystem, PEFT/LoRA, GGUF/NF4/INT8 Quantization, MLflow, Gradio, Linux/CUDA.
Proof of Work: Portfolio, Doku und Live-Gradio-Demo: https://huggingface.co/RudraChakrin
• LLM-Infrastruktur-Scouting: Tiefgehende Einarbeitung in die Kernkonzepte moderner Transformer-Architekturen. Evaluierung von Hardware-Anforderungen, VRAM-Footprints und Quantisierungsverfahren (GGUF/NF4) für das ressourceneffiziente Deployment.
• Multimodale KI: Evaluierung von Bildgenerierungs-Modellen (Stable Diffusion) und Aufbau komplexer Workflows über ComfyUI.
• Publikations-Projekt: Abschluss der inhaltlichen und strukturellen Ausarbeitung eines interdisziplinären Sachbuch-Manuskripts im Bereich der Systemtheorie.
• Tech-Stack: Python, PyTorch, ComfyUI, Stable Diffusion, Hugging Face Ecosystem, Transformer- & Diffusion-Architectures, Llama, Mistral, Oobabooga WebUI, TensorBoard, Ollama, GGUF/NF4 Quantization.
• Plattform-Resilienz: Verantwortung für die Stabilität und Hochverfügbarkeit der RZ-Infrastruktur für >800 Volks- und Raiffeisenbanken; Fokus auf Betriebsstabilität komplexer Software-Stacks (inkl. „Robo-Advisor“-Komponenten) und regulatorische Absicherung (Guardrailing).
• CI/CD-Automatisierung: Orchestrierung komplexer Release-Zyklen (Jenkins, GitLab) und Automatisierung von Datenbank-Schema-Updates via Liquibase.
• Observability & Monitoring: Implementierung von Monitoring-Dashboards (Grafana); Log-Analyse-Stacks (ELK) zur proaktiven Stabilitätssicherung.
• 3rd Level Support & RCA: Analyse komplexer System-Defects im Live-Betrieb sowie Durchführung systematischer Root Cause Analysis (RCA). Analytischer Einsatz von Python für übergreifende Datenbank-Abfragen und Service-Validierungen.
• Stability Engineering: Überführung der RCA-Ergebnisse in permanente Bugfixes und kontinuierliche Härtung der CI/CD-Pipelines gegen wiederkehrende Fehlerbilder.
• Tech-Stack: Jenkins, GitLab CI, Liquibase, Grafana, ELK-Stack, Python, SQL.