Web- und Softwareentwicklung

AutoClipSocial ist eine automatisierte Pipeline zur Erstellung und Veröffentlichung von Kurzvideos auf verschiedenen Social-Media-Plattformen mithilfe von KI.
Das System kann kurze Videos von YouTube abrufen, automatisch KI-generierte Untertitel und Voice-Over erstellen und die fertigen Videos ohne manuelles Eingreifen auf Plattformen wie Instagram oder YouTube veröffentlichen. Das Projekt nutzt moderne KI- und Webautomatisierung, um die Content-Erstellung für soziale Medien zu optimieren.

---

Überblick & Funktionen
Automatisiertes Video-Abrufen
Ein Scraping-Modul (basierend auf yt-dlp) lädt Quellvideos von YouTube herunter. Es kann gezielt bestimmte Videos oder Kanäle ansteuern und automatisch trendende oder relevante Kurzvideos abrufen.
KI-generierte Inhalte
Ein KI-Modul (über die OpenAI API angebunden) erstellt für jedes Video passenden Textinhalt – etwa Zusammenfassungen oder Kommentare. Diese Untertitel können an den Videoinhalt angepasst und in mehreren Sprachen erstellt werden (konfigurierbar pro Nutzer/Plattform).
Text-to-Speech Voiceover
Die erzeugten Untertitel werden mithilfe des GPT-4 mini TTS-Modells von OpenAI in Sprache umgewandelt. So entsteht ein natürlicher Sprechertext (z. B. mit der Stimme „echo“), der mit dem Video kombiniert wird. Der Originalton kann dabei entfernt und durch die KI-Narration ersetzt werden, zusätzlich kann Hintergrundmusik unterlegt werden.
Videokomposition
Mit FFmpeg und Python-Bibliotheken wie MoviePy und Pydub werden die KI-generierten Audiospuren mit dem Video zusammengeführt. Auf Wunsch können auch Wasserzeichen oder Untertitel eingefügt werden. (FFmpeg ist in der Docker-Umgebung vorinstalliert.)
Automatisiertes Posten
Fertige Videos werden automatisch auf Social-Media-Plattformen hochgeladen. Für Instagram nutzt das Projekt ein Playwright-Automationsskript (headless Chromium), das Nutzeraktionen wie „Neuer Beitrag“, Beschriftung eingeben und Veröffentlichen simuliert. Für YouTube-Uploads kann eine ähnliche Automatisierung oder API-Anbindung eingerichtet werden.
Planung & Warteschlangen
Ein Task-Scheduler (Celery-Worker mit Message Broker) verarbeitet Video- und Posting-Aufgaben im Hintergrund. Nutzer können festlegen, wie viele Beiträge pro Tag veröffentlicht werden, Prioritäten setzen und Beiträge im Voraus planen. Mehrere Aufgaben können gleichzeitig ausgeführt werden.
Multi-Plattform-Unterstützung
Das System ist modular aufgebaut – neue Plattformmodule lassen sich leicht ergänzen. Aktuell gibt es Module für Instagram (Direkt-Posting) und YouTube (Content-Sourcing). Mehrere Social-Media-Konten können verwaltet werden, jeweils mit individuellen Einstellungen zu Sprache und Posting-Frequenz.
Web-Dashboard (Frontend)
Eine Weboberfläche (entwickelt mit TypeScript, JavaScript und CSS) ermöglicht die Überwachung und Steuerung der Pipeline. Hier können Nutzer Inhalts-Prompts für die KI anlegen, abgerufene Videos einsehen („Produkte“), den Posting-Status prüfen und Logdateien einsehen. Die Kommunikation mit dem Backend erfolgt über REST-API-Endpunkte (bereitgestellt vom FastAPI-Server).
Admin & Analytics
Das Projekt enthält Modelle zum Erfassen der Beitrags-Performance (z. B. Views, Likes) und Aktionen. Künftige Versionen sollen Analysen zur Performance von KI-generierten Posts pro Plattform liefern.

---

Technologiestack
Backend (Python)

• FastAPI – Leistungsstarkes Python-Webframework für asynchrone API-Endpunkte (mit Pydantic für Datenvalidierung).
• SQLAlchemy & Alembic – ORM mit asynchroner Unterstützung und Migrationswerkzeug (z. B. PostgreSQL).
• Celery – Hintergrund-Task-Management für Download, KI-Generierung und Upload.
• Playwright (Chromium) – Webautomatisierung für Instagram-Uploads im Headless-Browser.
• OpenAI API – Text- und Sprachgenerierung (z. B. GPT-4, gpt-4o-mini-tts).
• MoviePy & Pydub – Video- und Audiobearbeitung (mit FFmpeg im Hintergrund).
• Mako Templating – Dynamische Inhalte und Prompt-Vorlagen.

Frontend (TypeScript & JavaScript)

• Moderne SPA-Architektur (z. B. mit React oder Vue, TypeScript-basiert).
• Kommunikation mit Backend über REST-API.
• CSS-gestylte, responsive Oberfläche.

Containerisierung

• Vollständig containerisiert mit Docker.
• docker-compose.yml orchestriert Backend, Frontend, PostgreSQL-Datenbank und Redis-Message-Broker.
• Konfiguration über Umgebungsvariablen.

Das Hauptziel dieser Plattform ist der Aufbau eines integrierten Systems zur intelligenten Überwachung und Verwaltung kritischer Infrastrukturen. Durch den Einsatz von IoT-Technologien und Echtzeitdaten ermöglicht die Lösung eine präzise Überwachung, fortschrittliche Analysen und eine schnelle Reaktion auf Veränderungen. Die Ergebnisse: höhere Effizienz, optimierter Ressourceneinsatz sowie verbesserte Nachhaltigkeit und Sicherheit der Umgebung.

Technische Spezifikationen
1. Funktionen & Leistungsmerkmale

• Infrastrukturmanagement: Überwachung von Wasser, Strom, Gas, Verkehr, Grünflächen, Flora und Fauna
• IoT-Netzwerk: Echtzeit-Datenerfassung über Sensoren; Kommunikation via MQTT / CoAP / HTTP; Architektur auf Basis von LoRaWAN oder NB-IoT
• IoT-Plattform: Zentrale Geräteverwaltung, Echtzeit-Datenverarbeitung, intelligente Alarmierungen
• Sicherheit: TLS/SSL-Verschlüsselung, Geräteauthentifizierung, kontinuierliche Netzwerküberwachung
• GIS & Karten: Analyse mit QGIS, interaktive Karten mit OpenLayers
• Benutzerportal: Dashboards für Administratoren, Experten und Studierende; Serviceanfragen und Berichte
• Benachrichtigungssystem: Sofortige Warnmeldungen, Ereigniskalender, Wartungsplanung

2. Eingesetzte Technologien

• Frontend: Angular (v12+), TypeScript, HTML5, CSS3
• Backend: Node.js (LTS), Express.js, gesichert mit JWT & OAuth2
• Datenbank: MySQL mit Sequelize ORM
• GIS: QGIS (Analyse), OpenLayers (Web-Mapping)

3. Infrastruktur & Betriebssysteme

• Skalierbare physische oder virtuelle Server
• IoT-Endgeräte mit sicherer Netzwerkintegration
• Serverbetriebssystem: Ubuntu Server 20.04 LTS
• Clientbetriebssysteme: Windows, macOS, Linux

4. Entwicklungsmethodik

• Dreischichtige Architektur:
  Präsentationsebene (Angular)
  Geschäftslogik (Node.js)
  Datenhaltung (MySQL)
• Entwicklungsprozess auf Basis von BPMN (Business Process Model and Notation)

Das Mana-Projekt bietet eine innovative Erfahrung im Bereich der Mixed Reality, die Besucher 2500 Jahre in die Vergangenheit, in die glorreiche Zeit von Persepolis zurückversetzt. Bei diesem Projekt setzen die Besucher während ihrer Besichtigung der antiken Stätte Persepolis spezielle Headsets auf, die eine dreidimensionale und 360-Grad rekonstruierte Ansicht der Paläste, Säulen und historischen Szenen zeigen, als würde man direkt durch das Herz des Achämenidenreiches spazieren. Diese Technologie ermöglicht es den Besuchern, die Vergangenheit genau so zu erleben, wie sie einst war, und durch multimediale Inhalte (Videos, Bilder, Audio-Erzählungen und Texte) detaillierte Informationen über jeden Bereich zu erhalten.

Idee und Entwicklung des Projekts
Die ursprüngliche Idee für Mana stammt von Jalal Sadeghi, einem Unternehmer und Gründer des Mana-Startups. Seine Leidenschaft für Geschichte und Augmented-/Virtual-Reality-Technologien brachte ihn dazu, dieses Projekt gemeinsam mit einem Expertenteam aus Softwareentwicklern zu starten. Vor der offiziellen Umsetzung forschte das Mana-Team monatelang über historische Dokumente zu Persepolis, um genaue dreidimensionale Modelle und authentische Inhalte zu erstellen. Beim ersten Feldtest reagierten iranische und internationale Besucher, die am Tor aller Nationen von Persepolis die Mana-Headsets ausprobierten, begeistert und beeindruckt von der prachtvollen Rekonstruktion der Paläste und achämenidischen Soldaten. Dieses positive Feedback bestärkte das Team darin, das Projekt zügig abzuschließen. Nach etwa zwei Jahren intensiver Arbeit wurde Mana schließlich im Jahr 2017 offiziell vorgestellt und in Betrieb genommen.

Funktionsweise der Mana-Technologie
Die Mixed-Reality-Headsets von Mana dienen als digitaler Führer für Besucher historischer Stätten. Nach dem Ausleihen des Headsets am Eingang können sich die Besucher frei in Persepolis bewegen und erhalten beim Tragen der Headsets vollständige Rekonstruktionen der antiken Bauten anstelle der tatsächlichen Ruinen. Beispielsweise sehen sie, wenn sie vor den Treppen des Apadana-Palastes stehen, die Treppen in ihrer einstigen Pracht sowie die hohen Säulen mit doppelköpfigen Stierkapitellen, die bis zur farbigen Holzdecke reichen. Zudem erscheinen historische Figuren (wie achämenidische Soldaten oder Gesandte verschiedener Nationen mit Geschenken) als dreidimensionale Charaktere in der Umgebung, um die Atmosphäre vor 25 Jahrhunderten authentisch nachzubilden. Gleichzeitig bietet das Headset multimediale Informationen, die das Besuchserlebnis interaktiv und informativ gestalten.
Erfolge und Auszeichnungen

• Fachliche Anerkennung: 2016 erhielt das Projekt seine erste technische Zulassung durch den „Fachrat der Parse-Pasargad-Forschungsstiftung“, die die wissenschaftliche Genauigkeit der Rekonstruktionen bestätigte.
• Erster Platz für Innovation: Mana belegte den ersten Platz unter 174 eingereichten Projekten beim zweiten Co-Creation-Event von „Hamrah-e Aval“ und wurde als beste innovative Idee ausgezeichnet.
• Nationale Ehrung: Im Sommer 2017 wurde Mana bei einer Veranstaltung der nationalen Technologiebörse („Fanbazar“) in der iranischen Handelskammer als herausragendes digitales Tourismusprojekt geehrt.
• Offizielle Präsentation: Das Projekt wurde offiziell am 28. September 2017 im Beisein von Dr. Mohammad Hassan Talebian (stellvertretender Leiter der iranischen Kulturbehörde) sowie nationalen und regionalen Verantwortlichen vorgestellt. Ab diesem Tag standen Mana-Headsets den Besuchern von Persepolis zur Verfügung.
• Großer Zuspruch: Tausende iranische und internationale Touristen haben das Mana-Erlebnis bereits genutzt. Hochrangige Persönlichkeiten wie der Erste Vizepräsident, der Minister für Kommunikation und der Leiter der nationalen Kulturbehörde haben Mana getestet und positiv bewertet.
• Internationale Aufmerksamkeit: Mana hat auch internationale Anerkennung erhalten. Ein leitender Gutachter der UNESCO betonte bei seinem Besuch, dass die Technologie auch für andere historische Stätten weltweit geeignet ist und das Potenzial hat, international umgesetzt zu werden

Eingesetzte Technologien
1. 3D-Design und Modellierung

• Autodesk 3ds Max – 3D-Modellierung von Umgebung, Architektur und Charakteren
• Adobe Photoshop / Illustrator – Texturierung, grafisches Design und Bildbearbeitung
• Substance Painter – realistische Texturierung
• Unity3D Game Engine – zentrales Framework für Augmented- / Mixed-Reality-Anwendungen

2. Augmented / Mixed Reality

• Vuforia SDK – Objekterkennung und Einbindung von 3D-Modellen in die Szene
• C# – primäre Programmiersprache für die Entwicklung in Unity
• AR/VR-Headsets (Samsung S6/S7 & Gear VR)

3. Multimedia-Inhalte

• Adobe Premiere Pro / After Effects – Videobearbeitung und visuelle Effekte
• XML / JSON – Strukturierung und Verwaltung von Textinhalten und Metadaten