Experte für 3D-Computer-Vision und Echtzeit-Signalverarbeitung

Im Rahmen einer Ausschreibung für ein Umfelderfassungssystem, welches in der Lage ist, Kennzeichen von einem behördlichen Kontrollfahrzeug aus zu lesen, wurde ein Funktionsmuster entwickelt, welches auf Basis von Stereo-Video-Bildströmen Objekte von einer mobilen Plattform aus detektiert und zielgerichtet in hoch aufgelösten Bildfolgen Algorithmen zur maschinellen Kennzeichenlesung anwendet.

Für die Umsetzung wurde ein Objektdetektionssystem realisiert, welches ausgehend von einer Fahrbahnoberflächenrekonstruktion Fahrzeuge 3-dimensional mit einer Frequenz von ca. 12 Hz  erfasst. Das Lesen der Kennzeichen erfolgt in Bilddatenströmen mit einer Auflösung von ca. 9 Megapixel. Durch aktive nah-infrarot Beleuchtung, spezielle Objektive sowie eigens entwickelte Software zur Belichtungssteuerung werden diese Bilddatenströme bestmöglich für die maschinelle Kennzeichenlesung bei allen Witterungsbedingungen vorkonditioniert. Detektierte Objekt-Fronten bzw. Heck-Ansichten aus der Stereo-Video-Objekterkennung werden in das hoch aufgelöste Bildmaterial überführt, so dass kleine Bildausschnitte kontinuierlich nach Kennzeichen durchsucht werden können.

Die Umsetzung als scannendes System ermöglicht auch bei eingeschränkten Sichtbedingungen (insbesondere Niederschlag bei Nacht oder Gegenlichtsituationen) sowie hohen Differenzgeschwindigkeiten die Detektion von Kennzeichen. Die Umsetzung erfolgte bereits im frühen Entwicklungsstadium auf Basis einer virtualisierten
Testumgebung und der Auswertung aufgezeichneter Messdaten. Für die Optimierung des Laufzeitverhaltens im Echtzeit-Betrieb wurde auf Icinga-basierte Monitoring-Komponenten zurückgegriffen.

Die Realisierung erfolgte auf Basis eines Automitive-tauglichen Embedded-PCs-Systems. Für die stereoskopische Bildakquisition wurden GigE-Vision-Kameras eingesetzt, deren softwaretechnische Integration ebenfalls Bestandteil des Projekts war. Sämtliche C++-Algorithmen zur Stereo-Video-Signalverarbeitung und automatischen Kalibrierung des Messsystems sowie für das nachgelagerte Objekt-Tracking wurden eigenverantwortlich In-House realisiert. Die Partitionierung des Signalverarbeitungssystems in mehrere wiederverwertbare ausführbare Hintergrunddienste erfolgte auf Basis eines Shared-Memory-basierten Interprozess-Kommunikationssystems.

Entwicklung von C/C++ Software-Komponenten (in Unterbeaufragung) für DLR-Großforschungsanlagen zur Erfassung von Straßenverkehrsobjekten

• Konzeption und Implementierung von Echtzeit-Signalverarbeitungsalgorithmen zur Fusionierung von Mono-Video- und Radar-Daten
• Implementierung von Objekterkennungsverfahren auf Basis Mono-Video-Radar-Fusionssensoren, die motorisierte Verkehrsteilnehmer von mehreren Standorten aus synchron beobachten
• Implementierung von Ausgabeschnittstellen zur Bereitstellung von 3D-Trajektorien-Daten über SQL-Datenbanken
• Implementierung von Echtzeit-Visualisierungen detektierter Objekte in Kamerabildern für Web-Applikationen mittels FFMPEG
• Implementierung Nagions/Icinga Monitoring-System zur kontinuierlichen Überwachung von Linux-Server-Clustern, auf denen Echtzeit-Algorithmen ausgeführt werden
• Konzeption und Implementierung von Stereo-Video-Signalverarbeitungsalgorithmen zur Detektion von Fußgängern und Radfahrern als zusätzliches Subsystem
• Mitwirkung an Konzeption von mobilen Aufbauten, so dass Verfahren zur Signalverarbeitung und Objekterkennung auf integrierter Linux-Rechentechnik angewendet werden können

---

Weitere Informationen zur Erstausprägung der Forschungskreuzung:
https://www.dlr.de/de/forschung-und-transfer/forschungsinfrastruktur/grossforschungsanlagen/aim-forschungskreuzung

Zur automatisierten Detektion und Vermessung von Fahrzeugen im Straßenverkehr wurde die Softwaretechnische Infrastruktur für ein Multi-Kamera-System zur Echtzeit-Signalverarbeitung realisiert.

Als Rechenplattform wurde ein Verbund aus passiv gekühlten Embedded-PC eingesetzt, um die eingehenden Daten energieoptimiert verteilt auszuwerten. Basierend auf dem IoT-Protokoll MQTT wurde ein Interprozess-Kommunikations-System erstellt, welches Massendaten über Shared-Memory-Datenkanäle transportiert und symbolische Information über TCP/IP. Das Embedded-System empfängt kontinuierlich 3 hoch-aufgelöste Bilddatenströme mit einer Taktrate von jeweils 25 Hz sowie Daten einer Zeilenkamera mit 400 Hz. Ergänzend dazu werden Radar-Daten mit einer Update-Rate von 100 Hz empfangen und zusammen mit den Daten der Zeilenkamera online ausgewertet, um im Falle der Detektion eines relevanten Ereignisses Bilddaten der 3 hochauflösenden Kameras weiterzuverarbeiten, die in flüchtigen
Shared-Memory-Puffern über einen festen Zeitraum vorgehalten werden. Shared-Memory-Datenpakete werden zwischen den zum Einsatz kommenden Embedded-PC-Systemen in Abhängigkeit der konfigurierten Datenströme und
zu analysierenden Ereignisse on-Demand über generische Hintergrundprozesse repliziert.

Das System wurde mit einem Icinga-basierten Monitoring-System ausgestattet und einem Web-HMI. Das Systemdesign wurde so gewählt, dass zu einem späteren Zeitpunkt Java-Programme über denMQTT-Nachrichtenbus mit dem C++-basierten Subsystem zur Echtzeit-Signalverarbeitung gekoppelt werden können.

Umsetzung im Rahmen Entwicklungsingenieur-Tätigkeit im Bereich videobasierter Fahrerassistenzsysteme

• Entwicklung eines hochrobusten und hochverfügbaren Stereovideo-Objektdetektors für Kfz-Sicherheitsanwendungen
• Echtzeitfähige Implementierung der Bildverarbeitungsalgorithmen in C++, zum Teil auf seriennaher Hardware
• Entwicklung einer Absicherungsmethodik
• Mitwirkung an Aufbau eines Versuchsfahrzeugs (inkl. Referenzsensorik) für Erprobung des Stereo-Video-Objektdetektors
• Entwurf und Umsetzung einer CAN-Bus-Schnittstelle
• Bereitstellung und Erprobung des Detektors zusammen mit mehreren Automobilherstellern
• Entwicklung weiterer C++-Bildverarbeitungsprototypen für Freiflächenerkennung und SLAM (Simultaneous Localization And Mapping)