Im Projekt soll ein innovatives mobiles 3D-Multisensorsystem erforscht und realisiert werden, das durch die Auswertung von Kontextinformation situationsgerecht Bilddaten erfassen und auswerten kann. Wesentlichen Kennzeichen ist eine 3D-Multisensorik zur Erfassung der Bilddaten in Verbindung mit einer verteilten Systemarchitektur bestehend aus Komponenten mit unterschiedlichen Leistungsvermögen in Bezug auf Echtzeitfähigkeit und Rechenleistung.

Die Gewinnung der 3D-Daten erfolgt durch eine Multisensorik-Bilderfassung auf einem mobilen System in Verbindung mit einem Field-Programmable-Gate-Array (FPGA) zur echtzeitfähigen Bildauswertung und -klassifikation. Um der begrenzten Rechenleistung der mobilen Einheit Rechnung zu tragen, wird diese durch ein abgestuftes Edge-/Cloud-Computing-System unterstützt.

Zur Objektdetektion und Situationserkennung werden Verfahren des Maschinellen Lernens auf Basis von Convolutional Neural Networks (CNN) eingesetzt. Das neurale Netzwerk wird hierbei direkt auf der mobilen Einheit implementiert, während die Konfiguration bzw. Rekonfiguration des Netzes über Edge- und Cloud Computing erfolgt.