Teilprojekt 1: Kognitive Systemmodellierung
| Teilprojektleiter | Prof. Dr.-Ing. Frank Wallhoff |
| Teilprojektmitarbeiter | Tobias Theuerkauff, M.Sc. Yves Wagner, B.Eng. |
| Teilprojektvolumen | 321.332 € |
| Fördermittelgeber | Nds. Ministerium für Wissenschaft und Kultur - VW-Vorab/Wissenschaft für nachhaltige Entwicklung |
| Teilprojektlaufzeit | 02/2017 bis 12/2020 |
In diesem Teilprojekt stand die Entwicklung einer kognitiven Steuerungsarchitektur zur Online-Verarbeitung verschiedenster Daten im Kontext von Unmanned Surface Vehicles (USV),Autonomous Underwater Vehicles (AUV) sowie Remotely Operated Vehicles (ROV) im Mittelpunkt. Im entstandenen System sollten hierfür das Wissen über die vehikelspezifisch nutzbaren Funktionen und Arbeitsbereiche über ein geeignetes Modellierungsverfahren softwareintern repräsentiert werden. Verfahren der künstlichen Intelligenz, genetische Algorithmen und Algorithmen der diskreten Mustererkennung sollten für die Eignung untersucht und gegebenenfalls verwendet bzw. in die Steuerungsarchitektur integriert werden. Ferner sollte die Leistungsfähigkeit des Systems in simulierten und realen Umgebungen erprobt werden. Dabei sollte die Planungskomponente des Systems sowohl auf Online- als auch Offline-Planungskomponenten sowie „case-based reasoning“ Ansätzen aufsetzen.
Als Grundbaustein hatte sich der Einsatz des quelloffenen Frameworks DUNE aus dem Institut LSTS der Universität Porto [Pinto2018] für die Basisarchitektur zur Lösung der gestellten Problematik als zielführende Alternative zur kompletten Neuentwicklung eines Systems herausgestellt. Auf dem Grundbaustein des DUNE-Frameworks wurde eine Software entwickelt, die auf den eingesetzten Fahrzeugtypen der BlueRov2-Plattform lauffähig ist sowie die fahrzeugspezifische Sensorik und Aktorik in das System einbindet. Die Software ist modulbasiert aufgebaut. Somit können einzelne Module wie Sensormodule, Navigationsmodule zur autonomen Steuerung und Aktorikmodule weitestgehend unabhängig voneinander entwickelt und ausgetauscht werden. Zudem besteht so die angestrebte Möglichkeit, dass die Software nach vehikelspezifischen Modulanpassungen auch für andere USV, AUV und ROV Fahrezugtypen verwendet werden kann.
Für das im Projekt verwendete ROV BlueRov2 wurden innerhalb der bisherigen Projektlaufzeit die Antriebsmotoren (Aktorik) sowie verschiedene Standartsensorik wie Inertial Measurment Unit (IMU), Druck-, Temperatur- und Feuchtigkeitssensoren (in den Röhren der Hardware) sowie GPS und akustische Modems zur Positionsbestimmung und Datenübertragung unter Wasser bereits integriert. Zudem wurde die Anbindung weitererer Sensorik zu Detektionsbestimmung, der Distanz zum Untergrung sowie der Erkennung von Schadstoffen im Wasser integriert und an die Steuerungssoftware angebunden.
Alle Sensordaten können im laufenden Betrieb des Vehikels permanent oder bei Bedarf ausgelesen und an die verschiedenen Module der Systemarchitektur zur weiteren Auswertung und Einbeziehung weitergeleitet werden. Dies ermöglicht unter anderem die Berücksichtigung, des sich dynamisch ändernden Umgebungszustands des Vehikels innerhalb der Module, mit den autonomen Steuerungsalgorithmen.
Die Kommunikation mehrerer Vehikel untereinander ist über verschiedene Netzwerke (LAN, W-LAN und Akustik) ebenfalls umgesetzt worden. Die Steuerungssoftware-Instanzen verschiedener Fahrzeuge können sich im gleichen Netzwerk registrieren und so Sensordaten, Fahrzeuginformationen und weitere Nachrichten über ein gemeinsames, erweiterbares Nachrichtenprotokoll untereinander austauschen. Der Austausch der Daten zwischen den teilnehmenden Fahrzeugen innerhalb der Netzwerkes ist neben dem kabelgebundenen Datentransfer auch über den transfer der Daten über akustische Modems möglich. Die bidirektionale Datenübertragung zwischen allen Vehikeln ist via USBL-Modem implementiert worden. Dieses erlaubt im weiteren auch den kabelungebundenen Einsatz der ROVs (AUV). Zu berücksichtigen ist hier eine sehr geringe Bandbreite der Datenübertragung. Die reine Positionsbestimmung der einzelnen Unterwasserfahrzeuge wurde alternativ über das Waterlinked-GPS ermöglicht. Über ein zugehöriges, kabelgebundenes Netzwerk, können jegliche Informationen aller Vehikles in hoher Datenrate an alle teilnehmenden Vehicles eines Schwarms übertragen werden.
Um die iterative Entwicklung der kognitiven Steuerungsarchitektur für die Fahrzeuge ohne physikalische Testläufe zu ermöglichen, wurde eine Simulationsumgebung zum Evaluieren der Architekturimplementierungen unter sicheren Bedingungen angestrebt [Theuerkauff2017]. Bei Fehlfunktionalitäten der Steueralgorithmen kann durch die vorherigen Testläufe der implementierten Software in der Simulationsumgebung die Beschädigung oder im schlimmsten Fall der Verlust eines Fahrzeugs bestmöglich eingedämmt werden. Die virtuelle Simulationsumgebung wurde auf Basis der Unreal-Game-Engine [Unreal2018] implementiert. Alle eingesetzten Vehikel sind inklusive der verbauten Sensorik und Aktorik in Form von 3D-Modellen modelliert und in die Simulationsumgebung integriert worden. Der Einsatz der Simulationsumgebung kann als reine Visualisierung der realen Fahrzeuge in einer virtuellen Welt eingesetzt und auch als Simulationsumgebung zur Anbindung der virtuellen Vehikel inklusive der modellierten Sensorik und Aktorik an die reale Steuerungssoftware verwendet werden.
Die Anbindung der Simulationsumgebung an das Netzwerk der Steuerungssoftware-Instanzen wurde über einen Wrapper implementiert. Dieser meldet sich, wie die anderen Fahrzeuge, im Vehikel-Netzwerk und zusätzlich in der Simulationsumgebung an. Damit ist er in der Lage, eine bidirektionale Kommunikation zwischen den simulierten Fahrzeugen und den realen Steuerungssoftware-Instanzen zu gewährleisten. Durch diesen Vorgang kann eine Steuerungssoftware-Instanz gleichermaßen ein reales Fahrzeug mit der zugehörige Sensorik und Aktorik und auch das zugehörige virtuelle Vehikel mit der simulierten Sensorik und Aktorik in der Simulationssoftware steuern [Theuerkauff 2018].Es wurde ein Steuerungsalgorithmus entworfen und implementiert, der es erlaubt, ein Unterwasservehikel in einer statischen Umgebung durch ein Testbecken fahren zu lassen, um bekannte Objekte in Form eines roten Balls mit einem Durchmesser von 7cm zu detektieren. Das Vehikel fährt die Umgebung systematisch ab und kartiert dabei die erkannten Objekte in der Missionsumgebung. Der Steueralgorithmus konnte in der Simulationsumgebung erfolgreich getestet werden Hierzu wurde eine virtuelle Missionsumgebung in Form eines Schwimmbads mit der Dimension 20m x 10m x 5m [LBT] modelliert.
Die in der Simulation erprobte kognitive Steuerungsarchitektur wurde im Anschluss, unter reproduzierbaren Verhältnissen, in einem großen Testbecken untersucht. Getestet wurde leglich die Steuerung, nicht die Bildverabeitung zur Detektion der Objekte. Unter Verwendung des USBL-Modems, sowie unter Einsatz des Weterlinked-GPS, konnten alle vorgegebenen Koordinaten eines statischen Plans angefahren werden.
Die Erweiterung des ROVs um ein Echolot Sensor (Ping1D) ermöglicht auch das Anfahren von Koordinaten in abhängigkeit der Höhe über Grund. Des weiteren wurde ein 360° Echosounder (Ping360) an das ROV angebunden, der es ermöglicht, Hindernisse in Fahrtrichtung des ROVs zu detektieren, sodass das ROV in einen Save-State wechseln kann.
Die Schwarmintelligenz wurde in enger zusammenarbeit mit TP2 erreicht. Alle ROVs im Netzwerk verfügen über eine Schnittstelle zum Empfangen neuer GoTo-Koordinaten. Diese Koordinaten werden, innerhalb von im TP2 entwickelten Algorithmen, berechnet, und an die einzelnen ROVs im Netzwerk gesendet. Das jewailige ROV steuert danach die geforderten Koordinaten, in Abhängigkeit der jeweiligen Fähigkeiten, an.
Literaturquellen
[Pinto2013] Pinto, J., et al. (2013): The LSTS Toolchain for Networked Vehicle SYSTEMS. MTS/IEEE OCEANS - Bergen, 2013
[Theuerkauff2017] Theuerkauff, T., Werner, T., Wallhoff, F., Brinkhoff ,T. (2017): 3D-Visualisierung von Über- und Unterwasserfahrzeugen zur Evaluation von Steuerungsalgorithmen mithilfe einer Game-Engine, In Proceedings of Go-3D, Rostock, Germany, 2017
[Theuerkauff2018] Theuerkauff, T., Wagner, Y., Wallhoff, F. (2018): Realtime Simulation And 3D-Visualisation Of Surface And Underwater Vehicles For Monitoring And Evaluating Autonomous Missions. 32nd European Conference on Modelling and Simulation, pp 129-135, 2018
[Unreal2018] Epic Games, Unreal Engine Website, www.unrealengine.com/en-US/what-is-unreal-engine-4 , Zugriff: 10.12.2018.
