Künstliche Intelligenz macht dänische Häfen sicherer

Actas, ein Kooperationspartner  des dänischen Technologieunternehmens Milestone Systems, und die Universität Aalborg (AAU) wollen mit einem gemeinsamen Projekt Menschen vor dem Ertrinken schützen. In Dänemark ertranken von 2001 bis 2015 1.647 Menschen, ein Viertel davon in den dortigen Häfen.

Im Mittelpunkt des Projekts steht die Entwicklung des AAU/Milestone-Wärmedatensatzes, der die größte veröffentlichte Sammlung von kommentierten Wärmebildern umfasst. Durch das Trainieren von KI-Modellen mit diesem Datensatz kann eine Videoanalyseanwendung entwickelt werden, die sofort erkennt, wenn eine Person in ein Hafenbecken fällt und dann ein Rettungsteam zu alarmiert.

Freiwillige simulieren Stürze

Bei der Entwicklung des Videoanalysetools bestand die größte Herausforderung für das Team darin, das KI-System so zu trainieren, dass es erkennt, wenn eine Person in den Hafen stürzt. Für die Analyse simulierten Freiwillige Stürze. Aus Sicherheitsgründen allerdings, ohne tatsächlich ins Wasser zu fallen. Das reine Springen war jedoch dem Bewegungsmuster eines Sturzes ins Wasser zu unähnlich, sodass diese Daten für das KI-Training nicht brauchbar waren.

Eine weitere Herausforderung bei den Simulationen mit Freiwilligen war, verschiedene Sturzarten unter verschiedenen Bedingungen und zu verschiedenen Jahreszeiten nachzustellen, damit das KI-Modell einen möglichst umfassenden Datensatz bekommt. Ein Sturz im Winter hat ein anderes Bewegungsmuster, da die Person dicke Kleidung trägt. Jedoch waren die Risiken, in den eiskalten Hafen zu springen, zu hoch.

Test-Dummys für Training der KI

Die Verwendung eines Dummys erwies sich als sicherere und effektivere Methode zur Datenerfassung. Anstatt Menschenleben zu riskieren, wurde eine mit warmem Wasser gefüllte Testpuppe verwendet, schließlich sollten die Wärmekameras sie erkennen, um Stürze in den Hafen zu simulieren. Dadurch konnte das Team viele verschiedene Arten von Stürzen simulieren, was den Datensatz deutlich vergrößerte.

Dieser Ansatz hatte jedoch auch seine Grenzen. Der Dummy konnte die menschlichen Bewegungen nur bis zu einem gewissen Grad imitieren und bot nicht die Komplexität in den Bewegungen eines echten Menschen, der in den Hafen stürzt. Außerdem waren die Abweichungen bei den unterschiedlichen Sturzsimulationen der Testpuppe zu gering, sodass am Ende zu wenig unterschiedliche und damit brauchbare Daten gesammelt werden konnten.

Skalierung mit synthetischen Daten

Die Lösung lag in der Nutzung von synthetischen Daten. Dafür wurden im ersten Schritt über einen Zeitraum von acht Monaten im Hafen reale Bilder mit Wärmebildkameras aufgenommen und daraus ein Wärmebilddatensatz erstellt. Dieser Datensatz ist die größte Sammlung kommentierter Wärmebilder und verfügt über etwa 8 Millionen Bounding-Box-Labels, mit denen Objekte erkannt und zugeordnet werden können. Im zweiten Schritt wurden mit der Entwicklungsumgebung Unity, mit der 3-D-Animationen für Spiele programmiert werden können, künstliche Darstellungen des Sturzes einer Person erzeugt. Hier konnten die Entwickler auf frühere Projekte der AAU aufbauen, in denen Stürze mit synthetischen Daten simuliert worden waren.

Und diese 3-D-Animationen wurden schließlich im dritten Schritt mit den realen Aufnahmen der Wärmebildkamera aus dem Hafen kombiniert, dass sie die gleiche Farbgebung und Oberfläche wie originale Bilder der Wärmebildkameras hatten. Dafür wurde eigens Code entwickelt, von den Entwickler ThermalSynth genannt.

Die synthetischen Trainingsdaten wurden immer mehr erweitert, um Szenarien mit komplizierteren Verhaltensweisen zu simulieren, wie z. B. Stürze aus Rollstühlen, beim Skaten und Radfahren. Mit jeder Erweiterung der Daten um neue Bewegungsmuster wurde die Fähigkeit des Systems verbessert, Stürze in der realen Welt schnell und genau zu erkennen.

Mit diesem Datensatz und dem dafür entwickelten Code, die beide öffentlich zugänglich sind, können Sicherheitssysteme in Häfen weltweit trainiert und entwickelt werden. Auf diese Weise werden nicht nur in Dänemark in Zukunft weniger Menschen in Häfen verunglücken, sondern die Sicherheit in Häfen weltweit kann verbessert werden.

Rahul Yadav

ist CTO von Milestone Systems.