Augmented Reality für die öffentliche Verwaltung

Bei der erweiterten Realität (engl. Augmented Reality, AR) geht es darum, dass die menschliche Wahrnehmung der realen Welt in Echtzeitdarstellungen (z. B. Fernsehbilder, Smartphone-Bilder) durch künstliche (virtuelle, digitale) Objekte bzw. Informationen ergänzt, überlagert, verändert oder erweitert wird, um dadurch einen Informationsgewinn zu erzielen, Aufgaben zu erleichtern oder ganz neue Anwendungen zu ermöglichen.

Die viel diskutierte „kalibrierte Linie“ in Fernsehbildern von Fußballspielen zum besseren Bewerten möglicher Abseitsstellungen von Spielern stellt hier ein prominentes Beispiel für die Vereinfachung einer räumlichen Situationsbewertung dar.

Bewegt sich der Anwender bei der Nutzung solcher Technologien im Raum und erhält die Zusatzinformationen beispielsweise mithilfe einer Augmented-Reality-Brille (wie die Microsoft HoloLens) live in sein Sichtfeld eingeblendet oder sieht mithilfe der Kamera eines Mobiltelefons oder Tablets in Echtzeit manipulierte Bilder seiner Umgebung, spricht man von mobiler erweiterter Realität (engl. Mobile Augmented Reality, mAR).

Eine der allerersten, einer breiten Öffentlichkeit bekannt gewordenen und enorm erfolgreichen Anwendungen dieser Idee ist das lokationsbasierte Computerspiel Pokémon GO. Hier können die Spieler im Freien virtuelle Fantasiewesen (Pokémon) fangen, entwickeln und in virtuellen Kämpfen gegeneinander antreten lassen, welche ihnen in Echtzeit lokationsbasiert in das Umgebungsbild eines Handheld-Mobilgeräts eingeblendet werden.

Es gibt aber durchaus auch vielfältigste Ideen für kommerzielle Anwendungen der mobilen AR. Erste prominent gewordene Ideen betreffen zum Beispiel die Wartung und Reparatur von Maschinen und Anlagen. Ein Servicetechniker kann hier mit beiden Händen frei arbeiten, während über eine AR-Brille detaillierte kontextspezifische Arbeitsanweisungen, Fehlerbilder, Sicherheitshinweise usw. eingeblendet werden können, die sich direkt und punktgenau auf das beziehen, was gerade vor ihm liegt.

Geodatenbasierte mobile Augmented Reality (GeomAR)

Beide beschriebenen Anwendungsbeispiele profitieren von unterschiedlichen spezifischen Anwendungscharakteristika, welche die Entwicklung von mAR-Apps jeweils deutlich vereinfachen.

Bei Pokémon GO spielt es keinerlei Rolle, dass die Pokémons möglichst „lebensecht“ in ihrer Umgebung wirken, Verdeckungen oder Schatteneffekte korrekt dargestellt sind, eine ganz genaue Positionierung erfolgt usw. – sie überlagern einfach grob das Live-Bild. Dafür reichen eine gute Karte und eine ordentliche GPS-Lokalisierung aus.

Bei der Maschinenwartung dagegen sind all diese, bei Pokémon GO vernachlässigbaren Aspekte zwar u. U. sehr wichtig, aber dafür ist das Szenario inhaltlich sehr begrenzt – alle Situationen, die bei einer Wartungsaufgabe auftauchen können, sind im Prinzip vorhersehbar, so dass man vorab vorbereiten kann, wie sich die Software zur Laufzeit auf den betrachteten Bildern orientieren kann.

Grundsätzlich ist die zentrale Fragestellung immer, wie sich die Software im Kamerabild der realen Welt orientiert, um den Ort und ggf. weitere relevante Informationen für die Einblendungen zu bestimmen. Im Fall von Pokémon GO wählt man einen ortsgebundenen Ansatz, aber nur grob, weil Details nicht interessieren. Im Fall der Maschinenwartung kann man entweder einen markerbasierten Ansatz wählen: In der realen Welt werden Orientierungspunkte verteilt, z. B. Aufkleber mit QR-Codes, an denen sich die Software orientieren kann. Oder es wird ein Bilderkennungsansatz verwendet, bei dem die Software alle relevanten Objekte der Welt automatisch erkennen und identifizieren kann, ggf. nach einer ausgiebigen Trainingsphase.

Ein Spezialfall hiervon wäre beispielsweise Software, die Texte auf Schildern übersetzt: Hier ist die Aufgabe extrem eingeschränkt, weil nur Schrift als solche erkannt werden muss und die Umgebung ignoriert werden kann. Wieder andere AR-Anwendungen vereinfachen die Orientierungsaufgabe dadurch, dass man sich in Innenräumen, im sehr kleinräumigen Bereich oder in Räumen mit speziellen Eigenschaften bewegt, zum Beispiel Apps zum Vermessen von Längen und Flächen in Zimmern, die sich z. B. auf das Identifizieren von Kanten und Ecken fokussieren können.

Bei der geodatenbasierten mobilen Augmented Reality (GeomAR) sollen die obigen Einschränkungen teilweise aufgehoben werden: Es sollen ohne die Verwendung von Markern oder die aufwändige Vorbereitung von Bilderkennungsverfahren möglichst wirklichkeitsnahe und im räumlichen Kontext stimmige Darstellungen von digitalen Informationen/Objekten in ein großräumiges Bild einer Freilandumgebung (Naturraum, urbane Umgebung, größere Infrastrukturen oder Anlagen) eingeblendet werden. Dazu sollen die GPS-Positionierung des Mobilgeräts, die Bewegungssensorik des Mobilgeräts und existierende Geodaten genutzt werden. Die GeomAR ist Gegenstand des Forschungsprojekts mARGo.

Das Forschungsprojekt mARGo

Das Forschungsprojekt „Mobile Augmented Reality für Geoobjekte (mARGo)“ wird vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen der Fördermaßnahme „KMU-innovativ: Informations- und Kommunikationstechnologien“ finanziell unterstützt und läuft bis Februar 2021.

In mARGo kooperieren die Disy Informationssysteme GmbH Karlsruhe mit dem Lehrstuhl für Umweltinformatik von Prof. Dr. Frank Fuchs-Kittowski an der Hochschule für Technik und Wirtschaft (HTW) Berlin. Beide werden unterstützt von DigSyLand (Institut für Digitale Systemanalyse & Landschaftsdiagnose Partnerschaft Hosenfeld & Rinker, Naturwissenschaftler).

Die Technologieentwicklungen in mARGo profitieren von den langjährigen Vorarbeiten der HTW im Bereich mobile Apps und AR-Anwendungen. So wurden beispielsweise im Projekt „Entwicklung einer Softwarelösung für ein Hochwassermanagement unter Bürgerbeteiligung (VGI4HWM)” auf Basis von mAR innovative Methoden für das Messen von Wasserständen an Flüssen in urbanen Gebieten realisiert.

Das Projekt mARGo arbeitet an folgenden wissenschaftlich-technischen Zielen:

• Identifikation und Ausarbeitung innovativer Anwendungsszenarien für mAR in Geschäftsanwendungen, insbesondere auch für die öffentliche Verwaltung
• Entwurf einer GeomAR-Architektur, die sich gut mit existierenden GIS/GDI integrieren lässt
• Prototypische Realisierung einer GDI-integrierten Backend-Content-Plattform zur einfachen Erstellung, Verwaltung und Bereitstellung von GeomAR-Inhalten
• Prototypische Realisierung zuverlässigerer und präziserer Algorithmen zur Ermittlung der globalen Gerätepose (Ort und Ausrichtung des Geräts) für die GeomAR
• Prototypische Realisierung eines benutzerfreundlichen, interaktiven GeomAR-Clients zur Darstellung, Erfassung und kollaborativen Nutzung von Geodaten und mAR-Inhalten
• Prototypische Integration in einen Gesamtdemonstrator mit praxisnahen Anwendungsbeispielen

Der Projektüberblick zeigt wesentliche technische Arbeitsfelder und Projektaufgaben.

Eine zentrale Rolle spielt dabei die möglichst exakte Feststellung der „globalen Gerätepose“, d. h. die Bestimmung von Ort und genauer Ausrichtung des Mobilgeräts beispielsweise mithilfe des Geräte-GPS und der eingebauten Bewegungssensorik. Dies ist einer der Arbeitsschwerpunkte an der HTW.

Aktuell wird dafür unter anderem der Ansatz untersucht, ein digitales Gelände-/Oberflächenmodell manuell so mit dem Kamerabild in Übereinstimmung zu bringen, dass daraus eine optimierte Kalibrierung der Gerätepose möglich ist.

Anwendungsbeispiele für geodatenbasierte mobile Augmented Reality (GeomAR)in der öffentlichen Verwaltung

Zurzeit existieren in Forschung und Praxis erst wenige Beispiele für die genannten GeomAR-Ansätze, gerade auch in der öffentlichen Verwaltung. Nur im Bereich des Wasser- und Hochwassermanagements bzw. allgemeiner des Katastrophenschutzes und für die Unterstützung der Flurneuordnung/Landentwicklung gibt es einige bekanntere Arbeiten. Daher wurden in der ersten mARGo-Projektphase zusammen mit Praktikern weitere Anwendungsideen gesammelt, Anforderungen strukturiert, die Systemarchitektur erstellt und erste Teil-Prototypen umgesetzt. Dazu wurden mehrere Workshops mit Vertretern der öffentlichen Verwaltung durchgeführt. Hierbei wurde das Projekt unter anderem von Mitarbeitern des Landesamtes für Geoinformation und Landentwicklung Baden-Württemberg (LGL), des Bayerischen Landesamtes für Umwelt (LfU) und des Bayerischen Staatsministeriums für Wirtschaft, Landesentwicklung und Energie unterstützt.

An der HTW wurde zur Szenario-Identifikation und Anforderungserhebung eigens eine auf Kreativitätstechniken basierende und auf mAR-Fragestellungen zugeschnittene Workshop-Methodik entworfen und mit den Praxisvertretern zusammen angewandt. Auf dieser Basis wurde eine Reihe möglicher mAR-Anwendungen für die öffentliche Verwaltung identifiziert und zwei Anwendungsszenarien davon wurden für die prototypische Umsetzung im weiteren Projektverlauf ausgewählt:

• Realitätsnahe Visualisierung der potenziellen Auswirkungen neu geplanter Windenergieanlagen auf das Erscheinungsbild in der Landschaft
• Unterstützung der Durchführung, Dokumentation und Bewertung von Bodenproben im Rahmen der Flurneuordnung

Die Designstudien (Bildschirm-Mockups) illustrieren einzelne Arbeitsschritte und Funktionalitäten für den in der Umsetzung befindlichen Anwendungsfall „Windenergieanlagen“.

Anhand der Beispielanwendungen werden in der nächsten Projektphase die ersten technischen Umsetzungen entwickelt. Die Grobarchitektur für das Projekt betrachtet die Server- und die Client-Seite. Auf der Server-Seite wird ein „GeoCMS“ entworfen, das alle relevanten Geodaten effizient und benutzerfreundlich verwaltet und den Clients zur Verfügung stellt. Die Client-Seite umfasst einerseits die AR-Funktionen im engeren Sinne (Einblenden der virtuellen Inhalte im Kamerabild) und andererseits die Kalibrierung zum Feststellen von Geräteposition und -pose als zentrale Funktion.

Weitere Informationen:

• Erste Projektergebnisse sollen beim Workshop „Umweltinformationssysteme 2020“ in Dessau-Roßlau vorgestellt werden.
• Informationen zum Lehrstuhl von Prof. Fuchs-Kittowski an der HTW Berlin
• mARGo Projekt-Webseite
• BMBF-Fördermaßnahme „KMU-innovativ: IKT“