Fraunhofer führt internen KI-Chatbot ein

Eingeführt wird der DSGVO-konforme Dienst im Einklang mit den Handlungsempfehlungen des Fraunhofer-Verbunds IUK-Technologie. Technologiepartner ist Microsoft. Der KI-Chatbot hört auf den Namen FhGenie und basiert auf dem Azure OpenAI Service, durch den Organisationen Technologien wie GPT-3.5 oder GPT-4, Codex, ChatGPT und DALL-E 2 aus der Microsoft Azure Cloud nutzen können.

»Es freut mich sehr, dass es gelungen ist, in kürzester Zeit mit Microsoft ein speziell an die Anforderungen der Fraunhofer-Gesellschaft angepasstes KI-Chatsystem zu entwickeln«, sagt Prof. Ingo Weber, Direktor Digitalisierung und IuK-Infrastruktur der Fraunhofer-Gesellschaft. »Wir haben festgestellt, dass viele Kolleginnen und Kollegen schon Chat-basierte KI im Rahmen ihrer Arbeit und zu Forschungszwecken nutzen möchten. Für die dienstliche Verwendung sind die bisherigen öffentlichen Angebote allerdings problematisch, unter anderem aus Gründen des Datenschutzes, der Vertraulichkeit und der Informationssicherheit.«

DSGVO-konformer Chatbot

FhGenie fußt auf dem OpenAI-Sprachmodell GPT-3.5-turbo und soll schnellstmöglich um das leistungsstärkere und multimodale GPT-4.0 erweitert werden, das auch Bilder verarbeiten kann. Derzeit besteht FhGenie aus einer Web-Applikation mit einem Framework auf Basis der Programmiersprache Python und der JavaScript-Laufzeitumgebung Node.js und ist für Mitarbeitende nach der SSO-Authentifizierung per Smartcard einfach über den Browser erreichbar.

Um Datensicherheit zu gewährleisten, wurde die Instanz in einer europäischen, Fraunhofer-eigenen Azure-Subscription – also einem abgeschlossenen Bereich innerhalb der Cloud-Plattform von Microsoft – konfiguriert.

Die Anfragen über den ebenfalls dediziert in der Fraunhofer-Subscription implementierten Azure OpenAI Service erfolgen über eine angepasste Schnittstelle, die die Befehle an das KI-System weitergibt. Via Completion (Auto-Vervollständigen der Antworten) erhalten die Nutzenden ihre Ergebnisse.

Alle eingegebenen Daten sollen bei der Fraunhofer-Gesellschaft verbleiben und somit nicht zum Training der KI verwendet werden. Abgesehen von einem automatisierten Filterprogramm, das auf missbräuchliche Nutzung prüft, erfolgt keine inhaltliche Kontrolle oder Speicherung der eingegebenen Inhalte.

Aktuelle Nutzungszahlen zeigen die Offenheit der Fraunhofer-Belegschaft für das neue Angebot: Stand heute sind bereits über 19 200 der über 30 000 Fraunhofer-Mitarbeitenden für den Dienst registriert, von denen etwa 6500 als aktive User gelten.

Anwendungsmöglichkeiten

Einsatzmöglichkeiten für den KI-Chatbot gibt es laut Fraunhofer viele – in ihrer ganzen Bandbreite werden sie wohl erst in Zukunft sichtbar werden. Schon heute bietet FhGenie Fraunhofer-Mitarbeitenden nicht nur Unterstützung beim Erstellen und Verbessern von Texten und Präsentationen z.B. für interne Berichte, sondern kann auch zur schnelleren Entwicklung von Software, Prototypen oder Daten-Analyse-Scripts beitragen.

Potenzial sieht die Forschungsgesellschaft auch in der Weiterentwicklung des internen Wissensmanagements, etwa in Form eines »dialogfähigen Intranets«. Forschende der Fraunhofer-Institute können den geschaffenen Experimentierraum nutzen, um schnell bereits vorhandenes Know-how zu erweitern und gemeinsam mit Kunden KI-Modelle zu testen.

Die jeweilige Nutzung bleibt den Usern selbst überlassen. Allein personenbezogene Daten dürfen aus rechtlichen Gründen nicht mit FhGenie verarbeitet werden. »Wir befinden uns derzeit in einer Übergangs- und Experimentierphase, in der es uns wichtig war, schnell eine gut nutzbare Lösung anzubieten, um bei den rasanten technologischen Entwicklungen mit an der Spitze zu stehen«, erklärt Prof. Weber. »Natürlich gibt es noch viele offene Fragen, etwa zum Urheberrecht oder der Haftung für fehlerhafte Ergebnisse. Wir haben daher die Verantwortlichen gebeten, in ihren jeweiligen Instituten und Abteilungen ein Bewusstsein dafür zu schaffen, dass alle Nutzenden für die Qualität der KI-generierten Ergebnisse selbst verantwortlich sind und diese überprüfen müssen.«

KI-Sprachmodelle

Zahlreiche Fraunhofer-Institute sind bereits in Initiativen und Projekten rund um die Erforschung und Anwendung von Generativer KI und Foundation Models aktiv – zu nennen ist beispielsweise das Konsortium OpenGPT-X zur Entwicklung großer europäischer KI-Sprachmodelle. Auch aus diesem Grund hat eine Taskforce des Fraunhofer-Verbunds IUK nach der Veröffentlichung von ChatGPT Handlungsempfehlungen für den Umgang mit KI-Sprachmodellen für die Fraunhofer-Gesellschaft entwickelt.

Die Freischaltung von FhGenie liegt dabei innerhalb der ersten Stufe eines Dreischritts aus Zugang zu (Access) sowie Anpassung (Adapt) und Weiterentwicklung (Advance) von großen KI-Modellen, wobei weitere Hersteller als Kooperationspartner für die Fraunhofer-Gesellschaft gewonnen werden sollen.