Von der allgemeinen zur kritischen KI

Hendrik Stange - Fraunhofer Institut IAIS,
Linkedin

Entwickler kritischer KI sollten die KI auf Basis eines Vorgehensmodells entwickeln, empfiehlt Hendrik Stange vom Fraunhofer IAIS.

ChatGPT und andere KI-Modelle halten immer mehr Einzug in viele Bereiche unseres Lebens, wo sie verantwortungsvolle Aufgaben erfüllen und Fehler ernste Konsequenzen haben können. Beim autonomen Fahren oder in der Diagnose von Krankheiten beispielsweise erwarten wir zu Recht, dass das Auto unfallfrei fährt oder dass die KI einen Tumor im Röntgenbild erkennt.

KI-Entwickler müssen sich fragen, welchen Zweck sie mit ihrer KI-Anwendung verfolgen und welche Schadensrisiken sie dabei in der Realität eingehen. Es genügt nicht, dass eine KI nur eine bestimmte Funktion erfüllt. Die Entwickler müssen vom Ende her – vom Menschen – denken und kritische Wirkungen, auch Wechselwirkungen mit anderen KI-Lösungen, beachten. Und die gibt es in Anwendungen in Unternehmen zuhauf. Der Nutzen ist vielversprechend, denn viele Geschäftsprozesse, die jetzt von einer KI übernommen werden, schaffen Werte, sichern internationale Wettbewerbsfähigkeit und können sogar Menschenleben retten.

Aus der Praxis eines Wundversorgers
 

Ein Beispiel aus der Praxis eines der größten Wundversorger in Deutschland: Wenn Sie unter chronischen Wunden leiden oder nach einem Unfall ins Krankenhaus kommen, wird Ihre Wunde häufig mit Material behandelt, die dieses Unternehmen bereitstellt. Und von Personal in Kliniken und in der häuslichen Pflege, das von diesem Unternehmen geschult wurde. Neben gesteigerter Wirtschaftlichkeit möchte das Unternehmen nachhaltiger werden und dazu Lieferketten optimieren, Materialverschwendung vermeiden und personalisierte Therapien effektiver nutzen. Typischerweise sind dies viele einzelne Use Cases und reichen vom Lieferantenmanagement über die prädiktive Vorlauflogistik und Personaleinsatz bis zur medizinischen Entscheidungsunterstützung.

Erfolgsfaktoren der Entwicklung kritischer KI
 

Hier kommt “kritische KI” ins Spiel. Der Wundversorger möchte sein Materialmanagement im laufenden Betrieb so optimieren, dass die Behandlungsdauer durch personalisierte Materialauswahl zum Wohle des Patienten verkürzt werden kann und gleichzeitig Verschwendung durch einen organisierten Materialfluss vermieden wird. Mit allgemeinen KI- und Datenanalysemethoden würde man hier ein Modell trainieren, das aus verschiedenen Eingabegrößen den Materialbedarf oder die Behandlungsdauer prognostiziert. Das allein genügt jedoch nicht. Im Gegenteil, es könnten sogar neue Probleme entstehen, wenn die ausgewählte Therapie nicht zum Patienten passt oder das dafür notwendige Material nicht verfügbar ist.

Auch um Wert bei der Personaleinsatzplanung zu schaffen, braucht es den individuellen Patienten, dessen dynamischen Therapieverlauf und Behandlungsempfehlungen. So verketten sich mehrere Use Cases zu einem Multi-Use-Case oder sogenannten Value Case.

Um die neue Komplexität und Risiken zu beherrschen, setzen Unternehmen zunehmend auf geeignete Vorgehensmodelle zur Entwicklung geschäftskritischer KI-Lösungen. Diese sollten

  1. den gesamten KI-Lebenskreislauf abdecken,
  2. Standardprozesse wie CRISP-DM sowie neuere Ansätze wie Machine Learning Operations (MLOps) zu einem ganzheitlichen Vorgehensmodell verbinden,
  3. eine explorative, werthaltige Lösungsfindung für Data Science fördern und
  4. Tests, Absicherung und Wirkungsanalysen einbetten,
  5. sich in existierende agile Software-Entwicklung und IT-Entwicklungszyklen einbinden sowie
  6. Betreibbarkeit und Betrieb (AI Operations) als wesentlichen Teil der KI-Anwendung integrieren.
KI braucht Stufe 3 in Gartners Reifegradmodell der Datenqualität

Ein wunder Punkt bei der Anwendung von KI sind oft die Daten. Während allgemeine KI unvorstellbare Mengen an Daten benötigt, geht es bei geschäftskritischer KI um die richtigen Daten in hoher Qualität. Viele Unternehmen sind heute noch reaktiv unterwegs, was dem Reifegrad 2 im fünfstufigen Reifegrad-Modell für Datenqualität von Gartner entspricht. Kritische KI benötigt jedoch mindestens Level 3 »proaktiv« oder höher für das Lernen & Vergessen in der KI-Anwendung und einen sicheren Betrieb. Dies kann durch “Data Quality by Design”-Prinzipien und optimierte Compliance- und Governance-Mechanismen erreicht werden.

Es gilt, den Datenkreislauf im Sinne der KI besser zu managen. Wundspezialisten sollen beispielsweise eine Wunde mit dem Smartphone qualitativ vermessen und in einem interaktiven Dialog mit einer KI die benötigten Daten qualitätsgesichert aufnehmen. Gemeinsam werden personalisierte Wundtherapien konfiguriert, Materialbedarfe abgeleitet und über die Zeit begleitet, um gezieltes Lern-Feedback einzusammeln. So kann das Unternehmen die Vorlauflogistik steuern, den Ressourcenbedarf optimieren und die Wirksamkeit der Behandlung verbessern. Dies ist ein komplexes Zusammenspiel von Mehrwertanwendungen.

Vom individuellen Use Case zur kritischen KI

Um dieses Zusammenspiel von Use Cases zu steuern, braucht es nicht nur den einzelnen Anwendungsfall, sondern die wertschöpfende Anwendung (Value Case), die ein unternehmerisches Problem löst. Der Use Case oder Anwendungsfall ist für Unternehmen zu einer Art Einheit geworden, um ihre innovativen und transformativen Projekte abzugrenzen und zu organisieren. Oft endet die Reise jedoch nach der gefundenen Lösung für ein zugrundeliegendes Problem. Ein Tor geschossen, aber was ist mit dem Spiel?

Man stelle sich eine ML-basierte Bedarfsprognose für Superabsorber oder Alginate vor, die die Rechnung ohne den Wundexperten oder Patienten macht, der plötzlich verschwenderisch mit dem Material umgeht. Im Falle eines Lieferengpasses kann dies zum Risiko für Leib und Leben werden. Ein anderer Use Case könnte Alternativen und Substitute für Materialien erkennen, um die Versorgung trotz Engpass aufrechtzuerhalten. So beginnt eine Use-Case-Kette. Besser wäre es jedoch, den Value Case im Materialkreislauf ganzheitlich mit KI zu optimieren.

Hier setzt das Fraunhofer IAIS an, ein Partnerinstitut des Fraunhofer Clusters of Excellence Cognitive Internet Technologies CCIT. Seit vielen Jahren begleitet das Institut mittelständische und große Unternehmen aller Branchen bei der Entwicklung von wertschöpfenden Anwendungen mit kritischer KI – auch durch verschiedene Weltkrisen.

Dualer Entwicklungs- und Betriebskreislauf für KI

Ein lean-gesteuerter Use-Case-Kreislauf und ein agiler Software-Entwicklungs- und Betriebskreislauf laufen im Zentrum der umzusetzenden KI-Anwendung zusammen.

 

Use-Case-Zyklus

Im linken Kreislauf geht es im Kern darum, zu gewinnen – WIN – den Proof-of-Concept, das Budget, die Aufmerksamkeit im Management. Gemeinsam mit dem Kunden spezifizieren die Fraunhofer-Experten die Value Cases und fahnden nach kritischen Punkten. Jede technische Schuld bei der Exploration einer Lösung ist unbedeutend. Es geht darum, zu zeigen, dass ein Problem gelöst werden kann und glaubhaft wie. Dies ersetzt die Ideation-Stufe im agilen Softwareentwicklungskreislauf, der für Data Science- und KI-Projekte oft zu unflexibel ist. Ein Lean-Ansatz, der KI-Projekte als Wertstrom begreift, hat sich hier als geeignet erwiesen.

Software-Entwicklungs-Zyklus

Im rechten Kreislauf geht es um betriebsfähige Software – RUN – den Wertstrom, die Service Level, die Fortentwicklung. Dafür wird die explorierte Lösung agil in betreibbare Software überführt. Gemeinsam mit den Lösungsexperten des Use-Case-Zyklus wird eine testfallgesicherte Software-Entwicklung mit betreibbaren KI-Modellen für einen sicheren, evolutionären Betrieb umgesetzt. Die Entwicklung muss sich zudem in die standardisierten Entwicklungszyklen und Infrastruktur der Unternehmens-IT integrieren.

Die Herausforderung besteht darin, die Kreisläufe aufeinander abzustimmen und den gesamten KI-Lebenszyklus abzubilden. So lassen sich KI-Software-Projekte erfolgreich realisieren. Das Vorgehensmodell zur Entwicklung von kritischen KI-Anwendungen verbindet die Kernkompetenzen des Fraunhofer IAIS in den Bereichen KI-Absicherung, MLOps und der Entwicklung kritischer, wissensbasierter KI. Diesen Ansatz setzen das Institut und seine Partner im Fraunhofer CCIT aktuell in Entwicklungsprojekten im Automobil, Produktions- und Pharma/Medizinbereich erfolgreich ein und konnten sich hier im Wettbewerb durchsetzen.

 

Hendrik Stange

ist Wissenschaftler und Leiter des Geschäftsfelds Auto Intelligence am Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS und Projektverantwortlicher im Fraunhofer CCIT.