Der Weg zur ethischen KI

Finanzinstitute, die KI nutzen, müssen heute Reputationsrisiken vorbeugen und sich für regulatorische Anforderungen wappnen. Die folgenden Empfehlungen zeigen den Weg zu einer „ethischen KI“.

Problembewusstsein schaffen

KI-Systeme sind fähig, zahlreiche Aufgaben eines Finanzinstituts zu automatisieren und zu standardisieren. Nur besteht die Gefahr, dass sie dabei menschliche Vorurteile weitertragen. Denn schon bei der Ausgestaltung der Modelle und der Definition der Parameter, die das Modell heranziehen soll, wird unter Umständen eine Voreingenommenheit in der KI verankert. Dies kann sich auf eine KI-gestützte Vorauswahl der geeigneten Bewerber im HR-Bereich ebenso auswirken wie auf das Kreditrating eines neuen Bankkunden. Eine KI kann sich systematisch und standardisiert irren, auf unethische Weise.

In solch einem Fall erwächst für eine Bank nicht nur ein gravierendes Reputationsrisiko – sie ignoriert mitunter auch relevante Geschäftsmöglichkeiten. Denn nicht nur den Kunden entstehen durch falsche Kreditratings oder unzutreffende Anlageempfehlungen wirtschaftliche Nachteile, auch dem Finanzinstitut selbst entgehen Umsätze. Dabei gilt für KI-Algorithmen dasselbe wie für alle statistischen Modelle – das Problem der Regression zum Durchschnitt stellt sich auch hier. Individuelle Besonderheiten der zu beurteilenden Fälle verliert das Modell dann immer mehr aus dem Blick.

Den kommenden „AI Act“ schon jetzt erfüllen

Ein weiterer Faktor für das wachsende Bewusstsein in Sachen ethischer KI sind die Regulierungspläne der Europäischen Gemeinschaft. Die EU-Kommission hat ihren Regulierungsvorschlag, den „Artificial Intelligence Act“ (AI Act), bereits im April 2021 vorgelegt. Der Vorschlag postuliert sieben zentrale Anforderungen an KI-Systeme. KI-Systeme sollen den Menschen helfen, fundierte Entscheidungen zu treffen, müssen aber zugleich angemessen kontrollierbar sein. Technische Robustheit und Sicherheit stehen ebenso auf der Agenda der Regulatoren wie angemessene Datenschutz- und Governance-Mechanismen, die Datenqualität und -integrität sicherstellen.

Auf welche Daten, Systeme und Geschäftsmodelle sich der KI-Einsatz erstreckt, soll stets transparent sein. Vielfalt, Nicht-Diskriminierung und Fairness müssen aus Sicht der EU-Kommission ebenso garantiert sein wie die Nachhaltigkeit und Umweltfreundlichkeit der KI-Systeme. Last but not least: Der AI Act verlangt, dass KI-Lösungen rechenschaftspflichtig und überprüfbar sind. Zudem unterscheidet der Regulierungsvorschlag KI-Lösungen grundsätzlich nach ihrem Risikopotenzial: von minimal über stark bis unannehmbar. Letztere will die Kommission komplett verbieten, weil sie menschliche Grundrechte gefährden können.

Risikoniveau des konkreten KI-Einsatzes

Um den Einsatz einer stets ethischen KI zu gewährleisten, müssen Finanzinstitute sich zunächst Klarheit über den Risikograd all ihrer KI-Systeme verschaffen. Besonderes Augenmerk brauchen anschließend die Lösungen mit starkem Risiko. Die erste Frage ist also, in welchem Bereich das KI-System genutzt wird. Soll die KI helfen, die Kredit- oder Compliance-Risiken eines konkreten Geschäfts bzw. eines individuellen Kunden zu bewerten, sind die Folgen automatisierter Vorurteile potenziell gravierend und das Risiko entsprechend hoch. Anders sieht dies aus, wenn die KI nur den Beratungsprozess unterstützt, etwa in Gestalt eines Chatbots für Retailkunden oder eines virtuellen Assistenten für die Berater von vermögenderen und (U)HNW-Kunden. Wichtig ist zudem, wie Menschen die Ergebnisse der KI letztlich konsumieren.

Mitunter kann es sich gerade für kleinere Finanzinstitute ohne umfassendes Data Science-Team als unmöglich erweisen, bei KI-Systemen, die sie on-prem (in der eigenen IT-Umgebung) betreiben, für die gebotene Kontrolle zu sorgen. Wenn beispielsweise eine KI-Lösung mittels Natural Language Processing (NLP) kundenindividuell Markt- und Wirtschaftsnachrichten zusammenstellt, die für Anlageentscheidungen relevant sind und den Beratern Kommunikationsanlässe liefern, gibt es bei einem isolierten Betrieb vor Ort kaum eine Möglichkeit der Qualitätskontrolle. KI-Systeme mit tendenziell moderatem Risiko wie virtuelle Assistenten im SaaS-Modell zu beziehen, ist dann oft sinnvoller. Dagegen kann es sich bei KI-Systemen, die sehr nah am Kerngeschäft eines Finanzinstituts sind – wie etwa Recommendation Engines oder Kreditratings – lohnen, sie in eigener Regie zu entwickeln und sie selbst auf ihre Zuverlässigkeit und ethische Unbedenklichkeit hin zu monitoren.

Modelle mit individuell geeigneten KPIs überwachen

Schon in der Entwicklungsphase für das intelligente, KI-gestützte System stellt ein Finanzinstitut die Weichen in Sachen Vorurteilsfreiheit. Sinnvoll ist darum ein technisches Framework, das ein konsequentes Monitoring der Ergebnisse der KI ebenso vorsieht wie Alerts bei problematischen Entwicklungen. Der Data Scientist muss also bereits bei der Entwicklung des Modells die Key Performance Indicators (KPIs) festlegen. KPIs, anhand derer das Modell überwacht werden sollte, sind typischerweise ethisch sensitive Parameter des Kunden. Dazu zählen Variablen wie etwa Geschlecht, Sprache oder Nationalität. Auch auf Attribute, die eine hohe Korrelation zu den offensichtlich sensitiven Variablen aufweisen, sollten Finanzinstitute im Sinne einer ethischen KI verzichten.

Bereits während der Modellentwicklung ist zu definieren, welche Vorhersagegenauigkeit man von den KPIs der neuen KI erwartet. Bei einer Qualitätskennzahl wie dem Geschlecht des Kunden kann man beispielsweise von einer 50-50-Verteilung ausgehen und ein statistisches Konfidenzintervall von plus oder minus 15 Prozent zugrunde legen. Weicht das Modell mit der Zeit von der erwarteten Genauigkeit ab, muss das Data Science-Team handeln. Unter Umständen liegt eine Drift, eine Veränderung in den zugrunde liegenden Daten vor. Mitunter ist es dann notwendig, das KI-Modell nicht nur anzupassen, sondern es völlig neu zu konzipieren.

Auch ML-Modelle brauchen manuelles Training

Bei einem Machine-Learning-Algorithmus unterscheidet man grundsätzlich zwei Phasen: Learning und Running. Momentan ist die erste, die Learning-Phase ein noch manueller Prozess, bei dem das Design des Algorithmus und die Input-Parameter aufgrund eines „Training Set“ definiert werden. Anders gesagt: Der Mensch lernt den Algorithmus an. Dieser kann dadurch beispielsweise erkennen, dass erstens ein hohes Haushaltseinkommen ein tiefes Kreditrisiko darstellt und dass zweitens ein Sternzeichen keinen Einfluss auf die Kreditwürdigkeit hat. In der zweiten Phase, dem Running, wird der Algorithmus dann vollautomatisch eingesetzt.

Der ML-Algorithmus wird dabei zwar auf völlig neue Daten und Kunden angewendet, er behält aber sein ursprünglich antrainiertes Design. In unserem Beispiel würde der Algorithmus bei einem neuen Kunden mit einem Haushaltsjahreseinkommen von 18.000 Euro also in jedem Fall ein hohes Ausfallrisiko evaluieren. Selbst wenn dieser Kunde über ein Sparkapital von 2 Millionen Euro verfügte, hätte dies keinen Einfluss auf die Bewertung, weil wir den Algorithmus nur auf Einkommen und Sternzeichen trainiert haben. Fälschlicherweise wird diese zweite Phase, das Running des ML-Algorithmus, oft als „Self-Learning“ bezeichnet. Hier bleibt ein kontinuierliches Monitoring der Resultate wichtig. Denn falls sich die definierten Modell-KPIs wie etwa Genauigkeit (Precision), Trefferquote (Recall) oder auch ethische KPIs – etwa die relative Anzahl abgelehnter Kreditentscheide für ein Geschlecht – deutlich verändern, ist es erforderlich, den ML-Algorithmus erneut manuell zu trainieren. Bei Kreditrisiko-Modellen kann man davon ausgehen, dass dies meist alle zwei bis drei Jahre geschehen sollte, bei ML-Modellen mit vielen Datenattributen und komplexen Algorithmen auch häufiger.

Fazit: Nicht die KI entscheidet, sondern Menschen

Für Finanzinstitute ist eine ethische KI aus drei Gründen unverzichtbar: um Reputationsrisiken vorzubeugen, um für kommende regulatorische Vorgaben gewappnet zu sein und um Umsatzpotenziale auszuschöpfen. Dazu muss das Institut kontinuierlich überwachen, ob sein KI-Modell noch so vorurteilsfrei ist, wie es bei seiner Entwicklung intendiert war. Zur Umsetzung des Transparenz- und Monitoring-Gebots sehen einige Anbieter von KI-Systemen bereits Dashboards und Alerts vor, mit denen die Data Scientists die ethisch relevanten KPIs stets im Blick behalten. Auch ein Freigabeprozess für neue KI-Modelle mit starkem Risiko kann sinnvoll sein. Denn es ist ein Axiom der ethischen KI, dass eine KI selbst keine moralischen Urteile fällen kann. Am Ende haben immer Menschen darüber zu entscheiden, ob eine KI den ethischen Anforderungen noch genügt.

Gery Zollinger
ist Head of Data Science & Analytics bei Avaloq (www.avaloq.com), Anbieter von digitalen Banking-Lösungen, und seit mehr als zehn Jahren im Bereich Analytics und quantitative Modellierung tätig. Davor arbeitete er bei Credit Suisse im globalen Credit Risk Analytics Team und war dort für die Kreditrisikomodellierung innerhalb der Abteilungen Private Banking und Investment Banking verantwortlich. Zudem hat er ein globales Data Scientist Team im Bereich Compliance Analytics aufgebaut und geleitet.