Sicherheitslücken der Künstlichen Intelligenz

KI als Gewinn und Risiko für die Sicherheit

Die Cybersecurity-Branche gehört zu den Pionieren in der Anwendung der Künstlichen Intelligenz. Sie wird seit Jahren in der Angriffserkennung und bei Virenscannern eingesetzt. Allerdings halten offene Fragen hinsichtlich Sicherheit, Datenschutz und Haftungsrisiken viele Unternehmen und Behörden von der praktischen KI-Nutzung ab, berichtet das Fraunhofer-Institut für Sichere Informationstechnologie. Offensichtlich sehen Unternehmen Vor- und Nachteile der KI für die Cybersicherheit.

Eine besondere Herausforderung stellt dabei der mögliche Missbrauch von KI-Systemen durch Angreifer dar. Unternehmen nutzen bereits KI-Systeme zum Schutz des Firmennetzwerks, um Angriffe schneller zu erkennen und zu vereiteln. Aber Angreifende können zum Beispiel die Trainingsdaten solcher Systeme manipulieren. Das ist nur ein Beispiel für mögliche Sicherheitslücken der KI.

Nicht nur Trainingsdaten können manipuliert werden

„KI-Systeme sind häufig eine Art Blackbox, deren Entscheidungen die Nutzer nicht nachvollziehen können“, sagte Dr. Dirk Stenkamp, Präsident des TÜV-Verbands, bei der Vorstellung der Ergebnisse einer KI-Studie. So würden es mehr als vier von fünf Unternehmen befürworten (84 Prozent), wenn die Zuverlässigkeit einer KI von unabhängigen Experten bestätigt würde. 85 Prozent fordern demnach, dass die Sicherheit von KI-Anwendungen von herstellerunabhängigen Stellen geprüft wird.

Mangelnde Sicherheit bei KI aufzudecken, erfordert eine Prüfung der kompletten Infrastruktur, die bei der Nutzung von KI eine Rolle spielt. Die möglichen Schwachstellen der KI sind vielfältig, wie der Bericht „Artificial Intelligence Cybersecurity Challenges“ der EU-Agentur für Cybersicherheit ENISA zeigt. Es ist wichtig zu verstehen, was alles gesichert werden muss, und spezifische Sicherheitsmaßnahmen zu entwickeln, um zu gewährleisten, dass die KI selbst sicher und vertrauenswürdig ist, so ENISA.

Zu den Sicherheitsrisiken der KI selbst zählen zum Beispiel mangelnde Robustheit und Schwachstellen von KI-Modellen und -Algorithmen, mögliche Manipulation des Modells (Model Stealing Attacks), Manipulation von Daten (Evasion/Adversarial Attacks, Data Poisoning Attacks), die in AI-Systemen verwendet werden, aber auch Angriffe auf die Computerinfrastrukturen und Cloud-Dienste, die zur Unterstützung und Ausführung der Funktionen von AI-Systemen verwendet werden. Doch wie sollen diese Schwachstellen behoben werden?

Sicherheitsstandard für KI verfügbar

Die auf KI basierenden Systeme sind neuen Sicherheitsbedrohungen ausgesetzt, die von etablierten IT-Sicherheitsstandards nicht abgedeckt werden, macht das BSI (Bundesamt für Sicherheit in der Informationstechnik) deutlich. Mit dem Kriterienkatalog für KI-basierte Cloud-Dienste (Artificial Intelligence Cloud Services Compliance Criteria Catalogue, AIC4) will das BSI eine wichtige Grundlage schaffen, um die Sicherheit von KI-Systemen bewerten zu können.

Der AIC4 des BSI definiert ein Basisniveau an Sicherheit für KI-basierte Dienste, die in Cloud-Infrastrukturen entwickelt und betrieben werden. Ein vergleichbar einsetzbarer Prüfstandard für sichere KI-Systeme existiert derzeit nicht, so das BSI. Die Kriterien im AIC4 adressieren die Bereiche Sicherheit und Robustheit, Performance und Funktionalität, Zuverlässigkeit, Datenqualität, Datenmanagement, Erklärbarkeit sowie Bias. Sie decken hierbei den gesamten Lebenszyklus von KI-Diensten ab, also die Entwicklung, die Erprobung, die Validierung und den Betrieb.

KI-Sicherheit wird zur rechtlichen Anforderung

Eine nachweisbare Sicherheit bei KI-Systemen wünschen sich nicht nur die Anwenderunternehmen und empfehlen nicht nur Prüfverbände und IT-Sicherheitsbehörden. KI-Sicherheit wird zum Gegenstand von Compliance und Verordnungen der EU.

So hat die EU-Kommission neue Vorschriften und Maßnahmen vorgeschlagen, die Europa zum globalen Zentrum für vertrauenswürdige künstliche Intelligenz (KI) machen sollen. Margrethe Vestager, Exekutiv-Vizepräsidentin der EU-Kommission, erklärte dazu: „Bei künstlicher Intelligenz ist Vertrauen ein Muss und kein Beiwerk. Mit diesen wegweisenden Vorschriften steht die EU an vorderster Front bei der Entwicklung neuer weltweiter Normen, die sicherstellen sollen, dass KI vertrauenswürdig ist.“

Für KI-Systeme mit hohem Risiko werden strenge Vorgaben gelten, die erfüllt sein müssen, bevor sie in der EU auf den Markt gebracht werden dürfen, darunter auch angemessene Risikobewertungs- und Risikominderungssysteme, eine hohe Qualität der Datensätze, die in das System eingespeist werden, um Risiken so gering wie möglich zu halten, die Protokollierung der Vorgänge, um die Rückverfolgbarkeit von Ergebnissen zu ermöglichen, eine ausführliche Dokumentation mit allen erforderlichen Informationen über das System und seinen Zweck, damit die Behörden seine Konformität beurteilen können, klare und angemessene Informationen für die Nutzer, eine angemessene menschliche Aufsicht zur Minimierung der Risiken und nicht zuletzt ein hohes Maß an Robustheit, Sicherheit und Genauigkeit.

Mit dem sogenannten Artificial Intelligence Act der EU wird in Zukunft eine umfassende, nachweisbare Sicherheit und damit eine Prüfung auf Sicherheitslücken und deren Abstellung bei KI-Systemen zur Pflicht.

Der geplante, neue Rechtsrahmen wird sowohl für öffentliche als auch für private Akteure innerhalb und außerhalb der EU gelten, sofern das KI-System in der EU in Verkehr gebracht wird oder Menschen in der EU von seiner Verwendung betroffen sind. Er erfasst sowohl Anbieter (z. B. Entwickler eines Auswertungsprogramms für Lebensläufe) als auch Nutzer von KI-Systemen mit hohem Risiko (z. B. eine Bank, die dieses Programm anschafft).

Für den Fall, dass KI-Systeme in Verkehr gebracht oder in Betrieb genommen werden, die den Anforderungen der Verordnung nicht genügen, müssen die Mitgliedstaaten wirksame, verhältnismäßige und abschreckende Sanktionen, einschließlich Geldbußen, festlegen.

Hier werden zu Recht Erinnerungen an die Datenschutz-Grundverordnung (DSGVO) der EU wach. KI-Sicherheit wird damit ebenso ein Thema der nahen Zukunft sein wie es der Datenschutz seit langem ist. Sicherheitslücken einer KI müssen dann nicht nur diskutiert werden, sondern sie müssen bekannt sein und beseitigt werden, um KI-Compliance zu gewährleisten.