Gartner: Ein Drittel der Unternehmen nutzen oder implementieren Tools für Sicherheit von KI-Anwendungen

Für die Umfrage hat Gartner Anfang April 2023 150 IT- und Informationssicherheits-Führungskräften in Unternehmen der eigenen Peer-Community-Umfrage befragt, in denen GenAI oder generative Modelle im Einsatz sind, deren Einsatz geplant ist oder erforscht wird.

“IT-, Sicherheits- und Risikomanagement-Verantwortliche müssen neben der Implementierung von Sicherheitstools auch die Unterstützung einer unternehmensweiten Strategie für KI TRiSM (Vertrauens-, Risiko- und Sicherheitsmanagement) in Betracht ziehen”, so Avivah Litan, Analyst bei Gartner. “AI TRiSM verwaltet Daten- und Prozessflüsse zwischen Nutzern und Unternehmen, die generative KI-Grundlagenmodelle hosten, und muss kontinuierlich erfolgen, um eine Organisation zu schützen.”

Für GenAI-Sicherheit ist die IT verantwortlich

Während 93 Prozent der befragten IT- und Sicherheitsverantwortlichen angaben, dass sie zumindest in gewissem Maße an den GenAI-Sicherheits- und Risiko-Managementmaßnahmen  ihres Unternehmens beteiligt sind, gaben nur ein Viertel an, dass sie die Verantwortung dafür tragen.

Von den Befragten, die nicht die Verantwortung für die GenAI-Sicherheit und/oder das Risikomanagement tragen, gaben 44 Prozent an, dass die letztendliche Verantwortung für die GenAI-Sicherheit bei der IT liegt. Für 20 Prozent der Befragten liegt die Verantwortung bei den Abteilungen für Governance, Risiko und Compliance ihres Unternehmens.

Top-of-Mind-Risiken

Die mit GenAI verbundenen Risiken sind erheblich, kontinuierlich und werden sich ständig weiterentwickeln. Die Umfrageteilnehmer gaben an, dass unerwünschte Ergebnisse und unsicherer Code zu den Risiken gehören, die ihnen beim Einsatz von GenAI am meisten auffallen. 57 Prozent der Befragten sind besorgt über das Durchsickern von Geheimnissen in KI-generiertem Code und 58 Prozent sind besorgt über falsche oder verzerrte Ergebnisse.

“Unternehmen, die das KI-Risiko nicht im Griff haben, werden erleben, dass ihre Modelle nicht wie beabsichtigt funktionieren und im schlimmsten Fall Menschen- oder Sachschäden verursachen können”, so Litan. “Dies führt zu Sicherheitsmängeln, finanziellen und Reputationsverlusten und zur Schädigung von Personen durch falsche, manipulierte, unethische oder voreingenommene Ergebnisse. KI-Fehlleistungen können auch dazu führen, dass Unternehmen schlechte Geschäftsentscheidungen treffen.”