Interview: So lässt sich die Anwendung von KI überwachen

AI kann dabei helfen, IT Services besser zu überwachen, indem Anomalien aufgedeckt werden. Doch auch AI selbst muss ja letztlich überwacht werden. Warum ist dies wichtig?

Es geht hierbei ja nicht nur um die AI – also die Aufrufe an das Modell selbst – sondern auch die Anwendung, die überwacht wird. Es werden hier zusätzlich zur Anwendung Metriken wie die Antwortzeit oder auch Zahl der Aufrufe erfasst. Zudem kosten diese Aufrufe auch Geld. In einigen Fällen kann das auch sehr teuer werden. Deshalb werden zusätzlich auch die Tokens – also die Datenmengen – überwacht. Dabei handelt es also um FinOps für AI Services. Ein weiterer Aspekt – vor allem bei LLMs – ist auch die Qualität der Antworten. Oft können Benutzer anzeigen, ob sie mit der Antwort zufrieden waren oder nicht. Auch diese Information sind wesentlich und dienen dazu, AI Anwendungen zu verbessern.

Was genau versteht man unter AI Observability?

AI Observability ist das Überwachen von Anwendungen, die AI Modelle verwenden. Ziel der Überwachung ist es, die Qualität, die Performance und die Kosten der Anwendungen zu kontrollieren. Ein weiteres Thema, das eine größere Rolle spielt, ist die Sustainability – sprich den CO2 Footprint – dieser Anwendungen zu überwachen.

Natürlich muss auch das Training von Modellen selbst überwacht werden. Dies ist aber eher eine Spezialdisziplin einiger, weniger Experten.

Was sind typische Auffälligkeiten bei AI, sprich, was kann man bei AI entdecken, um dann darauf steuernd einzugreifen?

Als erstes einmal natürlich die Qualität der Antworten. Hier haben Benutzer die Möglichkeit, die Antworten zu bewerten. Antwortzeiten sind natürlich auch sehr wichtig; vor allem bei Chatlösungen. Man will schließlich nicht auf jede Antwort 15 Sekunden oder mehr warten. Auch der Kostenfaktor ist wesentlich. Bei komplexen AI Anwendungen, die Frameworks wie LangChain oder ähnliches verwenden, kann so ein Chat schnell einmal ein paar Euro kosten.

Kann mit AI Observability auch das Verhalten einer AI kontrolliert werden, ob die AI also aufgestellte Richtlinien einhält? Zum Beispiel, ob die AI das vorgesehene Budget einhält?

Man kann die Kosten überwachen, indem man die Anzahl der Aufrufe und die Datenmenge (Tokens) überwacht. Diese wird aber von der Anwendung, die das AI Modell verwendet, getrieben. Somit geht es dabei mehr um die Anwendung selbst als die AI. Bei sogenannten AI Agents, die mit Frameworks wie LangChain oder ähnlichen gebaut werden. Hier kann das Modell selbst neue Aufrufe startend, daher müssen auch diese AI Agents überwacht werden.

Wichtig ist, dies schon während der Entwicklung dieser Modelle zu tun – genau wie bei normaler Software eben auch. Sonst hat man dann zwar eine tolle Anwendung, weiß aber nicht, wie man mit den hohen – und dann unerwarteten Kosten – umgeht.

Könnte AI Observability auch bei Aufgaben der AI Compliance helfen?

Compliance geht natürlich viel weiter als Observability. Der EU AI Act zieht hier auch sehr stark in Betracht, wie die AI verwendet wird – gibt sie sich als menschliches Gegenüber, zum Beispiel als Chatbot aus, aber auch in welchen Bereichen diese eingesetzt wird, medizinische Diagnosen etc. Zudem geht es auch um die Compliance im Training, um Bias von Modellen zu vermeiden.

Was den technischen Aspekt betrifft, kann man AI Compliance wohl am besten mit Security Compliance vergleichen. Hier spielt Observability auch eine immer größere Rolle. Ähnlich wie bei Security Forensics wird sich auch AI Forensics etablieren. Hier ist Logging und Tracing der Anfragen relevant. Zudem wird in nicht allzuferner Zukunft auch das Thema Real Time Protection eine Rolle spielen, vor allem bei Themen wie Prompt Injection – also dem Versuch, mittels Prompt Engineering, eine AI dazu zu bringen, nicht erlaubte Dinge zu tun.

Sieht die Zukunft bei AI Observability so aus, dass eine AI eine andere AI überwacht? Was muss die kontrollierende AI dafür leisten können?

Dies passiert bereits heute. Hier ist wichtig zu verstehen, dass AI nicht gleich AI ist. Man unterscheidet hier zwischen Predictive AI – zum Vorhersehen von zukünftigem Verhalten und Entdecken von Anomalien, Causal AI – der Möglichkeit komplexe Probleme zu analysieren und Ursache und Wirkung automatisch zu erkennen. Last but not least gibt es dann auch noch Generative AI, diese wird aber mehr für Productivity Use Cases eingesetzt. Bei Dynatrace kombinieren wir alle drei Methoden in einer sogenannten Hypermodal AI.

Für die Anwendungsüberwachung per se spielt allerdings predictive und causal AI die größte Rolle. Diese Systeme setzen wir schon seit ca. zehn Jahren bei den größten Unternehmen in allen Branchen ein. Diese Systeme erlauben es auch, auf Basis der Analysen automatisiert Fehler zu beheben.