Vom KI-Hype zum Produktivbetrieb

Viele Unternehmen stehen derzeit vor der Herausforderung, KI-Modelle effizient und sicher in die Produktion zu bringen. Zentrale Fragen lauten dabei: Wie kann dies aus Sicht der Softwareentwickler erfolgen und wie können die beiden Welten der Entwickler und Data Scientists verbunden werden? Das zentrale Bindeglied kann dabei eine Plattform sein, die eine Professionalisierung von DevOps mittels Platform Engineering und eine Integration von MLOps unterstützt.

Doch was bedeutet die Professionalisierung von DevOps? Blickt man in die Vergangenheit, so hat die zunehmende DevOps-Nutzung dazu geführt, dass in vielen Unternehmen eine große Lösungsvielfalt entstanden ist. Das Ergebnis war vielfach durchwachsen: Standards wurden nicht eingehalten und Best Practices nicht umgesetzt. Entgegengewirkt wurde dieser Entwicklung unter anderem mit der Bereitstellung von Referenzarchitekturen und Musterlösungen. Dieses Vorgehen war aber sehr starr und folglich mit einer starken Einschränkung der Entwicklerflexibilität verbunden.

Trend zu Platform Engineering

Der aktuelle Trend geht deshalb in Richtung Platform Engineering – laut Gartner ein zentrales Thema der nächsten Jahre. Beim Platform Engineering handelt es sich um einen strategischen Ansatz zur Bereitstellung grundlegender Infrastruktur und Tools sowie notwendiger Prozesse für Entwicklungsteams, um deren Effizienz zu steigern und die Anzahl wiederkehrender Aufgaben zu reduzieren.

Dabei stehen die konkreten Bedürfnisse der Anwender im Mittelpunkt. Hierzu stellen Platform Engineers den Entwicklerinnen und Entwicklern maßgeschneiderte Produkte mit den benötigten Funktionen zur Verfügung, beginnend mit umfangreichen Self-Service-Funktionen bis hin zu Anwendungsfall-getriebenen Vorlagen. So wird sichergestellt, dass Software den organisatorischen Best Practices und Standards entspricht und diese trotzdem keine Einschränkung für die Entwicklungsteams darstellen.

Interne Entwicklerplattform

Eine wesentliche Komponente des Platform Engineering ist die „Interne Entwicklerplattform“ (IDP), die den Entwicklern eine Sammlung von Tools und Technologien bietet, die sie zum Erstellen, Testen und Bereitstellen von Software benötigen. Bestandteile sind dabei neben den „Software Templates“ oder allgemein Vorlagen auch die notwendigen Integrationen mit verwendeten CI/CD-Werkzeugen und Ablaufumgebungen. All dies wird mitunter als sogenannte Plug-Ins eingebunden und individuell auf die Bedürfnisse der Teams zugeschnitten.

Neben der Professionalisierung von DevOps durch Platform Engineering geht es im Kontext von KI dann zwangsläufig um das Thema MLOps, gewissermaßen die DevOps-Adaption für Machine Learning (ML). MLOps ähnelt zwar dem DevOps-Konzept, allerdings geht es dabei um das Deployment und Management sowie das Training von ML-Modellen. Das heißt, MLOps unterstützt eine effiziente Entwicklung, Bereitstellung und Verwaltung von Machine-Learning-Modellen.

Nahtlose Verbindung von DevOps und MLOps

Auch hier ist wieder das Konzept Platform Engineering von Bedeutung, das die nahtlose Verbindung von DevOps und MLOps beziehungsweise von Entwicklern und Data Scientists ermöglicht. Data Scientists verantworten die Entwicklung und das Training der KI-Modelle und stellen kuratierte Versionen der Modelle etwa in einem Softwarekatalog für die Produktion bereit. Ein Softwareentwickler muss dann nicht lange nach einem geeigneten Modell für einen spezifischen Anwendungsfall suchen, sondern greift auf einen vorbereiteten Katalog zu, dem er die Attribute der Modelle entnehmen kann. Durch die Auswahl in entsprechenden Software-Templates wird dann die Anbindung an den Applikations-Code bereitgestellt.

Eine zentrale Voraussetzung für die einfache und schnelle Produktivsetzung und Einbindung in neue und bestehende Anwendungen von Modellen ist somit eine Plattform, die alle erforderlichen Aspekte abdeckt, also nicht nur die Softwareentwicklung, sondern auch die KI-Modell-Entwicklung, das KI-Modell-Training und die KI-Modell-Einbindung in die Applikationslandschaft. Es geht also um eine Plattform, die für DevOps, Platform Engineering und MLOps eine Basis bilden kann und unterschiedlichste Prozesse vereinheitlicht.

Dabei darf eines nicht vergessen werden: Es ist zwar ein relativ neues Thema, KI in großen Mengen in die Produktion zu bringen. Es geht hier aber keineswegs nur um große Sprachmodelle, sondern auch etwa um prädiktive oder analytische KI. Auch hier bestehen Herausforderungen, die letztlich nur mit einem Plattformansatz sinnvoll in den Griff zu bekommen sind.

Markus Eisele

ist Developer Strategist bei Red Hat.