Kommentar von Dr. Dirk Michelsen, IBM So lassen sich KI-Lösungen trotz Risiken erfolgreich einsetzen

Anbieter zum Thema

IBM Deutschland Management & Business Support GmbH

QUNIS GmbH

Aktuell sind viele Organisationen dabei, KI-Lösungen zu entwickeln und in den Produktivbetrieb zu überführen. Leider sind nicht alle dieser Projekte erfolgreich. Insofern ist es von großem Interesse, die Faktoren zu analysieren, die zum Scheitern geführt haben, aus ihnen zu lernen und die eigenen KI-Projekte dann erfolgreich durchzuführen.

Eine IBM-interne Expertenbefragung zu eigenen und fremden KI-Projekten hat ergeben, dass diese Projekte in den einzelnen Umsetzungsphasen vor allem aus den folgenden Gründen scheitern:

• 1. Die Fachabteilung wählt einen ungeeigneten Use Case mit unklarem Business Case.

• 2. Der Lösungsansatz für den Use Case ist zu komplex.

• 3. Das Projektteam verzettelt sich bei der Auswahl der optimalen Komponenten.

• 4. Die Datenqualität ist unzureichend.

• 5. Der Prototyp kann nicht erfolgreich in den Produktivbetrieb überführt werden.

• 6. Im Produktivbetrieb wird die KI-Lösung nicht ausreichend gepflegt und überwacht.

Die massive Dynamik des KI-Zeitalters als zugrunde liegende Ursache

Diese Gründe des Scheiterns haben einen gemeinsamen Hintergrund: die massiv beschleunigte Dynamik im Bereich Künstlicher Intelligenz. Bei klassischer IT-Entwicklung gab es meist alle zwei Jahre eine „ernsthafte“ neue Software-Version, die dann über mehrere Jahre unterstützt wurde. Das heißt, man konnte neue Software ein halbes Jahr testen, eineinhalb Jahre implementieren und dann noch drei Jahre nutzen, bevor der nächste Versionswechsel notwendig wurde.

Im modernen KI-Zeitalter gibt es jedoch ein anderes Tempo: Neue KI-Modelle erscheinen im Monatsrhythmus, und auch die Landschaft der KI-Frameworks verändert sich unterjährig rasant. Das führt zu einem veränderten Verhalten der Fachabteilungen, zu immer komplexeren Lösungen, zu einer endlosen Suche nach optimalen Komponenten, zu ungenügender Datenqualität, zu einer mangelnden Reife der Software-Komponenten und einer sich verschlechternden Nutzerzufriedenheit innerhalb des Betriebs.

Aus Sicht der Fachabteilung sind immer neue Use Cases möglich, mit denen man sich befassen kann. Entsprechend verzetteln sich die Fachabteilungen bei der Identifikation von Use Cases und verbringen viel Zeit mit Use Cases, die intellektuell interessant, aber finanziell nicht tragbar sind. Ein typisches Beispiel ist der Versuch, eine unangenehme Aufgabe, die einmal im Jahr ein paar Arbeitstage erfordert, zu automatisieren. Dieser Fall hat aber leider keinen tragfähigen Business Case.

Keine stabile Lösung ohne ausgereifte Komponenten

Die immer neuen Möglichkeiten der Künstlichen Intelligenz führen zudem zu immer komplexeren Lösungsansätzen. Das heißt, die Künstliche Intelligenz soll mehr Aufgaben und mehr Prozesse abdecken, was zu mehr Komponenten und einer Vielzahl von Integrationen in der Lösungsarchitektur führt. Da die Komponenten allerdings noch nicht ausgereift sind, wird es schwierig, eine stabile Lösung zu erzielen.

Aus Sicht des Projektteams gibt es zudem regelmäßig neue Versionen und Varianten der Software-Komponenten und KI-Modelle, die man nutzen könnte. Das Projektteam verbringt in Folge viel Zeit damit, immer neue Komponenten, Frameworks und Modelle zu testen und zu evaluieren, ohne je zu einem Ende zu kommen. Wenn dann noch das Projektteam dazu übergeht, die einmal getroffenen Entscheidungen hinsichtlich der zu nutzenden Software mehrfach zu revidieren, führt der Wunsch nach der idealen Software zum Projektstillstand.

Sind endlich alle Komponenten installiert, muss die KI-Lösung mit entsprechenden Daten gefüttert werden. Je nach Anwendungsfall sind das zum Beispiel Trainingsdaten oder die zu gebenden Antworten auf Anwenderfragen. Meist zeigt sich erst jetzt, dass die Daten veraltet, unvollständig, in sich fehlerhaft oder inkonsistent sind. Dies führt – wenn alles gut geht und die Daten letztlich geliefert werden können – nur zu einem Projektverzug. Im schlimmsten Fall scheitert das Projekt.

Probleme bei der Überführung in den Produktivbetrieb

Mit einem erfolgreichen Piloten bzw. Prototypen ist es aber leider nicht getan. Hier sorgt die aktuelle Entwicklungsgeschwindigkeit dafür, dass die Software-Komponenten und KI-Modelle bei der Überführung in den Produktivbetrieb Probleme zeigen. Bei Software dauert es normalerweise ein Jahr, bis ein Prototyp zu einer für den Produktivbetrieb geeigneten Software mit notwendigen Funktionalitäten – wie z. B. Rechteverwaltung, Betriebsüberwachung, Backup, etc. – gereift ist. Das gilt insbesondere für Frameworks, die an Universitäten ohne Blick auf „Enterprise Readiness“ entstanden sind. Dies – und der mangelnde Business Case – führt zu der aktuell beobachtbaren Schwemme an erfolgreichen Prototypen bzw. Piloten ohne erfolgreichen Produktivbetrieb.

Wenn dann der Produktivbetrieb aufgenommen wurde, führt die Entwicklungsgeschwindigkeit zu weiteren Problemen. Typisch wird – jedenfalls bei Cloud-basierten KI-Projekten – automatisch die jeweils neueste Version des KI-Modells genutzt. Wenn dieses dann weiterentwickelt wird oder sich die Datenbasis, auf der das KI-Modell agiert, ändert, funktionieren getestete und bewährte Funktionen nicht mehr oder in geänderter Form. Außerdem entwickelt sich die Benutzererwartung weiter. Die KI-Anwendung muss ständig überwacht und gepflegt werden. Ansonsten steigt das Risiko den Nutzer zu enttäuschen.

Was ist also zu tun, um KI-Projekte erfolgreich durchzuführen?

Hier ist vor allem ein stringentes Projektmanagement nötig, das sich nicht von der Lawine der Neuigkeiten ablenken lässt.

• 1. Das Projektmanagement muss bei der Diskussion mit den Fachabteilungen über die Use Cases sicherstellen, dass der Use Case geeignet ist und über einen soliden Business Case verfügt. Geeignet sind vor allem Use Cases, die nicht erfordern, dass die Künstliche Intelligenz immer fehlerfrei funktioniert – wie es z. B. bei autonomen Fahrzeugen der Fall ist, die unter keinen Umständen Unfälle verursachen dürfen. Use Case und Business Case müssen funktionieren, auch wenn die Künstliche Intelligenz nicht immer das gewünschte Ergebnis erzielt. Hier gibt es zwei Varianten: Use Cases, bei denen Fehler tolerabel sind, und Use Cases, bei denen eine Übertragung der Aufgabe auf den Menschen vorgesehen wird. Hier gilt die Daumenregel, dass sich der Business Case rechnen muss, wenn die KI-Anwendung nur in 70 Prozent der Fälle greift, dann aber eine Kostenreduktion um den Faktor 10 erzielt. Bei der Priorisierung der Use Cases hat sich ein XY-Diagramm mit Kosten versus Nutzen für alle untersuchten Anwendungsfälle bewährt. Es reicht dabei, dass die Künstliche Intelligenz „gut genug“ für den Business Case ist. Perfektion darf nicht notwendig sein.

• 2. Das Projektmanagement muss die Komplexität des Lösungsansatzes reduzieren, indem die Anzahl der Komponenten so klein wie möglich gehalten wird. Hier empfiehlt sich die Nutzung von relativ wenigen, dafür relativ großen Komponenten, also von Frameworks bzw. Plattformen, und der Verzicht auf unwesentliche Anforderungen. Wenn die Komplexität auf Ebene des Lösungsansatzes dennoch zu hoch ist, sollte der Use Case vereinfacht werden.

• 3. Das Projektmanagement muss sicherstellen, dass die zu nutzenden Komponenten nicht mit der heißen Nadel gestrickt sind und zueinander passen. Es empfiehlt sich eine Plattform mit dazu passenden Add-Ons – also erfahrungsgemäß gut miteinander interagierende Komponenten – zu nutzen und dann einen „Feature Freeze“ durchzuführen. Der „Feature Freeze“ sollte dabei nur die aktuell gut funktionierenden Komponenten und Funktionalitäten beinhalten und alle weiteren Elemente in eine der nächsten Projekt-Phasen schieben. Hierbei hat es sich bewährt, Software zu nutzen, die schon ein paar Monate genutzt wurde und zu welcher Erfahrungen vorhanden sind. Auch hier muss „gut genug“ reichen. Perfektion verschlingt nach der Pareto-Regel zu viele Ressourcen.

• 4. Das Projektmanagement muss sich frühzeitig des Themas Datenqualität annehmen. Es muss so früh wie möglich dafür sorgen, dass die für die KI-Lösung notwendigen Daten vollständig und in hoher Qualität vorliegen. Hier hat es sich bewährt, frühzeitig ein eigenes kleines Team einzusetzen, das sich nur um Datenbeschaffung und Datenqualität kümmert.

• 5. Dann muss das Projektmanagement sicherstellen, dass die Plattform schon bei der Auswahl bzw. im Prototypstadium die für einen Produktivbetrieb notwendigen Funktionalitäten wie Rechteverwaltung, Betriebsüberwachung, Abrechnung, Backup etc. unterstützt. Ein nachträglicher Einbau dieser Funktionalitäten in eine Plattform ist aufwendig und – wenn der Einbau nicht in den Originalcode erfolgt – bei jedem Versionswechsel zu wiederholen.

• 6. Zu guter Letzt muss das Projektmanagement sicherstellen, dass die KI-Anwendung auch nach Einführung in den Produktivbetrieb ständig überwacht und gepflegt wird. Ein paar der ursprünglichen Entwickler sollten maximal zwei Tage im Monat für diese Überwachung und Pflege bereitstehen.

Insgesamt lassen sich die Risiken von KI-Projekten somit deutlich reduzieren, indem auf einen soliden Use Case geachtet wird, indem die Komplexität reduziert wird, indem eine bewährte Plattform genutzt wird, indem die Datenqualität frühzeitig adressiert wird, indem schon frühzeitig auf die „Enterprise Readiness“ geachtet wird und indem der Produktivbetrieb überwacht und gepflegt wird.

(ID:50462607)