Kommentar von Maximilian Harms, Dataiku Return on Agent (ROA) – so stiften KI-Agenten tatsächlichen Mehrwert

Künstliche Intelligenz (KI) hat das Potenzial, die Effizienz branchenübergreifend zu steigern. Die Art und Weise, aber, wie KI aktuell in den meisten Unternehmen eingesetzt wird, führt in Sackgassen. Das Muster dahinter: Unternehmen setzen ein Enterprise-ChatGPT ein, führen Copilot oder Salesforce Agentforce ein, entwickeln kleine Agenten für Routineaufgaben und erzielen nur bescheidene Effizienzgewinne. Warum? Teams versuchen, bestehende Prozesse zu automatisieren, anstatt die Art und Weise, wie Arbeit erledigt wird, neu zu überdenken.

Das lässt sich als die Return-on-Agent-Lücke (ROA) beschreiben: Eine Kluft zwischen einerseits dem transformativen Potenzial von KI-Agenten und andererseits dem Mehrwert, den die meisten tatsächlich erzielen. Um dieses Potenzial in Wert umzuwandeln, müssen zwei Kernelemente berücksichtigt werden: Vertrauen und Wirkungsmessung.

Prozessoptimierung bei KI mit geringem Einfluss

Dabei gibt es aus der Praxis bereits Erfolgsgeschichten, in denen Unternehmen KI unternehmensweit skalieren können. Michelin setzt KI in Forschung und Entwicklung ein und hat es geschafft, Fertigung und Service so zu skalieren, dass datengestützte Erkenntnisse an über 50 globalen Produktionsstandorten gewonnen werden können. Roche hat die eigene Patentarbeit durch den Einsatz von GenAI und dem Themis PatAI-Agenten optimiert, um Tools zu vereinheitlichen, Kosten zu senken und die Effizienz für Anwälte und Rechtsanwaltsgehilfen zu steigern.

KI-Governance

Gartner: 40 Prozent der Unternehmen werden autonome KI-Agenten zurückstufen

An einem Beispiel aus der Fertigungsindustrie lässt sich veranschaulichen, wie ein Produktionsstandort mit komplexen und wartungsintensiven Maschinen optimiert werden kann. Die meisten Unternehmen würden KI als Optimierungsinstrument einsetzen, beispielsweise eine GenAI-Anwendung entwickeln, mit der ihre Techniker dichte, komplexe Anlagendokumentationen schneller durchsuchen können. Der Ansatz spart zwar Zeit und ist sicherlich nützlich; er ist aber im Kern nicht transformativ.

Stattdessen lohnt es sich, einen Schritt vorher anzusetzen und den Ansatz für den Einsatz von KI innerhalb des Unternehmens von Grund auf zu denken. Zum Beispiel durch die Entwicklung eines KI-Agenten, der die Koordination mit Lieferanten übernimmt, Wartungspläne vorhersagt, Ressourcen zuweist und auf Basis von Echtzeit-Erkenntnissen automatisch Ersatzteile bestellt. Ein solcher Agent wäre in der Lage, all das innerhalb der bestehenden Unternehmenssysteme zu dokumentieren und mit entsprechenden weiteren Agenten bei den verschiedenen Lieferanten zu kommunizieren.

Der Unterschied besteht also darin, dass der eine Einsatz von KI lediglich einen bestehenden Prozess verbessert und einem Techniker vielleicht 15 Prozent Zeit spart, während der andere 80 Prozent der Herausforderungen bei der Produktionsplanung reduzieren könnte.

KI implementieren bedeutet Vertrauensprobleme zu lösen

Viele Unternehmen sind sich des technischen Potenzials von Agenten zwar bewusst, zögern jedoch, ihre Prozesse zu überdenken und neu zu gestalten. Das zeigt auch eine zuletzt von Dataiku und Harris Poll durchgeführte Befragung unter 600 CEOs weltweit. Insbesondere Prozesse, denen die Fähigkeiten der agentischen KI in Bezug auf Urteilsvermögen, Koordination und Handlungsfähigkeit nutzen würden, leiden unter dieser Verlangsamung. Der Hauptgrund scheint ein Mangel an Vertrauen zu sein: 75 Prozent der Befragten in der Studie bestätigen dies.

Die wirklich autonomen Funktionen agentischer KI nutzbar zu machen, bedeutet, Risiken in Kauf zu nehmen. Potenzielle Latenz, Kosten, Reputationsschäden und Datenlecks sind natürlich keine Kleinigkeiten. Um hier einen Vertrauensvorschuss zu wagen, bedarf es also einer ehrlichen aber einfachen Einschätzung: Profitiert genau diese Aufgabe tatsächlich von nicht-menschlicher Entscheidungsfindung? Viele sind sich unsicher oder können diese Frage noch nicht beantworten. Oft führt die Vorsicht dahinter zu einer gänzlichen Lähmung. Es gibt aber glücklicherweise mittlerweile weitreichende Möglichkeiten, um Governance, Schlussfolgerungen, Beobachtbarkeit und Kostenkontrolle zu ermöglichen, und so die Risiken zu mindern und das Vertrauen zu stärken.

Sichern von Erfolgen kommt durch Messen von Ergebnissen

Doch auch wenn Vertrauensprobleme überwunden sind und Unternehmen beginnen, strategisch mit dem Potenzial agentischer KI zu experimentieren, stoßen sie häufig auf eine nächste Hürde: Sie sind nicht in der Lage, den ROI ihrer Agenten effektiv zu messen, um überhaupt zu verstehen, ob sie so gut funktionieren, wie erhofft.

Unkontrollierte API-Schlüssel werden zum Compliance-Risiko

KI-Agenten brauchen Identitäten, keine statischen API-Schlüssel

Wie bei allen ROI-Ansätzen muss auch der ROA streng und unternehmensspezifisch definiert werden. Drei Schlüsselelemente sind dabei unerlässlich, um eine robuste KI-ROA-Struktur zu schaffen, die Teams auch ernsthaft ermöglicht zu erkennen, wann Erfolge eintreten:

• Abstimmung der Stakeholder: KI-Agenten betreffen in der Regel mehrere Teams innerhalb des Unternehmens, greifen auf verschiedene Datenquellen zurück und sind in unterschiedliche Unternehmensanwendungen integriert. Es ist also unerlässlich, dass das Rahmenwerk eine gemeinsame Sprache schafft und die gemeinsamen Ziele erfasst, auf die die verschiedenen Unternehmensbereiche hinarbeiten können.

• Kompromisslose Prioritäten: Nicht alle Prozesse sollten neu konzipiert und mit KI überfrachtet werden. Das Framework sollte Rat und Anleitung bieten, um zu ermitteln, welche Geschäftsprozesse eine echte Transformation erfahren würden und welche nur inkrementelle Gewinne bringen. Diese Klarheit stellt sicher, dass Teams keine Zeit oder Ressourcen darauf verschwenden, das falsche Problem zu lösen.

• Echte Metriken: Der Erfolg von KI muss anhand von geschäftlichen KPIs gemessen werden, nicht anhand irgendwelcher (zufälliger) technischen Kennzahlen. In der Fertigung könnte das die Gesamtanlageneffektivität (OEE) bedeuten, im Kundenservice die Erstlösungsquote. Auch hintergründige Kennzahlen sollten dabei berücksichtigt werden, wie die Anzahl der eliminierten Prozesse oder neu gewonnene Fähigkeiten. Aber auch Risikofaktoren wie Reputationsrisiko, Datenlecks, Token- und Rechenkosten sind zentral, also Kennzahlen, mit denen traditionelle Technologieinvestitionen nicht konfrontiert sind.

Die ROA-Lücke schließen

Um die Kluft zwischen Potenzial und Realität zu überbrücken und letztlich zu schließen, müssen Vertrauensfragen angegangen und von Anfang an anwendbare Rahmenbedingungen geschaffen werden:

• Vertrauen schärfen durch Einbeziehung: Diejenigen, die Geschäftsprozesse am besten verstehen, sollten die Agenten entwickeln, die diese transformieren. Wenn Fachexperten aktiv an der Entwicklung von Agenten beteiligt sind – und diese nicht nur von der IT erhalten – entsteht Vertrauen von sich heraus. Sie verstehen Sonderfälle genau, wissen, was „gut genug“ bedeutet, und können Ergebnisse auf eine Weise validieren, wo zentralisierte (Tech-)Teams ratlos wären. Hier hilft es auch, kontrollierte Umgebungen zu schaffen, in denen Fachexperten sicher experimentieren können.

• Investieren in Befähigung, nicht nur in Technologie: Die Neugestaltung von Prozessen erfordert eine engagierte organisatorische Unterstützung. Beispielsweise können KI-Enablement-Leiter, die Fachexperten beim Aufbau von Agenten unterstützen, Best Practices teamübergreifend weitergeben und letztlich als Brücke zwischen dem Unternehmen und der KI-Implementierung fungieren. Transformation findet nicht statt, ohne dass sich Menschen darauf konzentrieren, sie zu verwirklichen.

• Schärfen einer Vision von Wettbewerbsvorteilen: Vermeiden Sie generische „KI überall“-Ansätze. Über welche einzigartigen Fähigkeiten und welches Wissen verfügt Ihr Unternehmen? Welche Prozesse bilden den Kern Ihres Wettbewerbsvorteils? Die Neugestaltung sollte genau darauf setzen, anstatt auf grob formulierte Verbesserung. Die Agenten-Strategie sollte sich also an Kerngeschäftskompetenzen orientieren, nicht an dem, was alle Wettbewerber vermeintlich tun.

• Geschäftserfolge verfolgen und Misserfolge streichen: Mit der Anwendung kontextbezogener Kennzahlen sollte auch gnadenlos abgebrochen werden, wenn Initiativen keinen transformativen Wert liefern. Gleichzeitig sollten auch frühe Erfolge lautstark gefeiert werden – nichts schafft mehr organisatorisches Momentum als sichtbare Erfolgsgeschichten, die zeigen, wie Neugestaltung in der Praxis aussieht.

Vorausschauend in die Zukunft

Eine ROA-Lücke entsteht, wenn die Neugestaltung von Prozessen komplexer wird als die Automatisierung. Es entstehen Reibungspunkte für Menschen, Abläufe und Technologien. Gleichzeitig sind bescheidene Effizienzsteigerungen, während das transformative Potenzial ungenutzt bleibt, weder sinnvoll für die beteiligten Menschen noch für Investitionen in KI. Die Unternehmen, die sich für eine mutige Neugestaltung ihrer Prozesse entscheiden, werden sich letztlich von der Konkurrenz abheben und ihr Potenzial entfachen, um im Wettbewerb des nächsten Jahrzehnts erfolgreich zu sein.

Governance für KI-Agenten

Databricks macht zentrale Agent-Bricks-Funktionen allgemein verfügbar

(ID:50874487)