Kommentar von Joshua Driesen und Yasmin Kardi Prozessoptimierung treibt Chatbots die Dummheit aus

Anbieter zum Thema

Iskander Business Partner

Sopra Steria GmbH

Fsas Technologies GmbH

INFOMOTION GmbH

Der Einsatz von KI im Kundenservice hat seit dem Start von ChatGPT einen regelrechten Boom erlebt. Neue und mit Sprachmodellen (LLM) verbesserte Chatbots sollen Kunden rund um die Uhr zur Verfügung stehen und durch ihre automatisierten Antworten Mitarbeiter entlasten. Doch viele der KI-gesteuerten Helfer wurden hektisch eingeführt, ohne vorher bestehende Vertriebs- und Kommunikationsprozesse zu hinterfragen.

Die Folge: Der Chatbot lernt von schlechten Prozessen. Er verärgert Kunden, provoziert Kündigungen oder rät zu Handlungen, die das Unternehmen Geld kosten. Wer es zuvor versäumt hat, sollte seine Abläufe nachträglich noch mit Customer Journey Mining auf den Prüfstand stellen und optimieren.

Ein aktuelles Beispiel ist der Chatbot der Fluggesellschaft Air Canada. Die KI hatte einem Kunden eine Erstattung versprochen, die nicht den Firmenrichtlinien entsprach. Ein Urteil verpflichtete die Airline zur Zahlung, da sie für alle Informationen auf der Website verantwortlich ist – auch für die der KI. Doch oftmals ist der Chatbot noch eine Blackbox, das Unternehmen weiß selten genau über alle Aussagen Bescheid, die der digitale Helfer trifft. Firmen sollten sie aber genau im Blick behalten, denn wie der Fall zeigt, können sie zu teuren Fehlern führen. Hier helfen ein Blick in das Innere des Chatbots und die Auswertung von Datenspuren.

Noch übernehmen überwiegend Prozessmanagerinnen und -manager diese Aufgabe, künftig unterstützt sie auch die KI dabei. Derzeit wird erprobt, diesen Weg weiterzugehen und der KI von einer KI auf die Finger schauen zu lassen. Generative KI (GenAI) kann in den Freitext des Chatbots hineinschauen und herausfiltern, an welchen Stellen der digitale Helfer einen schlechten Job macht und den Kunden nicht helfen kann. Damit entsteht quasi eine Übersetzung zwischen Chatbot-Interaktionen und den Eventlogs von Kundenprozessen. Dabei markiert die beobachtende KI im Chatlog die Stellen, an denen die ausführende KI, also der Chatbot, bestimmte Meilensteine erreicht hat, etwa eine Diagnose des Anliegens oder das Vorschlagen einer bestimmten Lösung.

GenAI lernt aus fehlerhaften Prozessen

Die Schwachstellendiagnose eines KI-Chatbots kann aber nur den Status quo aufzeigen und etwas Licht in die Blackbox werfen. Viel wichtiger ist es, den Ursachen für das „Fehlverhalten“ auf den Grund zu gehen. Denn die Enttäuschung ist groß, wenn die durch KI-gesteuerte Sprachmodelle (LLM) erweiterten Chatbots nicht den Erwartungen gerecht werden. Schließlich hatten Energieversorger, Fluggesellschaften oder Telekommunikationsunternehmen große Ziele im Blick, als sie die besseren FAQs der KI-Anfangszeit durch die intelligenten Bots ersetzten: Sie wollten mithilfe von KI besser beraten und verkaufen. Denn die emotional und empathisch wirkenden LLM-Bots sprechen verschiedene Sprachen, können riesige Datenmengen verarbeiten und darüber hinaus noch individuelle Produkte vorschlagen und Feedback einholen. Sie wiederholen keine festgelegten Antworten, sondern entwickeln sich stetig weiter und lernen aus Interaktionen mit dem Kunden.

Doch genau in diesem Lerneifer der weitgehend selbstständig arbeitenden KI liegt auch das Risiko, dass ihre Antworten Kunden verärgern oder gar zur Kündigung führen. Denn die Technologie lernt von bestehenden Vertriebsprozessen aus einer Nicht-KI-Welt, die selten zuvor optimiert wurden. Sind die Abläufe oder Kampagnen zuvor bereits ineffizient oder serviceschädlich aufgesetzt worden, besteht eine hohe Wahrscheinlichkeit, dass die KI mit dieser Vorlage nicht hilft, sondern schadet. Der Bot lernt zu versagen und entwickelt sich zum Horrorszenario statt zum Helfer.

Bei suboptimalen Prozessen ist die Zusammenarbeit zwischen digitalen Helfern und menschlichen Kollegen besonders herausfordernd. Zum Beispiel wenn der Chatbot einen Rückruf eines Mitarbeiters verspricht, Kunden dann aber vergeblich darauf warten. Oder wenn Kunden im Chat Produkte angeboten werden, die sie bereits früher genutzt, aber aus bestimmten Gründen gekündigt haben. Ein Fehler, den der Bot macht, wenn er nicht auf die entsprechenden Informationen zugreifen kann.

Ein Chatbot, der strategische Fehler wie falsche Provisionsmodelle übernimmt, wird ebenfalls keine großen Verbesserungen herbeiführen. Wenn Callcenter-Agenten beispielsweise am Telefon mehr Geld für den Abschluss von Neuverträgen bekommen als für einen Vertragswechsel, wird ein Bot ebenso wenig im Sinne des Unternehmens handeln. Die Technologie hat es aus den früheren Kundenkontaktdaten exakt so gelernt und hinterfragt nicht selbstständig die Sinnhaftigkeit. Dazu braucht es den Blick von außen und den Willen, in Frage zu stellen, was bereits scheinbar reibungslos läuft.

Mit Customer Journey Mining Interaktionen mit Kunden beleuchten

Die Empfehlung ist daher klar: Unternehmen sollten immer erst ihre Prozesse unter die Lupe nehmen, bevor sie im Kundenservice oder im Vertrieb LLM-Chatbots einführen. Transparenz zu schaffen ist dabei der initiale Schritt. Das Ziel der Durchleuchtung besteht darin, herauszufinden, wo bereits falsche oder unnötig komplexe Prozesse existieren oder wo schlicht das Chaos herrscht.

Eine Methode, um Licht ins Dunkel zu bringen und Ordnung zu schaffen, ist Customer Journey Mining (CJM). Mithilfe von Methoden und Tools aus der Process-Mining-Welt können Unternehmen die verschiedenen Lebenszyklen der Kunden, also sämtliche Interaktionen mit ihren Endkunden, auf Ineffizienzen und Service-Schwachstellen hin abklopfen. Analysiert werden die bisherige Kundenkommunikation und alle relevanten Unternehmensprozesse, die ein Chat oder ein anderer Kontakt auslöst.

Prozessmanager hinterfragen dabei kritisch die Qualität der Abläufe auf Basis von Datenspuren: Werden Anliegen der Kunden wirklich gelöst? Oder müssen sie nach einem Chat mit einem Bot doch noch häufig zum Telefon greifen und von vorn anfangen? Hat der KI-Einsatz bestimmte Fehlerbilder gar verschlimmert? Im Idealfall sollte jeder Prozess, der einer KI beigebracht wird, schon vorher gründlich mithilfe von Process Mining durchleuchtet und verbessert werden. Die zentrale Fragestellung lautet: Ist der Prozess schlank, zielführend und für den Kunden verständlich oder erfordert er manuelles Eingreifen, läuft in Schleifen und gerät ins Stocken?

GenAI mit Lernschwächen braucht Prozessnachhilfe

Auch wenn KI-gesteuerte Sprachmodelle bereits ohne vorherige Prozessanpassung beraten und gegebenenfalls von suboptimalen Prozessen gelernt haben, ist es nicht zu spät für CJM. Prozessverbesserungen und Nachschulungen lassen sich im laufenden Bot-Betrieb erreichen. Je schneller eingegriffen wird, desto weniger Kunden werden vom falsch trainierten Chatbot vergrault. Für die Airline im obigen Beispiel wäre CJM eine erhebliche Erleichterung bei der nachgelagerten Fehleranalyse gewesen, da leichter nachzuvollziehen gewesen wäre, wo der Bot „falsch abgebogen“ ist. Die Alternative ist oft, den vermeintlich fehlerhaften KI-Helfer (teilweise) abzuschalten und wieder ausschließlich auf menschliche Mitarbeitende im Kundenservice zu setzen. Demgegenüber verspricht eine durch CJM beschleunigte Lösungsfindung reale Kostenersparnisse.

Viele der gängigen Probleme entstehen, weil ein bestimmter Informationsfluss nicht geklappt hat: vom Chat zum Callcenter-Agenten oder vom Vertragsbestand zum Chat. Wenn dieser Informationsfluss nicht besteht, muss er implementiert werden. Der Informationsfluss zur KI kann etwa durch die sogenannte Retrieval-Augmented-Generation-Technologie hergestellt werden, die Informationsweitergabe aus der KI heraus kann durch Plug-ins und andere Agenten-Funktionalitäten verbessert werden.

Mithilfe von Customer Journey Mining können Unternehmen die inneren Abläufe von Chatbots untersuchen und auch nachträglich bei den Prozessen ansetzen. Der Ansatz macht beispielsweise Auswirkungen des Handelns von KI-Chatbots auf den Kundenlebenszyklus sichtbar.

Fazit

Robo Advisory und Chatbots im Kundenservice bieten bislang nicht die Qualität, die ein Mensch gewährleistet. Das wird sich allerdings mit GenAI und Folgetechnologien mittelfristig ändern, wenn Unternehmen Technologie- und Prozesstransformation zusammendenken. Denn auch die beste Technologie kann keine Prozessfehler ausbügeln, sie verstärkt diese eher noch. KI ist kein Allheilmittel für schlecht aufgesetzte Vertriebsabläufe, ihre Einführung oder Optimierung sollte jedoch ein Weckruf sein, bestehende Tätigkeiten aus der analogen Welt auf den Prüfstand zu stellen.

* Joshua Driesen ist Associate Lead Expert bei Sopra Steria und Yasmin Kardi ist Management Consultant bei Iskander Business Partner

(ID:49986991)