Mobile-Menu

KI-Automatisierung außer Kontrolle Wenn Agenten Amok laufen

Quelle: Pegasystems 1 min Lesedauer

Anbieter zum Thema

Pegasystems GmbH
Fsas Technologies GmbH
Board Deutschland GmbH
INFOMOTION GmbH

Pegasystems warnt vor dem unkontrollierten Einsatz von KI-Agenten. Ohne klare Regeln und Prozessrahmen können autonome Systeme Chaos auslösen – insbesondere in regulierten Branchen. Der Hersteller fordert ein strukturiertes Case-Management, um den „Agenten-Horror“ zu verhindern.

Freilaufende KI kann mehr schaden als nützen.(Bild: Pegasystems)
Freilaufende KI kann mehr schaden als nützen.
(Bild: Pegasystems)

Was in der Theorie nach digitaler Effizienz klingt, kann in der Praxis schnell zum Albtraum werden: Wenn KI-Agenten ohne Orchestrierung handeln, entsteht kein Fortschritt – sondern Unordnung. Pegasystems spricht von „freilaufenden Agenten“, die Prozesse durcheinanderbringen, doppelte Aktionen ausführen oder gar sensible Daten unbefugt weitergeben.

„Schon kleine Unterschiede in den Eingaben können dazu führen, dass agentenbasierte KI in vergleichbaren Fällen zu unterschiedlichen Entscheidungen kommt – und dadurch Kunden ungleich behandelt“, erklärt Michael Baldauf, Financial Services Senior Director bei Pegasystems. „Wenn KI-Agenten völlig autonom handeln, kann es außerdem passieren, dass sie Aktionen doppelt ausführen, widersprüchliche Mitteilungen an Kunden senden oder gesetzliche Vorgaben verletzen, indem sie sensible Daten weitergeben.“

Michael Baldauf, Financial Services Senior Director bei Pegasystems. (Bild: Pegasystems)
Michael Baldauf, Financial Services Senior Director bei Pegasystems.
(Bild: Pegasystems)

Prozessvariabilität als Risiko

Gerade in stark regulierten Branchen wie dem Finanzwesen könne eine solche Prozessvariabilität schwerwiegende Folgen haben. Wenn etwa Kreditprozesse bei jeder Ausführung leicht anders verlaufen oder Prüfmechanismen nur sporadisch greifen, stoßen Aufsichtsbehörden schnell an ihre Toleranzgrenzen. „Die Ursachen liegen an der Basis – ein übergeordneter Orchestrierungs-Agent kann diese Variabilität nicht einfach ausgleichen“, warnt Baldauf.

Case-Management als Sicherungsseil

Pegasystems plädiert daher für ein durchgängiges Case-Management-System, das Datenflüsse, Entscheidungsregeln und Zuständigkeiten zentral modelliert. Agenten sollen darin nicht autonom, sondern eingebettet agieren – als spezialisierte Einheiten, die klar definierte Aufgaben übernehmen. Nur so lassen sich Abläufe transparent, konsistent und revisionssicher gestalten.

„KI-Agenten sind hervorragende Instrumente. Sie können komplexe Aufgaben automatisieren, Informationen aus verschiedenen Quellen analysieren und verknüpfen, Entscheidungsvorschläge in Echtzeit liefern und nahtlos mit Menschen oder Systemen interagieren“, sagt Baldauf. „Was sie jedoch nicht können, ist Prozesse frei selbst gestalten. Sie sind spezialisierte Helfer, die ohne Anleitung nicht effizient, sicher und regelkonform zusammenarbeiten.“

(ID:50604408)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte