Kommentar von Egmont Philips, Tata Consultancy Services (TCS) Agentische KI: Wer trägt Verantwortung für ihre Entscheidungen?

Anbieter zum Thema

Tata Consultancy Services Deutschland GmbH

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Die rasante Entwicklung Künstlicher Intelligenz (KI) prägt zunehmend unseren Alltag und die Geschäftswelt. Eine Prognose des Marktforschungsinstituts Gartner besagt, dass bis 2028 bereits 15 Prozent der täglichen Arbeitsentscheidungen autonom von agentischer KI getroffen werden – ein deutlicher Anstieg gegenüber 0 Prozent im Jahr 2024. Aber wer trägt die Rechenschaftspflicht und wie gelingt ein verantwortungsvoller Umgang mit der neuen Technologie?

Agentische KI repräsentiert die nächste Evolutionsstufe der Künstlichen Intelligenz. Anders als traditionelle, regelbasierte Systeme, die lediglich passive Befehlsempfänger sind und nach festen Skripten arbeiten, können agentische KI-Systeme komplexe Probleme autonom und ohne menschliche Anleitung lösen. Sie agieren als proaktive, lernfähige und anpassungsfähige digitale Mitarbeiter, die über Zeithorizonte hinweg „denken“, aus Ergebnissen lernen und mit anderen KI-Agenten zusammenarbeiten, um ihre Leistung kontinuierlich zu verbessern. Das ermöglicht ein Maß an Intelligenz und Flexibilität, das weit über die Möglichkeiten konventioneller KI hinausgeht.

Chancen für den BFSI-Sektor

Die Technologie wird bereits aktiv in allen Branchen eingesetzt. Da sie jedoch noch nicht vollständig ausgereift ist, ist ihre Anwendung beispielsweise bei Kundeninteraktionen noch begrenzt. Und trotzdem: Das Potenzial ist erkennbar. Im Banken-, Finanzdienstleistungs- und Versicherungssektor (BFSI) verbinden sich diese intelligenten Agenten mit bestehenden Tools wie Customer Relationship Management (CRM), Know Your Customer (KYC)-Systemen und Markt-Feeds, um End-to-End-Workflows zu automatisieren. Das Ergebnis: eine schnellere Entscheidungsfindung, eine Hyper-Personalisierung von Angeboten und effizientere Prozesse.

Der Blick in die Zukunft zeigt, dass die Möglichkeiten der agentischen KI im Bereich der Kundenerfahrung noch weitreichender sind. Man kann sich vorstellen, dass KI-Agenten Kunden aktiv über mobile Banking-Apps oder Messaging-Plattformen kontaktieren, um sie bei Zahlungen zu unterstützen, um Versicherungen zu erneuern oder um Produktinformationen bereitzustellen. Sie könnten sogar warnen, wenn eine Zahlung fällig und das Guthaben niedrig ist, um Strafgebühren zu vermeiden.

Darüber hinaus könnten KI-gestützte Concierges als persönliche Finanzpartner fungieren, die Anlageportfolios neu ausbalancieren, Versicherungspolicen optimieren oder, basierend auf Transaktionshistorien, Vorschläge zur Verwendung von Ersparnissen unterbreiten. Auch im Marketing könnten digitale Concierges ganze Kampagnen von der Ideenfindung über die Inhaltserstellung bis zum Launch in wenigen Stunden realisieren.

Doch neben den Chancen birgt agentische KI auch Herausforderungen im Bereich der Governance. Die zentrale Frage dabei: Wer trägt die Rechenschaftspflicht, wenn KI-Systeme autonom agieren?

Klar ist: Das KI einsetzende Unternehmen trägt in der Regel die Hauptlast der rechtlichen und reputationsbezogenen Verantwortung. Neue Vorschriften wie der EU AI Act verstärken diesen Fokus, indem sie Transparenz, menschliche Aufsicht und Nachvollziehbarkeit als Grundpfeiler für eine lückenlose Rechenschaftspflicht fordern. Diese Pflicht verteilt sich jedoch neben den Anwenderunternehmen auch auf die Entwickler und Datenwissenschaftler sowie Regulierungsbehörden und politische Entscheidungsträger.

Transparente Rechenschaftspflicht beginnt mit erklärbarer KI

Technologisch stellt sich die Frage, ob die „Black Box“ komplexer agentischer KI-Systeme ausreichend geöffnet werden kann, um transparente Rechenschaftspflicht zu gewährleisten. Transparenz bedeutet hier nicht nur, in das Modell zu schauen, sondern das Verhalten des Systems im Kontext zu verstehen. Angesichts der Sorge von Regulierungsbehörden um die Transparenz von KI und der dringenden Notwendigkeit, die „Black Box“-Natur von KI zu entmystifizieren, ist erklärbare KI (Explainable Artificial Intelligence, XAI) die aktuell beste Lösung. XAI – eine Reihe von Tools und Techniken – ermöglicht es, Entscheidungen von Machine-Learning-Modellen zu protokollieren und dient als wichtiges Instrument für Führungskräfte und Mitarbeiter, um Rechenschaft abzulegen. Eine zügige XAI-Einführung in den kommenden Jahren ist daher entscheidend, um die Bedenken hinsichtlich der Transparenz zu adressieren und vertrauenswürdige KI aufzubauen.

Doch die technologische Transparenz allein ist nicht ausreichend. Sie muss durch organisatorische und prozessuale Anpassungen ergänzt werden, um klare Verantwortlichkeiten zu schaffen und Risiken zu minimieren. Eine effektive Governance erfordert, dass Rechenschaftspflicht konsequent von der Führungsebene bis in jede Stellenbeschreibung und Leistungsmetrik integriert wird. Sie etabliert sich damit als neuer und unverzichtbarer Hygienefaktor im Bereich der Arbeitsethik. Andernfalls besteht die Gefahr, dass autonome Systeme Vorurteile verstärken, die Rechenschaftspflicht verschleiern oder sogar Compliance-Verstöße verursachen.

Organisatorische Anpassungen umfassen zunächst die Stärkung der Daten- und Architektur-Grundlagen: Um eine Echtzeiterfassung und semantische Verarbeitung zu ermöglichen, sind eine robuste Dateninfrastruktur und -governance entscheidend. Zudem müssen über den gesamten KI-Lebenszyklus verantwortliche Rollen definiert und Mitarbeiter in Bereichen wie Fehlerbehandlung sowie Entscheidungsfindung umgeschult werden. Das ist keine einmalige Maßnahme: Um langfristig Akzeptanz zu schaffen und eine datengestützte Kultur zu fördern, sind kontinuierliche Schulungen eine wesentliche Voraussetzung. Zur gezielten Überwachung dieser neuen Prozesse und Agenten ist nicht zuletzt die Einrichtung funktionsübergreifender KI-Governance-Ausschüsse erforderlich.

Unerlässlich sind auch die Prozessanpassungen, die sämtliche Phasen des autonomen KI-System-Lebenszyklus abdecken:

• 1. Phase – Entwicklung: Hier müssen Unternehmen Standards für Modelldokumentation (Datenherkunft, Annahmen und Einschränkungen), Audit- und Fairness-Tests schaffen sowie mithilfe von XAI die Nachvollziehbarkeit von Trainingsdaten bis zur Modellausgabe und Schutzmechanismen sicherstellen.

• 2. Phase – Bereitstellung: Erforderlich sind menschliche Kontrollpunkte bei hochriskanten Entscheidungen, die Durchsetzung von Tools und API-Governance zur Kontrolle der Agentenautonomie sowie ein Notfallplan und die Entwicklung von Ausfallsicherungsmechanismen.

• 3. Phase – Überwachung nach der Bereitstellung: Dazu gehören das Führen unveränderlicher Prüfprotokolle von Agentenaktionen und -entscheidungen, die kontinuierliche Überwachung auf Modelldrift, Verzerrungen und unbeabsichtigtes Verhalten sowie die Planung regelmäßiger Überprüfungen mit Rechts-, Compliance- und Geschäftsteams.

Notwendig: neue Denkweise und klare Leitprinzipien

Der verantwortungsvolle Einsatz agentischer KI fordert von Entscheidern nicht nur neue Führungsfähigkeiten und -stile, um Teams aus Menschen und KI-Agenten effektiv zu leiten, sondern vor allem eine tief verankerte „Human-first“-Denkweise, die menschliche, ethische Prinzipien an die erste Stelle rückt. Bevor die neue Technologie eingeführt wird, müssen Unternehmen diese Haltung verinnerlichen und sich an klare Leitprinzipien halten, wie:

• Innovationsbereitschaft & Anpassungsfähigkeit: Innovative Wege beschreiten und die Anpassungsfähigkeit der Mitarbeiter an das technologische Tempo aktiv fördern.

• Wertebasierte Entscheidungen: Jede Entscheidung auf Fairness für alle Beteiligten ausrichten, um langfristig tragfähige Praktiken zu gewährleisten.

• Transparente Kommunikation: Eine klare Unternehmensphilosophie kommunizieren, die beispielsweise betont, wie KI Menschen ergänzt und nicht ersetzt.

• Strategischer KI-Einsatz: Experimente mit agentischer KI auf Bereiche konzentrieren, die einen maßgeblichem geschäftlichem Einfluss auf Kostenoptimierung und Wachstum versprechen.

• Ökosystem-Partnerschaften & Antizipation: Zusammenarbeit mit starken Partnern suchen und proaktiv potenzielle Störungen der Kerntechnologie antizipieren, um entsprechende Notfallpläne zu entwickeln.

Agentische KI ist nicht nur ein Technologie-Upgrade – sie ist ein Paradigmenwechsel in der Art und Weise, wie Arbeit erledigt wird. Doch diese Evolution stellt Unternehmen vor die zentrale Herausforderung der Rechenschaftspflicht. Um einen verantwortungsvollen Einsatz zu gewährleisten, ist ein ganzheitlicher Ansatz unerlässlich: Er umfasst technologische Lösungen wie XAI, weitreichende organisatorische und prozessuale Anpassungen über den gesamten KI-Lebenszyklus sowie eine wertebasierte „Human-first“-Denkweise. Der Erfolg der Technologie hängt davon ab, Autonomie mit Governance, Transparenz und Vertrauen zu verbinden. Nur durch diese integrierte Herangehensweise können Unternehmen die Chancen agentischer KI nutzen und gleichzeitig Risiken minimieren.

(ID:50489930)