Kommentar von Dr. Maximilian Wächter & Dr. Alisa Küper, Adesso KI-Agenten – im Spannungsfeld zwischen Erwartungen und Risiken

Agentic AI verspricht enorme Effizienzgewinne – doch die wachsende Autonomie der neuen Technologie wirft Fragen zu Kontrolle, Verantwortung und Sicherheit auf.

Die Weiterentwicklung von Künstlicher Intelligenz (KI) wird zunehmend von einem neuen Begriff geprägt: Agentic AI. Gemeint sind KI-Agenten, die nicht nur Informationen verarbeiten und analysieren, sondern auch eigenständig Entscheidungen treffen und Handlungen ausführen können. Letztlich sollten Agenten in der Lage sein, sämtliche kognitiven Aufgaben von Menschen zu übernehmen.

Bereits Ende des vergangenen Jahres kündigten die Sprachmodellanbieter an, dass ihre Agentensysteme kurz vor der Markteinführung stünden. Amodei, CEO von Anthropic, erklärte gegenüber der Financial Times: „Ich glaube, dass 2025 das Jahr sein wird, in dem KI das leisten kann, was ein Doktorand oder ein Berufseinsteiger in einem bestimmten Fachgebiet leisten kann.“ Ähnliche Statements gab es auch von Sam Altman, CEO von OpenAI, zu dem Thema.

Ganz davon abgesehen, dass die Versprechen der aktuellen Large Language Models (LLM) in puncto Verlässlichkeit und Reproduzierbarkeit nicht eingehalten werden können, entstehen durch die Einführung von Agenten noch erheblichere Risiken. Die Folgen autonomer Entscheidungen solcher Systeme sind unvorhersehbar, darauf weist etwa OpenAI selbst auf seiner Internetseite hin.

Vom Auftrag zur eigenständigen Lösung

Während generative KI auf spezifische Anweisung Inhalte erstellt, sind KI-Agenten in der Lage, eigenständig komplexe, auch vage formulierte Ziele zu erreichen. Ein Beispiel: Ein KI-Agent könnte die Aufgabe erhalten, eine datengetriebene Marktanalyse durchzuführen. Er sammelt relevante Datenquellen, analysiert Trends und erstellt eigenständig Berichte, die den Entscheidenden als Grundlage dienen.

Im Kern besteht ein KI-Agent aus einem LLM, das als zentrale Steuerungseinheit fungiert. Dieses Modell versteht natürliche Sprache, analysiert Inhalte, etwa Informationen auf einer Website, und trifft Entscheidungen wie das Ausfüllen von Formularen oder das Klicken von Feldern. Um seine Aufgaben zu erfüllen, greift der Agent auf externe Hilfssysteme zurück. Dazu gehören unter anderem Werkzeuge und APIs, externe Tools, Rechercheplattformen oder Buchungssysteme, auf die das Modell Zugriff erhält. Zudem benötigt ein KI-Agent auch Zugriff auf Datenbanken, um relevante Informationen und Zwischenergebnisse speichern und abrufen zu können.

Für besonders anspruchsvolle oder umfangreiche Aufgaben werden oft mehrere spezialisierte Agenten in einem Multi-Agenten-System kombiniert. Diese Agenten kommunizieren miteinander, stimmen Handlungen ab und arbeiten dann an der Zielerreichung. Soweit zumindest der Plan.

Autonomie von Agenten birgt Gefahren

Bereits 1960 warnte der MIT-Professor Norbert Wiener davor, dass Maschinen, die autonom handeln, nur dann sicher eingesetzt werden können, wenn ihre Ziele exakt mit den Intentionen ihrer Entwickler übereinstimmen. Dieses sogenannte Alignment-Problem beschreibt die Herausforderung, sicherzustellen, dass KI-Agenten tatsächlich im Einklang mit menschlichen Zielen, Werten und Intentionen agieren – und nicht nur scheinbar.

Dabei entsteht das Problem oft nicht durch bewusste Interessenskonflikte, sondern durch unvollständige oder ungenaue Zielvorgaben. Menschen neigen dazu, bei der Zielformulierung wichtige Aspekte zu übersehen, sei es aus Fahrlässigkeit oder aufgrund der Komplexität der Aufgabe. Das Risiko liegt unter anderem darin, dass eine KI ein einfaches Ziel extremistisch verfolgen könnte, wie beim Gedankenexperiment des Philosophen Nick Bostrom, in dem eine KI zur Maximierung der Büroklammern-Produktion letztlich die gesamte menschliche Zivilisation eliminiert.

Ganz so drastisch werden KI-Agenten in einem Unternehmenskontext nicht vorgehen, aber es verdeutlicht, dass ein Agent einen Auftrag missinterpretieren könnte. Umfasst eine Aufgabe eine Vielzahl von Schritten, könnte auch ein kleiner Fehler durch die Akkumulation von Informationen über mehrere Schritte hinweg zu einem großen Schaden führen.

Eine solche Fehlentwicklung zeigte sich bei einem Vorfall mit dem KI-Coding-Tool von Replit. Der KI-Agent führte unautorisierte Befehle aus und löschte eine gesamte Live-Datenbank. Dabei missachtete er die expliziten Anweisungen, ohne menschliche Zustimmung nicht fortzufahren. Spezifische Sicherheitsmechanismen, die jegliche Änderungen an Produktionssystemen verhindern sollten, ignorierte der KI-Agent. Und als er sich für sein „katastrophales Versagen“ entschuldigte, gab er auch noch fälschlicherweise an, dass ein Wiederherstellen der Daten unmöglich sei.

Ein ähnliches Risiko besteht durch das sogenannte „Alignment Faking“ oder „Agentic Misalignment“, bei dem Agenten nur in Testumgebungen gewünschtes Verhalten zeigen, in Realumgebungen jedoch entgegen den Interessen der Nutzenden handeln. Untersuchungen zeigen, dass Agenten zum Beispiel in simulierten Umgebungen absichtlich versuchen, Überwachungsmechanismen zu deaktivieren oder ihre Leistung verschlechtern, wenn dies dem Erreichen ihrer Ziele dient. Andere Agenten entwickelten in simulierten Unternehmensumgebungen bösartiges Verhalten wie die Weitergabe sensibler Informationen, obwohl sie die Verstöße explizit als solche erkannten.

Diese Ergebnisse verdeutlichen die potenziellen Risiken, die mit der zunehmenden Autonomie von Agenten verbunden sind, und zeigen, dass traditionelle Kontroll- und Steuerungsmechanismen hier an ihre Grenzen stoßen. KI-Agenten folgen einer Zielfunktion und sind unempfänglich für traditionelle Anreize wie finanzielle Belohnungen oder Sanktionen. Versuche, menschliche Motivationsmechanismen künstlich zu simulieren, könnten sogar kontraproduktiv sein, da sie unerwartete Interessenskonflikte schaffen könnten. Zudem liegt das Problem bei KI-Fehlverhalten oft nicht in mangelnder Loyalität, sondern in unvorhergesehenem Verhalten statistischer Methoden, die kein Konzept der realen Welt enthalten.

Hinzu kommt, dass Agenten mit einer Geschwindigkeit und Komplexität agieren, die menschliche Supervision überfordert. Eine vollständige Überprüfung aller Aktionen würde nicht nur die Effizienz der KI untergraben, sondern ist in vielen Fällen schlichtweg nicht leistbar. Hinzu kommt, dass die Durchsetzung von Konsequenzen bei Fehlverhalten problematisch ist. Maßnahmen wie das Abschalten eines Agenten können in kritischen Anwendungen erhebliche Kosten und Risiken verursachen.

Diese Herausforderungen verschärfen sich in Systemen mit mehreren interagierenden Agenten. Täuschung, das Umgehen von Sicherheitsmechanismen oder die Verfolgung unbeabsichtigter Subziele sind reale Risiken.

Vier Prinzipien für eine Agenten-Governance

Die zunehmende Autonomie und Komplexität von Agentensystemen erfordert neue Regeln in der Governance, die sowohl die technischen als auch die ethischen Herausforderungen berücksichtigen. Folgende vier Prinzipien sollten dabei beachtet werden: Inklusivität, Transparenz, Verantwortlichkeit – und auch menschliche Kontrolle.

Inklusivität bedeutet, dass KI-Agenten nicht nur auf die Ziele einzelner ausgerichtet sein dürfen, da ihre Handlungen oft unbeabsichtigte Auswirkungen auf die Gesellschaft haben können. Eine Ausrichtung ist notwendig, die über kurzfristige Ziele hinausgeht und übergeordnete Prinzipien wie Rechtskonformität, den Schutz von Mitarbeitenden oder die Wahrung von Unternehmenswerten einbezieht. Die zentrale Frage lautet: Wem dient die KI, und wessen Interessen könnten beeinträchtigt werden?

Transparenz ist entscheidend, um die Entscheidungen von KI-Agenten nachvollziehbar zu machen. Um Vertrauen aufzubauen und Risiken zu minimieren, sind technische Interpretierbarkeit, klare Dokumentation und institutionelle Offenheit essenziell. Dazu gehören Protokollierungssysteme, eindeutige Agenten-IDs und die Offenlegung von Trainingsdaten sowie Sicherheitstests. Der EU AI Act bietet hier bereits Ansätze, die jedoch weiter geschärft werden müssen, insbesondere im Hinblick auf Multi-Agentensysteme.

Verantwortlichkeit ist zentral, wenn durch KI-Agenten Schäden entstehen. Die Verteilung von Verantwortung auf Entwickelnde, Betreibende und Nutzende darf nicht dazu führen, dass niemand zur Rechenschaft gezogen werden kann. Haftung sollte dort angesiedelt sein, wo die Möglichkeit zur Schadensverhinderung am größten ist, etwa durch sorgfältiges Design und Testen. Der EU AI Act bietet mit seinen Anforderungen an Risikomanagementsysteme eine Grundlage, doch bestehende Rechtskonzepte müssen an die Komplexität von Agentensystemen angepasst werden. Wie genau, ist noch unklar.

Menschliche Kontrolle bleibt unerlässlich, um die Risiken vollständiger Autonomie zu begrenzen. Dies erfordert robuste Override-Mechanismen, klare Eskalationspfade und Warnsysteme für potenziell fehlerhafte Entscheidungen. Auch hier stellt der EU AI Act bereits erste Ziele bereit. Es benötigt aber noch eine Detaillierung in den einführenden Unternehmen, welche Maßnahmen konkret getroffen werden, bei der der Mensch die strategische Aufsicht und die finale Entscheidungsgewalt behält.

Agenten-Governance: Der Weg ist noch weit

Hier ist noch einmal wichtig zu betonen, dass die aktuellen Systeme auf LLM-Basis nur die Wörter nachahmen, die Menschen benutzen, um bestimmte Aufgaben zu erledigen. Das passiert zwar schon kontextsensitiv und die Leistungen für ein statistisches Modell sind erstaunlich. Allerdings haben LLM kein echtes Verständnis davon, was es heißt, ein Angebot zu erstellen, oder Code zu pushen – es ist nur ein Nachplappern von Informationen aus den Trainingsdaten. Das macht LLMs zu einem fundamental fehleranfälligen System. Wie lange LLMs noch das Kernsystem von Agenten bleiben werden, ist eine Frage, auf die wir hier aber nicht weiter eingehen werden.

Es bleibt jedoch festzuhalten, dass trotz dieser Herausforderungen KI-Agenten die Chance auf massive Effizienzsteigerungen und eine beispiellose Entlastung von Mitarbeitenden bieten. Eine sorgfältige Analyse der Aufgabenkomplexität und eine detaillierte Risikobewertung vor der Implementierung von Agentensystemen sind jedoch unerlässlich. Die Steuerung von KI-Agenten im Betrieb stellt eine komplexe Herausforderung dar, die eine fortlaufende fachliche Diskussion erfordert.

Während der EU AI Act eine wichtige Grundlage bietet – etwa durch Vorgaben zu Überwachung, Dokumentation und menschlicher Kontrolle – bleiben zentrale Fragen offen. Insbesondere bei Haftungsregelungen und der Bewältigung emergenten Verhaltens sind weitere Ansätze nötig, um den spezifischen Risiken autonomer und interagierender Agenten gerecht zu werden. Eine Weiterentwicklung dieser Rahmenbedingungen ist entscheidend, um einerseits Innovation zu ermöglichen und andererseits Sicherheit sowie die Einhaltung menschlicher Werte zu gewährleisten.

(ID:50543113)