ChatGPT ChatGPT-Agenten: Wenn KI eigenständig handelt

Generative KI galt bisher als Assistenzwerkzeug. Doch mit der Einführung von „Agenten“ führen diese autonomen Systeme nicht nur Befehle aus, sondern agieren selbstständig und können so ohne menschliches Zutun Schaden anrichten.

Die ChatGPT-Agenten interagieren mit Systemen und treffen eigenständig Entscheidungen. Trend Micro hat die Sicherheitsherausforderungen des ChatGPT-Agenten im Vergleich zu herkömmlichen Assistenten untersucht, die mit den verbesserten Funktionen für mehr Autonomie des digitalen Assistenten einhergehen.

Sicherheitsrisiken der ChatGPT-Agenten

Der neu veröffentlichte ChatGPT-Agent bietet verbesserte Funktionen und damit Sicherheitsherausforderungen, denen herkömmliche Assistenten nie ausgesetzt waren. Er kann eigenständig Aktionen auszuführen und auf externe Systeme zuzugreifen ohne, dass der Nutzer jede Handlung explizit anstößt.

Diese Autonomie macht ihn attraktiv für Angreifer: von automatisierter Cyberkriminalität und gezielten Angriffen auf kritische Infrastrukturen bis hin zu großflächiger Datenspionage.

Der Agent hat außerdem ein erhöhtes Risiko für Manipulation und ist damit anfälliger für Datenschutzverstöße. Unternehmen sind unbeabsichtigten Aktionen und möglichen Datenlecks ausgesetzt.

Im Unterschied zu Chatbots wie dem klassischen ChatGPT können KI-Agenten komplexe Aufgaben in mehreren Schritten ausführen, APIs ansteuern, Tools starten und Prozesse vollständig automatisieren. Dies ermöglicht auch den Aufbau persistenter Zugänge im Unternehmensnetzwerk.

Die Kombination aus generativer KI, API-Anbindung und eigenständiger Aktionsausführung schafft ein Angriffspotenzial, das deutlich über klassische Social-Engineering- oder Phishing-Ansätze hinausgeht.

Technische Risiken und Szenarien

Wie kann ein konkreter Angriffsweg aussehen? Ein kompromittierender KI-Agent könnte komplette Angriffsketten autonom durchführen. Vom Erkennen einer Schwachstelle über den Erstzugang bis zur dauerhaften Verankerung im Zielsystem. Möglich wird das durch seine Fähigkeit, externe Tools anzusteuern, Schnittstellen zu nutzen und Prozesse selbstständig zu planen und auszuführen.

So kann der KI-Assistent beispielsweise eigenständig Schwachstellen-Scans starten, Passwörter auslesen, interne Dokumente exfiltrieren oder Cloud-Services manipulieren. Und das alles automatisiert und in einer Geschwindigkeit, die menschliche Angreifer kaum erreichen könnten. Besonders brisant ist, dass ein Angreifer den Agenten nur ein einziges Mal manipulieren müsste, um anschließend über Wochen oder Monate hinweg unbemerkt Datenabflüsse oder Sabotageaktionen zu ermöglichen.

Empfohlene Schmutzmaßnahmen

• klare Zugriffsbeschränkungen für Agenten,

• Monitoring aller Agenten-Aktivitäten in Echtzeit,

• Simulation möglicher Angriffsszenarien, um Schwachstellen zu erkennen, bevor Kriminelle sie ausnutzen

Unterschiede des neuen Agenten im Vergleich zu früheren ChatGPT-Versionen

Die Fortschritte, die der neue Agent gemacht hat, haben ihren Preis. Je autonomer der Assistent wird und je tiefer er in unser digitales Ökosystem integriert ist, desto größer werden auch die Risiken.

Wie baut der neue Agent auf früheren Versionen von ChatGPT auf und wie erzeugen diese zusätzlichen Funktionen neue Herausforderungen?

• Der neu veröffentlichte ChatGPT-Agent bietet verbesserte Funktionen und damit Sicherheitsherausforderungen, denen herkömmliche Assistenten nie ausgesetzt waren.

• Der Agent hat ein erhöhtes Risiko für Manipulation und ist damit anfälliger für Datenschutzverstöße. Unternehmen sind unbeabsichtigten Aktionen und möglichen Datenlecks ausgesetzt.

• Das Digital Assistant Framework von Trend Micro bietet eine Möglichkeit, diese neuen Funktionen den damit verbundenen Risiken zuzuordnen, sodass die Auswirkungen des neuesten Assistenten von OpenAI besser einzuschätzen sind.

Die Einführung des ChatGPT-Agenten von OpenAI markiert einen unaufgeregten, aber bedeutenden Wandel in den Möglichkeiten Künstlicher Intelligenz (KI). Im Gegensatz zu früheren Assistenten, die sich auf die Beantwortung von Fragen oder die Generierung von Medien konzentrierten, geht dieser Agent einen Schritt weiter. Er kann im Namen der Nutzer Aktionen ausführen – Kalender verwalten, Mails versenden, Code ausführen und mit externen Anwendungen interagieren. Einfach ausgedrückt: Dieser neue Assistent assistiert nicht nur – er handelt.

Alle Tasks erledigt er mithilfe eines virtuellen Computers, mit dem er Websites navigieren, Code generieren und ausführen sowie Informationen zusammenführen kann, wobei er Argumentation und Handeln miteinander verbindet, wie es früheren Assistenten nicht möglich war. Die Fähigkeit, autonom agieren und komplexe, mehrstufige Aufgaben von Anfang bis Ende auszuführen bringt ihn näher an die agentenbasierte KI. Er kann sich an unbekannte Aufgaben anpassen und dabei lernen. Mit der Zeit baut er ein funktionierendes Verständnis des Nutzers auf und lernt dessen Präferenzen und den Kontext kennen

Nutzer arbeiten aktiv mit dem Agenten zusammen, genehmigen wichtige Aktionen und übernehmen bei Bedarf wieder die Kontrolle. Der Agent versteht sowohl schriftliche als auch gesprochene Eingaben, antwortet mit textbasierten Ausgaben und visuellen Inhalten und ist auf tragbaren Geräten wie Smartphones verfügbar, sodass er jederzeit zugänglich ist. Er vereint die Stärken früherer Spezialtools (Webinteraktion, gründliche Recherche und flüssige Konversation) in einem einheitlichen System, das im Namen des Nutzers handelt.

Diese Entwicklung bringt klare Vorteile mit sich, allerdings entstehen auch neue Risiken, wenn die KI beginnt, autonom zu handeln und direkt mit den Services zu interagieren. Damit aber verändert sich die Bedrohungslandschaft in einer Weise, die Aufmerksamkeit erfordert.

Abbildung der Fähigkeiten des ChatGPT-Agenten mithilfe des Digital Assistant Frameworks

Um die Fähigkeiten des Assistenten von OpenAI zusammenzufassen und auf klare, leicht verständliche Weise darzustellen, setzt Trend Micro auf seinen Digital Assistant Framework, ein Tool zur Bewertung der besonderen Fähigkeiten von Digitalassistenten (DAs). Das Werkzeug ist um die Fähigkeit „Agency“ (A1) aktualisiert und in zwei Bereiche unterteilt worden: Agency und Autonomie. Die Autonomiestufen sind wie folgt definiert:

A2. Autonomie: Die Autonomiefähigkeit ist definiert als die Fähigkeit des DAs, Entscheidungen ohne menschliches Zutun auszuführen.

A2.0 – Reaktiv. Der DA handelt nur auf Anfrage des Nutzers.

A2.1 – Überwachte Arbeit. DA arbeitet unter Aufsicht und erfordert eine ausdrückliche Bestätigung durch den Nutzer.

A2.2 – Vollständige Autonomie. Der DA verwaltet Aufgaben unabhängig und ohne Aufsicht durch den Nutzer.

So baut der neue Agent auf früheren Versionen von ChatGPT auf

Die Fortschritte, die der neue Agent gemacht hat, haben ihren Preis. Je autonomer der Assistent wird und je tiefer er in unser digitales Ökosystem integriert ist, desto größer werden auch die Risiken.

Autonomie (A2) Funktion

Frühere Versionen von ChatGPT zeigten bereits ein gewisses Maß an Eigeninitiative, da sie selbst entschieden, wie sie die Anfrage eines Nutzers am besten erfüllen konnten. Die Assistenten blieben jedoch grundsätzlich reaktiv, d. h. sie warteten auf explizite Anweisungen, bevor sie Maßnahmen ergriffen. Der neue Agent macht einen deutlichen Schritt nach vorn bezüglich der Autonomie (A2). Er handelt nicht nur im Namen des Nutzers, sondern tut dies proaktiv und verwaltet Aufgaben mit minimaler Überwachung, statt ständige Anweisungen zu benötigen. Genau diese Veränderung ist es, die Assistenten von wirklich agentenbasierenden Systemen unterscheidet.

Diese zunehmende Autonomie birgt jedoch neue Risiken. Da das System nun mit weniger Kontrolle durch den Nutzer arbeitet, könnten böswillige Akteure seine Aktionen auf eine Weise manipulieren, die für den Nutzer nicht sofort erkennbar ist, sodass der Agent leichter gegen die Absichten des Nutzers arbeiten kann.

Komplexität der Aufgaben (A3)

Diese Gefahr wird durch die Komplexität der Aufgaben (A3), die der Agent ausführen kann, noch vervielfältigt. Im Gegensatz zu früheren Versionen führt der neue Agent konkrete Aktionen im Namen seines Nutzers aus: Einige davon können irreversible Folgen haben, wie z. B. das versehentliche Löschen von Dateien, das Versenden von Mails an die falsche Person oder die Bestellung ungewollter Artikel.

Um diese Risiken zu mindern, hat OpenAI eine Reihe von Sicherheitsvorkehrungen implementiert. Der Agent verlangt eine ausdrückliche Bestätigung durch den Nutzer, bevor er kritische Aktionen, wie z. B. einen Kauf, mit realen Konsequenzen ausführt. Er fordert eine aktive Überwachung für bestimmte sensible Aufgaben, wie das Versenden einer E-Mail, und blockiert risikoreiche Vorgänge, wie Banküberweisungen. Der Agent könnte zwar technisch unbeaufsichtigt arbeiten, dies würde jedoch Nutzer und Organisationen einem ernsthaften Risiko aussetzen.

Das liegt daran, dass der Agent nun auf eine Weise ausgenutzt werden kann, die selbst OpenAI nicht vollständig vorhersehen kann. Er erlernt selbstständig neue Bereiche und innerhalb dieser kann er Schlussfolgerungen ziehen. Dadurch ist er in der Lage, selbst in völlig unbekannten Szenarien komplexe Verhaltensweisen zu zeigen.

Planung und logisches Denken (C1)

Diese Fähigkeit, über unbekannte Bereiche hinweg zu planen und zu denken (C1), macht den DA anfälliger für Prompt-Injections und andere subtile Manipulationen, die seine Entscheidungen beeinflussen können. Ein Angreifer könnte beispielsweise eine bösartige Eingabeaufforderung in eine Webseite einbetten, die der Agent besucht – versteckt in Text oder Metadaten –, um seine Aktionen in eine ungewollte Richtung zu lenken.

Daher ist es für die Sicherheit enorm wichtig, dass der Agent durch den Nutzer überwacht wird. Aber auch damit lassen sich nicht alle Risiken ausschließen. Wiederholte Prompts können zu einer Einwilligungsmüdigkeit führen, sodass Nutzer Aktionen reflexartig genehmigen.

Nutzerwissen (C2) und Ökosystemintegration (C3)

Ein weiterer Fortschritt in den Fähigkeiten des Agenten liegt in seinem tieferen Wissen über den Nutzer (C2). Der neue Agent lernt kontinuierlich durch Interaktion. Er erkennt Muster im Nutzerverhalten und in den Präferenzen und passt sich im Laufe der Zeit an, um den individuellen Bedürfnissen besser gerecht zu werden.

Gleichzeitig integriert er sich weitaus nahtloser in das digitale Ökosystem (C3) des Nutzers. Frühere Assistenten konnten nur mit bestimmten Tools interagieren und erforderten häufig das manuelle Hin- und Herwechseln zwischen den Services. Der neue ChatGPT-Agent kann nun mehrere Informationsquellen nativ in einem einzigen Workflow kombinieren. Er durchsucht beispielsweise den Kalender des Nutzers nach Terminen, überprüft aktuelle Mails auf relevante Updates und schlägt Folgeaktionen vor – alles ohne externe Tools, die diese Lücke schließen müssen.

Auf den ersten Blick mag diese Veränderung geringfügig erscheinen. Die Auswirkungen sind jedoch weitreichend, insbesondere im Hinblick auf den Datenschutz. Wird der Agent kompromittiert, könnte er offenlegen, was er über seinen Nutzer erfahren hat. Und da er direkt mit dem gesamten digitalen Ökosystem verbunden ist, würden bei einer Sicherheitsverletzung hochsensible Informationen aus verbundenen Konten und angemeldeten Websites zugänglich gemacht werden.

Um dem entgegenzuwirken, hat OpenAI strengere Datenschutzkontrollen eingeführt: Nutzer können den Browserverlauf löschen und sich aus aktiven Sitzungen abmelden. Der Agent vermeidet außerdem die Speicherung sensibler Eingaben wie Passwörter, wenn er im autonomen Modus arbeitet. Da er jedoch immer leistungsfähiger und tiefer eingebettet ist, wird es für die Nutzer immer wichtiger, seinen Zugriff auf das wirklich Notwendige zu beschränken und ein sorgfältiges Gleichgewicht zwischen Komfort und Kontrolle zu finden.

Auffällig ist, wie selbst kleine Fortschritte bei den Fähigkeiten (wie Autonomie, Nutzerwissen und Ökosystemintegration) das Risikopotenzial dramatisch verändern können. Es ist wichtig zu beachten, dass beide auch eine Reihe von Herausforderungen gemeinsam haben, wie in unserer vorherigen Studie dargelegt.

Fazit

Mit seinen erweiterten Fähigkeiten ist der neue ChatGPT-Agent auf dem besten Weg, ein vertrauenswürdiger und ständiger Begleiter im digitalen Leben der Nutzer zu werden. Und obwohl viele seiner Fortschritte nur als kleinere Schritte erscheinen mögen, können selbst geringe Leistungssteigerungen neue Risiken mit sich bringen und die Art und Weise verändern, wie wir mit DAs interagieren und welche Sicherheitsvorkehrungen wir zu ihrem Schutz treffen müssen.

Eine der wichtigsten neuen Risiken besteht im Potenzial für Manipulationen. Ebenso besorgniserregend sind die neuen Datenschutzrisiken, da der Agent immer mehr Wissen über den Nutzer sammelt und einen immer umfassenderen Zugriff auf dessen digitales Ökosystem erhält.

Trotz der zunehmenden Autonomie des Agenten wird Unternehmen empfohlen, das Tool aktiv zu überwachen, insbesondere bei sensiblen Vorgängen. Dies kann dabei helfen, Unregelmäßigkeiten zu erkennen, die durch Manipulationen und andere Bedrohungen entstehen.

Dieser Artikel stammt von unserem Partnerportal ELEKTRONIKPRAXIS.

(ID:50544276)