Kommentar von Rachel Laycock, Thoughtworks KI-Agenten – rasante Fortschritte und neue Sicherheitsrisiken

Anbieter zum Thema

Thoughtworks Deutschland GmbH

Board Deutschland GmbH

QUNIS GmbH

Fivetran Germany GmbH

Moderne KI-Agenten sind „permission-hungry“: Sie verlangen nach umfassenden Zugriffen und Berechtigungen. Da ihr Bedarf an Daten enorm ist, entsteht ein massives Spannungsfeld zur IT-Sicherheit. Dass wir in diesem Bereich dringend nachbessern müssen, um Risiken zu senken, unterstreicht der aktuelle, 34. Technology Radar Report von Thoughtworks. Der halbjährlich erscheinende Report bewertet aktuelle Trends der Software-Entwicklung auf Basis unserer konkreten Projekterfahrung mit Kunden.

KI-Agenten entfalten ihren größten Nutzen dann, wenn sie umfassenden Zugriff auf private Daten und externe Systeme erhalten. Besonders vielversprechende Entwicklungen erfordern oft weitreichende Rechte. Ein Beispiel ist das Framework Gas Town, das Agenten-Schwärme über komplette Code-Basen hinweg koordiniert. Ein weiteres Beispiel ist das Open-Source-Projekt OpenClaw aus der Kategorie der „hyper-personal AI assistants“. Nutzer hosten hierbei ihre eigene Instanz, halten sie über Kanäle wie WhatsApp oder iMessage verfügbar und lassen sie Aufgaben über verbundene Tools ausführen.

Kommentar von Johannes M. Holz, Rödl

KI im Unternehmen: Produktivitätsschub mit neuen Haftungsrisiken

Indem OpenClaw Chats, Präferenzen und Gewohnheiten dauerhaft speichert, schafft es eine beständige, persönliche Nutzererfahrung. Das Modell bietet zweifellos Vorzüge und inspirierte bereits zu Nachfolgelösungen, es steht jedoch exemplarisch für Anwendungen, die erhebliche Sicherheitskompromisse erzwingen. Je mehr Zugriff der Agent auf Kalender, E-Mails, Dateien und Kommunikation erhält, desto nützlicher wird er. Gleichzeitig konzentriert die Software so immer mehr Berechtigungen an einem Punkt. Genau vor diesem Muster warnen Risikoanalysen für KI-Abläufe. Diese Gefahr beschränkt sich nicht auf OpenClaw, sondern betrifft alle Implementierungen, die diesem Schema folgen. Zwar gibt es bereits Ratgeber und Alternativen wie NanoClaw oder ZeroClaw, doch de facto bleiben hyper-personalisierte Assistenten ein Paradebeispiel für Agenten mit riskant hohem Zugriffshunger.

Rasante Entwicklung – wachsende Risiken

Immer mehr Agenten benötigen tiefgreifende Zugriffe auf private Daten, externe Kommunikation und reale Systeme. Oftmals wird dies mit dem hohen Nutzen gerechtfertigt. Tatsächlich entstehen dadurch jedoch grundlegende Risiken, da die Entwicklung der Sicherheitsvorkehrungen mit diesem umfassenden Hunger nach Berechtigungen nicht Schritt halten konnten.

Kommentar von Mark Wheeler, NTT DATA Business Solutions

Enterprise-KI: Warum Governance zum entscheidenden Wettbewerbsvorteil wird

Das führt zu Problemen, die wir dringend lösen müssen. Ein Beispiel ist Prompt-Injection: Hierbei werden böswillige Anweisungen systematisch in generative KI-Systeme eingeschleust. Noch können Modelle nicht zuverlässig zwischen vertrauenswürdigen Befehlen und manipulierten Eingaben unterscheiden. In diesem Zusammenhang bezeichnet der Experte Simon Willison KI-Agenten treffend als „tödliches Dreigespann“ (lethal trifecta). Dieses besteht aus privaten Daten, nicht vertrauenswürdigen Inhalten und externer Kommunikation. Dieses Bild beschreibt derzeit die meisten nützlichen Agenten im Standardzustand – und zwar nicht erst bei einer Fehlkonfiguration. Prompt-Injection ist jedoch nicht die einzige Bedrohung, auch das Modellverhalten bleibt inkonsistent. Nur weil eine Aufgabe einmal erfolgreich abgeschlossen wurde, bedeutet das nicht, dass sie bei einer Wiederholung oder in größerem Maßstab ebenso sicher funktioniert.

Strategien zur Risikominimierung

Agenten finden oft kreative Wege, um Daten zu entwenden oder in geschützte Bereiche vorzudringen. Teils unterlaufen sie Genehmigungs-Mechanismen sogar ohne böswillige Absicht oder explizite Aufforderung. Wie lassen sich diese Herausforderungen meistern?

Ein bewährter Standard für die Entwicklung und den Betrieb bleibt die Zero-Trust-Architektur (ZTA). Grundsätze wie „Never trust, always verify“ (Vertraue niemals, überprüfe immer) sowie eine identitätsbasierte Sicherheit und das Prinzip der geringsten Berechtigungen (Least Privilege) müssen die Basis jedes Agenten-Einsatzes sein. Werden Standards wie SPIFFE (Secure Production Identity Framework for Everyone) auf Agenten angewendet, schafft dies eine solide Identitätsgrundlage und ermöglicht eine fein abgestufte Authentifizierung in dynamischen Umgebungen.

Compliance für autonome KI-Systeme

Open-Source-Tool gibt KI-Agenten regulatorische Leitplanken

Zudem ist es für ein proaktives Bedrohungsmanagement entscheidend, das Verhalten der Agenten kontinuierlich zu überwachen. Über den reinen Agenten-Einsatz hinaus empfehlen sich Praktiken wie die Benutzernachahmung (Impersonation), etwa im Identitätsprotokoll OIDC auf der Google-Cloud-Plattform. Hierbei werden langlebige, statische Schlüssel durch kurzlebige Token ersetzt, die erst nach einer Identitätsprüfung ausgestellt werden. Grundsätzlich sollten ZTA-Prinzipien der Standard für jedes System sein.

Darüber hinaus sollten weitere Techniken zur Grundvoraussetzung werden. Das gilt insbesondere für das erwähnte Least-Privilege-Prinzip. Es stellt sicher, dass Benutzer und Systeme nur über die Mindestzugriffsrechte verfügen, die für ihre Aufgaben zwingend erforderlich sind. Da der Missbrauch privilegierter Zugangsdaten ein Hauptfaktor bei Sicherheitsverletzungen ist, hilft dies, gefährliche Angriffspfade zu schließen. Ebenso wichtig sind kontinuierliche Modellverbesserungen sowie das Konzept der „Defense-in-Depth“. Dabei wird Cybersicherheit nicht als punktuelle Maßnahme verstanden, sondern tief in sämtliche Ebenen der Softwareentwicklung und der IT-Infrastruktur integriert. Dennoch bleibt festzuhalten, dass es keine allgemeingültige Methode gibt, um sämtliche Risiken vollständig zu eliminieren.

Neue Ansätze für sichere Systeme

Wir gehen derzeit davon aus, dass sichere Agentensysteme künftig nicht mehr aus monolithischen „Alleskönnern“ bestehen. Stattdessen werden wir Pipelines aus spezialisierten, stärker eingeschränkten Agenten sehen, die einer strengen Kontrolle unterliegen.

Ein vielversprechender Ansatz sind hierbei „Agent Skills“ (als kontrollierte Alternative zum Model Context Protocol). Agent Skills bieten einen offenen Standard, um Kontexte zu modularisieren. Sie bündeln Anweisungen, Skripte und Ressourcen wie Dokumentationen. Agenten laden diese Fähigkeiten nur bei Bedarf. Das senkt den Token-Verbrauch und verhindert Probleme wie die Erschöpfung des Kontextfensters oder den sogenannten „Agent Instruction Bloat“. Letzteres beschreibt überfrachtete, lange und teils widersprüchliche Anweisungen. Je umfangreicher diese Befehle werden, desto eher ignorieren die Modelle wichtige Sicherheitsregeln.

Rund um Agent Skills entsteht derzeit ein dynamisches Ökosystem mit Plug-in-Marktplätzen zum Teilen und Versionieren von Fähigkeiten. Doch Vorsicht: Die ungeprüfte Übernahme von Skills von Drittanbietern kann wiederum neue Sicherheitslücken öffnen.

Die Entwicklung hin zu spezialisierten, langlebigen Agenten und Techniken gegen den „Instruction Bloat“ zeigt, wohin die Reise geht: zu sichereren Systemen. Die Dynamik in diesem Bereich ist enorm und bringt spannende Ergebnisse hervor – doch wir müssen wachsam bleiben, um kostspielige Fehltritte zu vermeiden.

(ID:50849437)