Agentenbasierte KI-Systeme auf Basis von Retrieval-Augmented Generation versprechen mehr Autonomie und kontextbezogene Entscheidungen. Der produktive Einsatz hängt jedoch weniger von Modellleistung als von Datenarchitektur, Governance und organisatorischer Vorbereitung ab.
Christian Scharrer, Enterprise Architect und CTO Ambassador bei Dell Technologies, sieht agentische RAG-Systeme als nächsten Entwicklungsschritt unternehmensweiter KI, der digitale Assistenz auf belastbare Daten und klare Governance-Strukturen stützt.
(Bild: Dell)
Retrieval-Augmented Generation (RAG) und darauf aufbauende agentenbasierte KI-Systeme gelten als nächster Entwicklungsschritt im Unternehmenseinsatz von KI. Ihr Nutzen hängt jedoch weniger von der Technologie selbst als von Vorbereitung, Datenbasis und Governance ab. Dell Technologies skizziert fünf Handlungsfelder, die Führungskräfte beim Aufbau entsprechender Strategien berücksichtigen sollten.
Large Language Models und klassische KI-Anwendungen automatisieren bereits heute Prozesse, erzeugen Inhalte und unterstützen bei der Informationsaufbereitung. Agentenbasierte Systeme auf RAG-Basis erweitern diesen Ansatz um autonome Entscheidungslogik und kontinuierlichen Zugriff auf aktuelle Datenbestände. Damit steigen allerdings auch die Anforderungen an Infrastruktur, Kontrolle und organisatorische Einbettung.
1. Daten- und Infrastrukturgrundlagen konsolidieren
RAG-basierte KI-Systeme und vor allem Agentic RAG spielen ihr volles Potenzial erst dann aus, wenn ihnen ausreichend relevante und wertvolle Daten vorliegen. Viele Unternehmen sind allerdings noch dabei, ihre fragmentierten Datenbestände zu zentralisieren, Silos abzubauen und mangelnde Daten-Governance aufzuarbeiten. Führungskräfte sollten daher vor allem in Cloud-native und damit zentralisierte Datenarchitekturen investieren sowie Echtzeit-Datenpipelines etablieren.
Entscheidend für erfolgreiches Agentic RAG sind zudem standardisierte Governance-Protokolle, die für Transparenz, Kompatibilität und Sicherheit sorgen. Um Vorschriften wie die DSGVO einzuhalten, helfen die Integration von synthetischer Datengenerierung sowie weiterer datenschutzkonformer Trainingsmethoden für die KI.
2. Verbindliche KI-Governance etablieren
Agentic-RAG-Systeme agieren teilweise vollkommen autonom, was unmittelbar die Frage nach der Verantwortlichkeit aufwirft. Es bedarf daher entsprechender Governance-Frameworks, die ethische Leitlinien, Kontrollmechanismen durch Menschen, Prüfpfade und das Testing abdecken. Da EU-weit geltende Richtlinien wie die DSGVO oder der EU AI Act strenge Vorgaben beinhalten, ist ein hohes Maß an Transparenz unerlässlich. Nur so können Unternehmen rechtskonform und sicher ihre RAG-Reise antreten.
3. Kompetenzen in der Belegschaft ausbauen
Wer glaubt, dass es in Zukunft Mensch oder Maschine heißen wird, irrt gewaltig. RAG-basierte KI-Systeme werden nicht die Jobs der Menschen ersetzen, sondern deren Arbeitsalltag erleichtern und ihre Profession sowie die jeweiligen Verantwortlichkeiten verändern. CxOs sollten ihre Mitarbeiter also durch Schulungen und Tools in die Lage versetzen, KI möglichst gewinnbringend zu nutzen. Es liegt in der Verantwortung von Unternehmen, die Belegschaft mit KI- und ML-Kompetenzen auszustatten – ein essenzieller Bestandteil jeder zukunftsgerichteten Unternehmensstrategie.
Agentic RAG ist keine Technologie, die Unternehmen gleich zu Beginn flächendeckend ausrollen sollten. Stattdessen sollten CxOs nach einem „Test and Learn“-Modell vorgehen. Dazu gehört, kontrollierte Pilotprojekte mit klaren KPIs durchzuführen, die sich eng an den Geschäftszielen orientieren. Basierend auf den aus ihnen evozierten Ergebnissen können die Teams dann Optimierungen vornehmen und funktionierende Lösungen skalieren. Ein positiver Nebeneffekt: erfolgreiche Pilotprojekte fördern die Akzeptanz der neuen Technologie in der Belegschaft und auch im Management.
5. Strategische Ziele definieren
Die Einführung von generativer KI und Agentic RAG sollte niemals Selbstzweck sein, sondern fest verknüpft mit konkreten Geschäftszielen stattfinden. Welche genau das sind, müssen CxOs zuvor definieren. Typische Vorteile wären schnellere Entscheidungen, bessere Kundenerlebnisse oder effizientere Teamarbeit. Fakt ist, dass Agentic RAG und GenAI am effektivsten sind, wenn sie echte Probleme lösen.
„Traditionelle KI-Systeme und Large Language Models sind längst nicht mehr das Maß aller Dinge“, erklärt Christian Scharrer, Enterprise Architect und CTO Ambassador bei Dell Technologies. „CxOs müssen ihre Unternehmen in die neue Ära der Enterprise-KI führen, um mit der Konkurrenz Schritt zu halten. Agentic RAG bietet die Möglichkeit, digitale Mitarbeiter zu erschaffen, die auf aktuelle und fundierte Informationen zurückgreifen, um autonom Entscheidungen zu treffen. Auf diese Weise schaffen sie einen echten Mehrwert für Unternehmen, indem menschliche Mitarbeiter entlastet werden und mehr Freiraum für gewinnbringende Aufgaben erhalten.“
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.