Kommentar von Shane McAllister, MongoDB So lassen sich domänenspezifische Daten in LLMs integrieren

Anbieter zum Thema

mongoDB

Fsas Technologies GmbH

INFOMOTION GmbH

Retrieval Augmented Generation (RAG) verbindet die Möglichkeiten von Large Language Models (LLMs) mit dem Hinzufügen domänenspezifischer Daten in Echtzeit. Das ermöglicht präzisere, aktuellere und sicherere Antworten. Vor allem stark regulierte Branchen wie das Gesundheitswesen, die Finanzbranche und andere kritische Infrastrukturen könnten davon profitieren.

Der Aufstieg großer Sprachmodelle (Large Language Models, LLMs) wie GPT-4 hat Unternehmen neue Möglichkeiten eröffnet, Künstliche Intelligenz (KI) zu nutzen und KI-getriebene Lösungen zu entwickeln. LLMs können riesige Datenmengen verarbeiten und, mit geeigneten Datensätzen erweitert und trainiert, eine Vielzahl unternehmensspezifischer Aufgaben übernehmen.

Die Grenzen aktueller LLMs – und wie RAG sie verschieben kann

Um jedoch stets aktuelle und präzise Informationen zu liefern, müssten LLMs laufend aktualisiert werden. Das ist bislang in der Praxis kaum machbar, weswegen LLMs veraltete oder ungenaue Informationen liefern können. Retrieval Augmented Generation (RAG) adressiert dieses Problem, indem sie LLMs mit aktuellen, domänenspezifischen Daten versorgt, ohne dass ein erneutes Trainieren des Modells nötig ist.

RAG erweitert die Funktionalität von LLMs durch die Kombination eines vortrainierten Modells mit einem Retrieval-System, das Daten aus externen Wissensquellen wie Datenbanken oder Dokumentenspeichern in Echtzeit abruft. Anstatt ausschließlich auf den ursprünglichen Trainingsdatensatz zuzugreifen, ermöglicht das Retrieval-System dem Modell zusätzlich den Zugriff auf aktuelle und spezialisierte Informationen. Es durchsucht eine zuvor spezifizierte Datenbank oder einen Index und übergibt die relevanten Informationen an das LLM. Das Ergebnis sind präzisere, kontextbezogene Antworten, die aktuelle Daten und spezifische Anwendungsdomänen berücksichtigen.

Warum RAG herkömmlichen LLMs überlegen ist

RAG ermöglicht somit den Zugriff auf aktuelle Datenquellen zum Zeitpunkt des Abrufs. Das ist besonders in dynamischen Umgebungen wie dem Nachrichtensektor oder der Finanzbranche von Vorteil, wo Informationen rasch veralten können. Zusätzlich können Entwickler mit RAG auch gezielt steuern, welche Datenquellen eingebunden werden und wie diese Daten in die Antworten des Modells integriert werden.

Ein weiterer Vorteil von RAG besteht in der Möglichkeit, sensible Daten zu verwenden, die nicht Teil des ursprünglichen Trainingsdatensatzes waren. Das kommt besonders stark regulierten Branchen wie dem Gesundheitswesen zugute, wo Datenschutzrichtlinien wie die DSGVO oder HIPAA die Nutzung von Patientendaten stark einschränken. Mit RAG kann jedoch beispielsweise ein Arzt aktuelle Patienteninformationen nutzen, um präzisere Diagnosen zu stellen, ohne die Privatsphäre des Patienten zu gefährden. Denn RAG nutzt Daten aus Quellen wie Patientenakten, ohne dass diese Daten in das KI-Modell eingespeist, dauerhaft gespeichert oder öffentlich zugänglich gemacht werden müssen. Das Modell nutzt die abgerufenen Informationen ausschließlich während der Abfragezeit.

Vorteile von RAG – Anwendungsbeispiel aus dem Gesundheitswesen

Ein Beispiel für den Einsatz von RAG im Gesundheitssektor ist die Software NovoScribe des Pharmakonzerns Novo Nordisk. Sie automatisiert die Erstellung von Clinical Study Reports (CSR) und verkürzt den Prozess, der früher Wochen dauerte, auf wenige Minuten. Dazu werden von Amazon Bedrock gehostete, grundlegende LLMs mittels RAG mit Berichtsdaten und Vektoreinbettungen versorgt. Auf diese Weise kann NovoScribe aktuelle Studienergebnisse mit den standardisierten Berichtsvorlagen zusammenführen.

Gerade für Medizin und Wissenschaft, wo der Zugriff auf hochspezialisierte und oft auch sensible Daten unerlässlich ist, hat RAG enormes Potenzial. Generative KI-Anwendungen, die in diesen Bereichen zum Einsatz kommen, müssen nicht nur akkurat, sondern auch sicher, transparent, datenschutz- und rechtskonform sein. RAG bietet die Möglichkeit, sensible Daten in Echtzeit in die Generierung von Inhalten einfließen zu lassen, ohne das zugrundeliegende Modell neu trainieren oder sensible Daten langfristig speichern zu müssen.

Grenzen von RAG

Die Effektivität eines RAG-Systems hängt stark von der Qualität der verwendeten Wissensdatenbank und des Retrieval-Moduls ab. Anders ausgedrückt: RAG ist nur so gut wie die zugrundeliegende Datenquelle. Wenn die Datenbank veraltete oder ungenaue Informationen enthält, werden diese in die Informationsgenerierung durch das LLM übernommen. RAG greift nicht auf das offene Internet zu. Nach wie vor müssen Datenbanken also gepflegt und regelmäßig aktualisiert werden, um die Genauigkeit der generierten Inhalte sicherzustellen.

Ein weiteres Problem, das RAG nicht vollständig löst, ist das Phänomen der sogenannten „Halluzinationen“ in LLMs, bei denen das Modell inkorrekte oder erfundene Informationen liefert. Obwohl RAG die Wahrscheinlichkeit solcher Fehler reduziert, indem es aktuelle und proprietäre Informationen ergänzt, bleibt das Problem bestehen, wenn die Datenbank fehlerhaft ist oder das Retrieval-Modul nicht präzise arbeitet.

Geeignete Datenbankarchitekturen für RAG-Systeme

Voraussetzung für die Leistungsfähigkeit eines RAG-Systems und den Echtzeitabruf ist eine cloudbasierte, skalierbare Datenbanklösung, die es ermöglicht, große Mengen unstrukturierter Daten und Metadaten effizient zu speichern und abzurufen. Eine nicht-relationale Dokumentendatenstruktur erfüllt dieses Kriterium, bietet Flexibilität bei der Anpassung an sich ändernde Datenmodelle und ermöglicht es Entwicklern, neue Datensätze zu integrieren oder bestehende anzupassen, ohne auf starre Schemata zurückzugreifen.

Zusätzlich unterstützt sie Vektoreinbettungen, die es ermöglichen, semantische Beziehungen zwischen Datenpunkten zu erfassen und komplexe Abfragen effizient durchzuführen. Diese Fähigkeit zur semantischen Echtzeit-Suche bietet in Bereichen wie der Berichtserstellung, der automatisierten Dokumentengenerierung oder der personalisierten Kundeninteraktion große Vorteile.

Ausblick: Zukünftige Entwicklungen und das Potenzial von RAG

In den kommenden Jahren ist zu erwarten, dass RAG in der Lage sein wird, noch komplexere Anfragen zu bearbeiten und feiner nuancierte Antworten zu liefern. Besonders spannend ist das Potenzial von RAG für die Entwicklung sogenannter agentischer Anwendungen, die nicht nur Antworten generieren, sondern auch aktiv auf Grundlage der abgerufenen Daten handeln können.

Ein Beispiel für eine solche Anwendung könnte beispielsweise ein intelligenter Reiseassistent sein, der in der Lage ist, basierend auf Benutzerpräferenzen, Reisedaten und Echtzeitinformationen über Verfügbarkeiten die besten Angebote zu finden und Buchungen durchzuführen. RAG könnte hier die Basis für eine wesentlich personalisiertere Interaktion bilden, als das bei heutigen Modellen der Fall ist

Fazit

RAG eröffnet neue Möglichkeiten für die Integration von domänenspezifischen und aktuellen Daten in LLM-gestützte, generative KI-Anwendungen. Durch die Kombination von generativer KI mit leistungsfähigen Retrieval-Systemen verbessert RAG nicht nur die Treffergenauigkeit, sondern auch Flexibilität und Datensicherheit. Die Weiterentwicklung von RAG wird neue Anwendungsfelder erschließen und die Art und Weise, wie Unternehmen KI einsetzen, grundlegend verändern. Unternehmen sollten das Thema beim Aufsetzen oder Modernisieren ihrer Datenbank- und Cloudarchitektur mitdenken, um vom Potenzial der Technologie zu profitieren.

(ID:50244158)