Kommentar von Philip Miller, Progress Software RAG oder KI-Finetuning?

Anbieter zum Thema

PROGRESS SOFTWARE GmbH

Fujitsu Technology Solutions GmbH

Ein KI-System ist für Unternehmen erst dann wirklich wertvoll, wenn es hervorragend auf interne Vorgehensweisen angepasst und mit realen Geschäftsdaten arbeitet. Das bieten allgemeine KI-Modelle von der Stange nicht und müssen daher mit entsprechendem Kontext versorgt werden. Ob dafür Retrieval-Augmented Generation (RAG) oder KI-Finetuning allerdings die bessere Variante ist, kommt auf den Kontext an.

Aktuell beschäftigen sich viele Unternehmen mit der Einführung von Künstlicher Intelligenz (KI). Klar ist, dass sie das Geschäftsumfeld kennen muss, um einen echten Mehrwert zu liefern. Welcher Ansatz – RAG oder KI-Finetuning – dafür der bessere ist, ist eine Definitionsfrage: Muss das KI-System die Terminologie und Denkmuster auf einer tiefen Ebene verinnerlichen und diese in sein neuronales Netzwerk implementieren? Oder benötigt es lediglich einen zuverlässigen und schnellen Zugriff auf Ihre Dokumente, damit es beim Beantworten von Fragen darauf verweisen kann?

Genau diese Unterscheidung trennt KI-Finetuning und RAG. Beide Ansätze versprechen, allgemeine KI mit spezifischem Unternehmenskontext zu verbinden. Mit Finetuning erreichen Unternehmen dieses Ziel durch Nachtrainieren der Modellparameter mit ihren Geschäftsdaten. Mit RAG hingegen, indem sie dem Modell Echtzeitzugriff auf ihre Wissensbasis gewähren. Die praktische Umsetzung könnte jedoch kaum unterschiedlicher sein, und ob KI-Finetuning oder Retrieval-Augmented Generation Unternehmen schneller und kostengünstiger ans Ziel bringt, bedarf einer detaillierten Betrachtung beider Ansätze.

Spotlight: KI-Finetuning

Auf das Wesentliche heruntergebrochen, ist KI-Finetuning im Grunde der Prozess, ein vortrainiertes Sprachmodell mit spezifischen Daten nachzutrainieren. Technisch bedeutet das, die Parameter des Modells (also die Gewichtung seines neuronalen Netzwerks) anhand des geschäftsspezifischen Datensatzes zu aktualisieren. Ziel ist es, diese interne Gewichtung so anzupassen, dass das Modell Ausgaben erzeugt, die domänenspezifische Muster, Terminologien und Strukturen eines Unternehmens widerspiegeln. Eine Anwaltskanzlei könnte ihr KI-Modell etwa mit Tausenden ihrer bisherigen Fallzusammenfassungen nachtrainieren. Während dieses Prozesses werden die Parameter des Modells durch zusätzliche Trainingsdurchläufe angepasst, wodurch sich seine Wahrscheinlichkeitsverteilungen zugunsten juristischer Terminologie, Zitierformate und Argumentationsstile verschieben.

Das ist durchaus wünschenswert und in einigen Fällen ist ein solches KI-Finetuning exakt das richtige Mittel. Es bringt jedoch auch einige Nachteile mit sich. So ist es zunächst sehr teuer. Unternehmen können nicht einfach Daten hochladen und auf einen Button mit der Aufschrift „trainieren“ klicken. Sie müssen für das Training Datensätze vorbereiten, den Prozess konfigurieren, rechenintensive Testläufe durchführen und die Ergebnisse verifizieren.

Für ein Modell mit sieben Milliarden Parametern, wie Mistral, kann vollständiges KI-Finetuning Kosten im unteren fünfstelligen Bereich verursachen, während parametereffiziente Methoden wie LoRA (Low-Rank Adaptation) je nach Datensatzgröße und Trainingsaufbau Unternehmen typischerweise mehrere Tausend Euro kosten.

Der KI-Qualitäts-Gap

Warum mehr Adoption nicht gleich mehr Qualität bedeutet

Das zweite Problem von KI-Finetuning ist dessen Geschwindigkeit. Ein solch umfangreicher Prozess ist nichts, was ein Unternehmen einmal durchführt und anschließend ad acta legt. Jedes Mal, wenn sich Geschäftsdaten ändern, etwa weil das Unternehmen neue Produkte einführt, seine internen Richtlinien aktualisiert oder sich Kundenpräferenzen verschieben, ist ein erneutes Training des KI- Modells fällig. Je nach Größe des Datensatzes und den verfügbaren Rechenressourcen kann ein solches Unterfangen Wochen oder Monate dauern. KI-Finetuning ist darüber hinaus relativ unflexibel. Ein auf diese Weise (nach)trainiertes KI-Modell ist an seinen Status quo gebunden. Soll es etwas Neues lernen, beginnt der gesamte Trainingsprozess wieder von vorne.

Die meisten Teams sind leider bereits mitten im Prozess des KI-Finetunings, wenn sie erkennen, dass es bei diesem Ansatz keine Möglichkeit gibt, das Modell aktuelle Geschäftsdaten abrufen zu lassen. Zwar gehen die Trainingsdaten in die Gewichtung des Modells über und prägen, wie es schreibt, argumentiert und Fragen beantwortet. Auf die Frage nach einem bestimmten Dokument kann es allerdings die Quelle nicht aufrufen und zuverlässig aus ihr zitieren. Das KI-Modell generiert eine Antwort rein auf Basis der Muster, die es während des Trainings gelernt hat. Dadurch entstehen gefährliche Halluzinationen, denn das Modell klingt überzeugend, rekonstruiert Informationen jedoch aus seinem „Gedächtnis“, anstatt seine Antwort auf ein tatsächliches Dokument zu stützen.

Spotlight: RAG

RAG verfolgt einen grundlegend anderen Ansatz. Anstatt ein Modell nachzutrainieren, stellt diese Technologie eine Verbindung des KI-Modells in Echtzeit mit den Geschäftsdaten her.

Das funktioniert wie folgt: Stellt ein Mitarbeiter eine Frage, wandelt das System diese Anfrage zunächst in einen numerischen Wert um. Dieser Prozess heißt Embedding und erzeugt einen hochdimensionalen Vektor, der die semantische Bedeutung des Textes erfasst. Anschließend durchsucht das RAG-System die ihm zugängliche Wissensbasis (die zuvor mit demselben Embedding-Modell indiziert wurde), um Dokumente mit ähnlichen Vektorrepräsentationen zu finden.

Databricks Instructed Retriever

Verbesserte RAG-Leistung zu einem Bruchteil der LLM-Kosten

Diese semantische Suche geht weit über die reine Stichwortsuche hinaus; sie findet Inhalte, die konzeptionell verwandt sind, selbst wenn andere Begriffe verwendet werden. So ist das System in der Lage, die relevantesten Dokumente abzurufen und dem Sprachmodell als Kontext bereitzustellen. Die KI generiert daraufhin eine Antwort, die auf diesen konkreten Quellen basiert.

Im Gegensatz zum KI-Finetuning ruft das Modell dabei keine Muster aus dem Training ab, sondern liest und verarbeitet Informationen, die ihm unmittelbar zuvor bereitgestellt wurden. Dadurch werden die zentralen Probleme des KI-Finetunings wie Geschwindigkeit, Kosten, Genauigkeit und Flexibilität gelöst. RAG macht ein KI-Modell nicht zu einem domänenspezifischen Experten. Es stellt dem Modell aber aktuelle und relevante Quellen zur Verfügung, auf die es sich beziehen kann und das ist oft wertvoller.

Das Beste aus beiden Welten

Doch Retrieval-Augmented Generation ist dennoch nicht immer der passende Ansatz. Es gibt durchaus Anwendungsfälle, in denen sich die Investition in KI-Finetuning wirklich lohnt: Etwa, wenn das Modell einen sehr spezifischen Tonfall, Stil oder ein bestimmtes Format übernehmen soll, das sich allein durch Prompts nur schwer steuern lässt. An genau dieser Stelle kann KI-Finetuning hilfreich sein. Ein Praxisbeispiel dafür ist beispielsweise die Entwicklung eines kundenorientierten Chatbots, der über Tausende von Interaktionen hinweg konsistent und repräsentativ für ein Unternehmen klingen muss.

Auch bei einem Anwendungsfall, der die Generierung hochspezialisierter Inhalte in einer Nischendomäne umfasst, kann KI-Finetuning mit domänenspezifischen Daten die Qualität des Modells verbessern. Etwa bei medizinischer Diagnostik oder der Erstellung juristischer Verträge ist das oft der Fall. Das KI-Modell lernt dabei feine Denkmuster und Domänenkonventionen, die sich durch einfache Prompts nur schwer vermitteln lassen. Doch selbst in diesen Fällen ist die Wahl für den einen oder anderen Ansatz nicht unbedingt leicht oder sinnvoll. Deswegen nutzen viele IT-Teams RAG für die Anbindung der Wissensdatenbank und das Grounding, führen aber zusätzlich ein KI-Finetuning durch, um Stil oder Domänenkompetenz zu verbessern. Beide Ansätze können sich gut ergänzen.

Ein neuer Stern am Himmel: Agentic RAG

Die Einführung von RAG kann für viele Unternehmen überfordernd sein, denn die meisten entsprechenden Systeme erfordern die Kombination einer Vektordatenbank, eines Embedding-Modells, einer Chunking-Strategie, eines Retrieval-Algorithmus und einer LLM-Anbindung. Agentic RAG im Kontext einer RAG-as-a-Service (RAGaaS)-Plattform kann diese Hürden egalisieren, indem sie Dateien und Dokumente aus beliebigen Quellen automatisch indiziert und verifizierbare, qualitativ hochwertige Antworten liefert.

AI-Ready Data Framework

Snowflake-Tool prüft Datenbestände auf ihre Eignung für RAG, Agenten und Modelltraining

Ein essenzieller Vorteil einer RAGaaS-Plattform ist, dass Unternehmen so jede Art von Daten in jeder Sprache indizieren, ihre eigene Retrieval-Strategie definieren und aus verschiedenen Embedding-Modellen wählen können. KI-Agenten reichern die Inhalte darüber hinaus automatisch an, indem sie Entitäten erkennen, Themen klassifizieren und Wissensgraphen erstellen, die Zusammenhänge innerhalb der ihnen gegebenen Informationen abbilden. Auf diese Weise müssen sich Unternehmen noch weniger Gedanken um Ressourcen und das Training ihrer KI-Modelle machen.

Kommentar von David Maria Schmidt, Universität Bielefeld

Warum LLMs beim Kombinieren bekannter Fakten scheitern

(ID:50874570)