Kommentar von Matthias Hintenaus, Sinequa Generative KI und LLMs revolutionieren Enterprise Search

Anbieter zum Thema

Sinequa

Fsas Technologies GmbH

Board Deutschland GmbH

BigData-Insider

Large Language Models (LLMs) gibt es schon seit Jahrzehnten, aber erst generative KI-Anwendungen (GenAI), allen voran ChatGPT, haben sie wirklich ins Rampenlicht gerückt. So sind die großen Sprachmodelle zum Rückgrat einiger der innovativsten Anwendungen für Übersetzung, Sentinent Analyse, Chatbots, virtuelle Assistenten, Copiloten, Erstellung von Content/Code und mehr geworden. Im Privatgebrauch ist ChatGPT die am schnellsten angenommene Technologie der Geschichte.

Und in den Unternehmen? Dort ist man skeptischer, denn GenAI-Anwendungen berücksichtigen nur öffentliches Wissen. Mit faktenbasierten Antworten und Anwendungsfällen tun sie sich schwer, da unternehmensspezifische Informationen ihnen fremd sind. LLMs werden mit Terabytes von Daten trainiert und erstellen ein Modell der Sprachmuster. Das bedeutet, sie wissen, welche Wörter wie zusammengehören und können dadurch hervorragend mit Sprache umgehen. Das prädestiniert sie für die Neuformulierung von Texten, für nicht-faktische kreative Aufgaben und etabliertes Allgemeinwissen. Aber sie haben kein wirkliches Wissen über die reale Welt. Sie halluzinieren daher oder anders gesagt: Die Wörter passen in akzeptable Sprachmuster, sind aber sachlich falsch.

Die vier Grundprobleme großer Sprachmodelle:

• 1. Halluzinationen – selbstbewusstes Präsentieren erfundener Fehlinformationen

• 2. Undurchsichtigkeit – keine Fähigkeit, Quellen anzugeben oder zu zitieren

• 3. Alterung – fehlende Aktualität und keine Kenntnis von Ereignissen seit der ersten Ausbildung des Modells

• 4. Unwissenheit – keine Kenntnis interner Unternehmensinformationen

Um für Unternehmen geeignet zu sein sind, müssen LLMs jedoch genau und nachvollziehbare Informationen liefern – und zwar sicher und skalierbar. 2023 war ein Jahr des Experimentierens mit verschiedenen Ansätzen, um hier zu validen Ergebnissen zu kommen. Der vielversprechendste sieht so aus: Dem LLM wird zunächst neues Material gezeigt, um es auf einen bestimmten Bereich zuzuschneiden (Feinabstimmung). Das bereichsspezifische Wissen wird anschließend über Suchlösungen vermittelt. Wenn auf diese Art und Weise Unternehmenssuche (Enterprise Search) mit LLMs gekoppelt wird, spricht man von Retrieval-Augmented Generation (RAG).

Vereinfacht gesagt: RAG bedeutet, eine Suche durchzuführen und das LLM erst anschließend – basierend auf den gefundenen Informationen – eine Antwort generieren zu lassen. Die Antwort basiert also auf Fakten aus unternehmenseigenen Inhalten und ist damit sowohl genauer als auch kontexttreuer. Das LLM kann zudem direkt auf das ihm zur Verfügung gestellte Material verweisen, was volle Transparenz und Rückverfolgbarkeit bis zur Originalquelle gewährleistet. Solche Rahmenwerke zur Bereitstellung unternehmensspezifischen Kontexts werden 2024 eine der am häufigsten verwendeten Techniken im Bereich der großen Sprachmodelle sein.

Suche + GenAI = gemeinsam besser

Enterprise Search und GenAI ergänzen sich in erstaunlicher Weise. Die Suche liefert Fakten, Nachvollziehbarkeit und aktuelle Informationen, über die GenAI nicht verfügt. Diese liest und interpretiert dafür die Suchergebnisse und schreibt eine Klartext-Antwort in Echtzeit. So muss sich niemand mehr durch einen Haufen verschiedener Suchergebnisse endlos klicken und lesen.

Das Ganze wäre natürlich einfach, wenn es nur um Textdateien und strukturierte Daten (Tabellen) ginge. Wissen steht aber auch in E-Mails, Präsentationen, Sharepoint-Seiten, Slack-Diskussionen, Videos etc. Die Schwierigkeit liegt darin, alle relevanten Inhalte in allen Quellen zu finden und sie zu vereinheitlichen. Auch gilt es, den Fokus zu behalten: LLMs können zwar viele Inhalte lesen, aber je mehr sie aufnehmen, desto verwässerter werden die Antworten und wichtige Fakten unter Umständen ausgespart.

RAG löst beide Probleme. Erstens durchsucht die Enterprise-Search-Software wirklich alle vorhandenen Unternehmenssysteme und Wissensspeicher, digitalen Konversationen usw. Zweitens überschüttet sie das LLM nicht mit Tausenden Dokumenten in voller Länge, sondern konzentriert sich auf deren wesentlichen Teile. Ergebnis sind zugleich umfassende wie gezielte Antworten.

Die Bedeutung der Sicherheit

LLMs haben kein Sicherheitskonzept; alle Informationen, auf denen sie ausgebildet wurden, sind in das Modell integriert und für jeden, der das LLM benutzt, zugänglich. RAG sichert vollständige Kontrolle über alle Sicherheitsbedenken – die Enterprise-Search-Engine nach innen, indem sie alle bestehenden Berechtigungen berücksichtigt. Jede Person bekommt nur angezeigt, was sie auch sehen darf. Diese Ergebnisse werden dann an die GenAI gesendet, die darauf basierend ihre Antwort formuliert. Um extern für Sicherheit zu sorgen, gibt es zwei Möglichkeiten. Entweder man sendet die Suchergebnisse an ein kommerzielles LLM (GPT-4 von OpenAI, Claude von Anthropic, Gemini von Google) – kommerzielle Modelle, die nicht auf diesen Daten trainieren, so dass sie vor anderen Unternehmen, die dieselben Modelle verwenden, sicher sind. Für besonders sensible Inhalte kann man selbst ein eigenes Open-Source-LLM (Mistrals Mixtral, Metas LLaMa-2) hosten.

Unzureichende Suche = enttäuschende RAG

Bei aller Begeisterung über LLMs: Sie stützen ihre Antwort auf das, was ihnen gegeben wird. Deshalb kommt es auf das „Retrieval“ in RAG an. Die Suche muss relevant und umfassend sein, damit das LLM die besten Informationen erhält, mit denen es arbeiten kann. Gibt es nicht nur einige wenige Dokumente aus einer einzigen Quelle, darf man nicht davon ausgehen, die Suche in einer Open-Source-Vektordatenbank reiche aus. Diese mag für einen kleinen Proof-of-Concept genügen, kann aber im echten Leben dramatisch versagen. Es bedarf mindestens einer hybriden Multi-Source-Suchplattform (mit Vektor- und Stichwortsuche), die die Sicherheit des Quellsystems berücksichtigt.

Fazit

Zugängliche LLMs sind zweifellos der technologische Quantensprung dieser Tage. Aber sie haben Mängel, die den Einsatz im Business-Kontext oft verhindern. Eine Lösung ist ihre Zusammenführung mit Enterprise Search in einer Technik namens Retrieval Augmentation Generation. Unternehmen, die schnell robuste RAG-Lösungen einführen und bereitstellen, haben einen Vorteil, denn sie können sich die Leistung von GenAI zunutze machen, um Innovationen voranzutreiben, ihre Produktivität zu steigern und Wettbewerbsvorteile in der sich entwickelnden digitalen Wirtschaft zu erarbeiten. Der Wahl der richtigen Suchplattform kommt dabei entscheidende Bedeutung zu.

(ID:50034489)