Kommentar von Julian Wingenfeld, MongoDB Die Vektorsuche – wie wir in Zukunft Daten durchsuchen werden

Anbieter zum Thema

mongoDB

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Die Vektorsuche eröffnet neue Möglichkeiten für die semantische Suche, die relevantere und präzisere Ergebnisse liefert als die herkömmliche Schlüssel- oder Volltextsuche. Warum die Technologie für Unternehmen wichtig ist, welche Voraussetzungen sie dafür schaffen müssen und wo die Vektorsuche bereits genutzt wird.

Die Begriffe Vektorsuche und Vektordatenbank stehen plötzlich im Rampenlicht, dabei reichen frühe Ansätze bis weit in die sechziger Jahre zurück. Datenbankanbieter beeilen sich, sie in ihr Angebot aufzunehmen, Start-ups beantragen Finanzmittel, um sie in Lösungen und Produkte zu integrieren – aber was ist die Vektorsuche, und warum gewinnt sie aktuell an Relevanz?

Bei der Vektorsuche geht es darum, ähnliche Inhalte in einem Datensatz zu finden, indem Inhalte in einem n-dimensionalen Vektorraum abgebildet werden. Dabei stellt n die Anzahl der Dimensionen oder Merkmale dar, die zur Beschreibung jedes Inhalts verwendet werden. Die Inhalte können verschiedene Datenformate umfassen, wie z. B. Texte, Bilder, Töne, Videos oder andere datenreiche Objekte, die mithilfe von Encodern in Vektoren bzw. Embeddings umgewandelt werden. Zum Durchbruch verhalfen der Vektorsuche erst die jüngsten Fortschritte im Bereich der KI, des Machine Learnings und der Large Language Models (LLMs), die Vektor-Embeddings erzeugen können.

Was kann die Vektorsuche, was bestehende Lösungen nicht können?

Vektoren ermöglichen die semantische Suche, indem sie genaue und zeitnahe Ergebnisse liefern, indem sie ein Lied, ein Bild, ein Video oder ein Gedicht darstellen. Die verschiedenen Dimensionen eines Vektors beschreiben ihre Eigenschaften und ihre Bedeutung, sodass Dinge, die ähnlich sind, zueinander in Bezug gesetzt werden können. Die semantische Suche unterscheidet sich damit deutlich von der Schlüsselwort- oder Volltextsuche, bei der nur eine bestimmte Gruppe von Begriffen gesucht wird.

Das bietet zahlreiche Vorteile, denn Vektoren sind in der Lage, mehr Bedeutung und Kontext zu erfassen als andere Suchmethoden. Sobald Daten in numerische Darstellungen umgewandelt wurden, können Nutzer ähnliche Werte mithilfe des Algorithmus „approximate nearest neighbors“ abfragen. Dieser ermöglicht es, Daten mit ähnlichen Vektoren zu finden. So werden unspezifische, kontextbasierte Abfragen wie „Finde Filme, die ähnlich sind wie …“ oder „Gib mir Bilder, die so aussehen wie …“ erst möglich.

Warum Unternehmen auf die Vektorsuche setzen sollten

Die Vektorsuche ist eine leistungsstarke und vielseitige Technologie, die eine Reihe von Vorteilen bietet und eine effektivere Nutzung von Daten erlaubt. Sie ermöglicht eine schnelle und effiziente Suche nach ähnlichen Inhalten in großen Datensätzen und kann dadurch in Anwendungsbereichen wie z. B. Empfehlungssystemen, Suche, Klassifizierung und Clustering eingesetzt werden. Durch die Vektorsuche können IT-Unternehmen zudem personalisierte Empfehlungen und maßgeschneiderte Inhalte bereitstellen, was die Nutzererfahrung verbessert und die Kundenzufriedenheit steigert.

Weitere Stärken der Vektorsuche sind eine effiziente Skalierung, um mit großen und wachsenden Datensätzen umzugehen, die Flexibilität der Anwendung auf unterschiedliche Arten von Daten einschließlich Text, Bildern, Audio, Video und anderen komplexen Datentypen sowie die bessere Identifizierung ähnlicher Inhalte, die präzisere und relevantere Suchergebnisse ermöglicht. Zudem sind die Modelle „low maintenance“: Einmal erstellte Vektordarstellungen können gespeichert und wiederverwendet werden, was die Notwendigkeit verringert, die Modelle ständig neu zu trainieren.

Was sind die Voraussetzungen für die Nutzung der Vektorsuche?

Die Auswahl der passenden Vektordatenbank hängt von mehreren Faktoren ab. Dazu zählen Größe, Komplexität und Granularität der Daten sowie andere Anforderungen, zum Beispiel Kosten, bereits vorhandene Machine Learning Operations (MLOps), Hosting, Leistung und Benutzerfreundlichkeit bei der Konfiguration. Um Vektoren zu speichern und zu durchsuchen und die Verwendung von LLMs zu ermöglichen, verwenden einige Unternehmen für diese Aufgaben spezialisierte Datenbanken. Solche Einzweck-Datenbanken werden jedoch häufig auf bestehende Technologie-Stacks aufgesetzt, was zu einer höheren Verwaltungskomplexität und einem höheren Schulungsaufwand für Entwickler führt.

Werden Vektor-Embeddings dagegen ebenso wie operative Daten auf einer Plattform gespeichert, sinkt die Komplexität. Durch die Integration von operativer Datenbank, Vektorspeicher und LLMs in einer einzigen, einheitlichen und vollständig verwalteten Plattform bieten Datenplattformen wie etwa MongoDB Atlas mit der integrierten Vektorsuche eine schnelle und einfache Möglichkeit, semantische Suche und KI-gestützte Anwendungen zu entwickeln. Das bedeutet auch, dass die Daten nie die sichere Cloud-Umgebung des Kunden verlassen, was dazu beiträgt, Bedenken hinsichtlich des Datenschutzes auszuräumen.

Wofür wird die Vektorsuche eingesetzt?

Die Vektorsuche eröffnet neue Anwendungsfelder und erlaubt die Verbesserung und verstärkte Personalisierung bestehender Applikationen. Sie kommt aktuell in verschiedenen Branchen zum Einsatz, darunter E-Commerce, Gesundheitswesen, Medien oder Finanzen. IT-Unternehmen können die Technologie nutzen, um spezifische Aufgaben zu lösen und Mehrwert für ihre Kunden zu schaffen, wie einige Beispiele zeigen:

Kundenbetreuung: Das Start-up Ada bietet eine Plattform an, die automatisch Kundendienstanfragen für Dienste wie Meta, Square, Shopify, YETI, AirAsia oder Verizon bearbeitet. Dabei fallen große Mengen unstrukturierter Daten aus Kundenchats oder Sprachaufzeichnungen und -transkripten an. Generative KI erzeugt daraus Kundenantworten, während LLMs Kundengespräche analysieren, um anschließend Verbesserungsvorschläge zu machen.

Vorausschauende Wartung: Einer der weltweit führenden Automobilhersteller speichert alle Metadaten über seine verschiedenen Fahrzeugtypen – etwa Marke, Modell oder Baujahr – in seiner zentralen Datenbank. Über diese Daten gelegte Suchindizes ermöglichen es Mechanikern, Informationen über ein bestimmtes Fahrzeugmodell, das in die Werkstatt kommt, zu finden und zu filtern. Zusätzlich zu den Textinformationen werden Audiodaten der häufigsten Geräusche, die mit wiederkehrenden Problemen in der gesamten Fahrzeugflotte verbunden sind, in die Datenbank eingefügt und vektorisiert. Diese All-in-One-Kombination aus einer operativen Datenbank, einer Suchmaschine und einem Vektor-Suchsystem ermöglicht es den Technikern, die Audiodaten des Fahrzeugs in der Werkstatt aufzuzeichnen und sie dann schnell einem bekannten Problem zuzuordnen und es zu diagnostizieren. Ein Chat-Assistent kann zudem den gesamten unstrukturierten Text aus herkömmlichen Reparaturhandbüchern aufnehmen und Techniker durch die richtigen Schritte führen. Diese Lösung hat das Potenzial, Hunderte von Arbeitsstunden bei der Reparatur von Fahrzeugen einzusparen.

Spieleentwicklung: Beamable stellt eine Plattform bereit, die es Spieleentwicklern ermöglicht, bis zu 32 Live-Spiele gleichzeitig zu erstellen und zu betreiben. Die Vektorsuchfunktion in Verbindung mit OpenAI Embeddings kommt zum Einsatz, um KI-gestützte Erfahrungen aufzubauen, ohne zusätzliche Technologie einsetzen zu müssen.

Ausblick: Wohin geht die Reise?

Das Interesse an der Vektorsuche ist in der ersten Jahreshälfte 2023 deutlich gestiegen. Softwareentwickler erkennen zunehmend ihr Potenzial für das Entwickeln anspruchsvoller Anwendungen und KI-gestützter, personalisierter Nutzererlebnisse. Mit der kontinuierlichen Entwicklung von KI-Technologien, der Verfügbarkeit großer Datenmengen und Fortschritten bei den Methoden des maschinellen Lernens zur Erstellung von Vektor-Embeddings, wird die Vektorsuche in den nächsten Jahren noch leistungsfähiger werden. Das eröffnet nahezu unendliche Möglichkeiten für zahlreiche Branchen, Geschäftsfelder und auch den privaten Raum.

In Bereichen wie Personalisierung und Empfehlungssystemen ermöglicht die Vektorsuche eine feinere Personalisierung. In der Sicherheitsbranche könnte sie eine entscheidende Rolle bei der Gesichtserkennung und biometrischen Identifizierung spielen. In der medizinischen Bildgebung und -verarbeitung kann sie zur Verbesserung der Diagnose- und Behandlungsmöglichkeiten beitragen. Die Kreativwirtschaft dürfte sie verstärkt zur Identifizierung ähnlicher Kunstwerke und Musikstücke einsetzen. Funktionen wie die Echtzeit-Übersetzung und die Verbesserung von Sprachverarbeitungssystemen werden zahlreiche Lebensbereiche verändern. Auch in der Betrugserkennung, in der Automobilindustrie, in Bild- und Videokompression und auf Bildungs- und Lernplattformen könnte die Vektorsuche zum Einsatz kommen.

(ID:49727005)