Oracle und Künstliche Intelligenz Oracle erweitert HeatWave-Plattform für Generative KI

Anbieter zum Thema

ORACLE Deutschland B.V. & Co. KG

Fsas Technologies GmbH

Board Deutschland GmbH

INFOMOTION GmbH

Oracle hat für die KI-Plattform HeatWave eine Erweiterung für Generative KI verfügbar gemacht. HeatWave GenAI ist insofern bemerkenswert, als es das LLM in der Datenbank selbst ausführt. Zudem findet die Verarbeitung von Vektor-Daten, wie sie etwa für RAG (Retrieval Augmented Generation) benötigt wird, ebenfalls in der Datenbank statt. Diese Technik soll HeatWave GenAI performanter und sicherer als Lösungen von Mitbewerbern machen.

Es gibt nach Angaben von Oracle Deutschland drei Kernkomponenten: Die Datenbank HeatWave MySQL als Frontend etwa für SQL oder VS Code, zweitens HeatWave Backend für die spaltenorientierte Datenspeicherung, die auch die Machine-Learning- und GenAI-Komponenten umfasst, und schließlich Object Storage, der die Kunden-Daten enthält.

Das HeatWave Framework umfasst bislang HeatWave Lakehouse, HeatWave Autopilot, HeatWave AutoML und den Objektspeicher HeatWave MySQL. Nun kommen vier weitere Funktionen hinzu, die generative KI-Modelle wie Llama 3, Cohere Command bzw. Embed oder Mistral ermöglichen sollen.

Bildergalerie

Bildergalerie mit 9 Bildern

Wie Nipun Agarwal, der Senior Vice President für Oracle HeatWave, in einer Präsentation sagte, wird ein LLM wie Llama 3 in der Datenbank ausgeführt. Das soll die Kosten für die Erstellung und Ausführung von GenAI-Apps senken, etwa von Chatbots, da zusätzliche Infrastruktur wegfällt. „Kunden brauchen dann auch nicht mehr ,externe LLMs' zu wählen und zu integrieren“, so Agarwal. „Sie brauchen sich nicht um die Verfügbarkeit bestimmter LLMs bei den Cloud-Providern zu sorgen.“ Und die Sicherheit, die die Datenbank implementiere, komme der KI zugute, beispielsweise die Benutzerverwaltung.

LLMs in der Datenbank

Die In-Database-LLMs erfüllen die üblichen Aufgaben: Suche, RAG, Zusammenfassungen usw., nur eben mit dem HeatWave Vector Store (s. u.). Diese Aufgaben lassen sich mit AutoML kombinieren, um Machine-Learning-basierte Apps zu erstellen. HeatWave GenAI sei zudem mit dem OCI Generative AI Service integriert, um auf vortrainierte Funktionsmodelle bekannter LLM-Anbieter zugreifen zu können. OCI ist die Oracle Cloud Infrastructure.

Vektorisierung

Der HeatWave Vector Store mache das Bewegen von Geschäftsdokumenten aus der eigenen in eine gesonderte Vektor-Datenbank überflüssig. Die Erstellung dieses Vector Store und alle Vector-Einbettungen erfolgen laut Agarwal automatisch und werden in der Datenbank ausgeführt. Dazu gehört das Entdecken und Parsen von Dokumenten im Objektspeicher, ebenso die parallelisierte und performante Erzeugung von LLM-Einbettungen, die dann in HeatWave Vector Store eingefügt werden.

Die Nutzung von HeatWave Vector Store für RAG soll Halluzinationen von LLMs vorbeugen, weil das jeweilige Modell bei der Suche firmeneigene Daten heranzieht, die über den angemessenen Kontext verfügen. So würden die Modelle maximal zutreffende und relevante Antworten liefern.

Oracle macht keine Angaben über die Rolle von Governance in diesem Zusammenhang. Dieser zentrale Aspekt werde über HeatWave bzw. HeatWave MySQL und den zu Grunde liegenden „OCI Regions“ abgebildet, also über Funktionen der Datenbank. Die fragliche SQL-Datenbank ist naheliegenderweise Oracle selbst, kombiniert mit MySQL als Objektspeicher und InnoDB (s. u.).

Die Verarbeitung vektorisierter Daten soll sich im Scale-out-Modell beschleunigen lassen, sodass die semantische Suche schnelle Ergebnisse liefere. HeatWave unterstütze dabei den neuen, nativen Datentyp VECTOR und eine „optimierte Implementierung der Distanzfunktion“ zwischen den Vektorendpunkten, was die Kunden in die Lage versetzen soll, semantische Abfragen mit standardmäßigem SQL-Code auszuführen. Sie sollen keinen Code schreiben müssen. Hinweis von Oracle Deutschland: „HeatWave hat kein Indexing-Konzept.“

Neben dieser Scale-Out-Architektur und der hybriden Spaltendarstellung im Hauptspeicher (in-memory) soll es HeatWave damit ermöglichen, Vektordaten mit nahezu der gleichen Bandbreite wie der Hauptspeicher und zugleich bis zu 512 HeatWave-Rechnerknoten parallel zu verarbeiten. Oracle Deutschland fügt hinzu: „Das HeatWave Backend basiert auf AMD-CPUs – wir deklarieren die CPU-Typen aber nicht mehr. Die einzelnen HeatWave-Knoten sowie die HeatWave MySQL-Frontend-Knoten sind via TPCI/IP im OCI-Netzwerk miteinander verbunden, das heißt, das Netzwerk ist nicht transparent für den Anwender.“

Die Latenz bis zur Antwort des Modells sei aufgrund dieser Voraussetzungen gering, und Benchmarks hätten dies belegt. Die semantische Suche lasse sich mit weiteren SQL-Operatoren kombinieren, um beispielsweise mehrere Tabellen mit unterschiedlichen Dokumenten zu kombinieren und ähnliche Suchvorgänge über alle verfügbaren Dokumente auszuführen.

HeatWave Chat

HeatWave Chat ist ein Plug-in für die MySQL-Shell, geschrieben in „Visual Code“. Oracle Deutschland erläutert dazu: „Wir verwenden Typescript, mit Python im Backend. Die MySQL Shell ist in C++ geschrieben. Als Umgebung verwenden die Kollegen VS Code. Es stellt dem Nutzer eine grafische Benutzeroberfläche zu HeatWave GenAI zur Verfügung, in die er Eingaben machen kann. Entwickler sollen damit Fragen in natürlicher Sprache oder SQL stellen können. Der integrierte Lakehouse Navigator soll es Nutzern erlauben, Dateien aus dem Objektspeicher zu selektieren und damit selbst einen Vektorspeicher zu erstellen.

Nutzer sollen die gesamte Datenbank ebenso leicht durchsuchen können, wie sie die Suche auf ein bestimmtes Verzeichnis eingrenzen können. HeatWave bewahre den Kontext, zusammen mit den bereits gestellten Fragen, mit Zitaten aus den Quelldokumenten sowie mit der Prompt-Eingabe an das LLM. Oracle Deutschland erläutert: „Diese Daten werden als Metadaten im HeatWave MySQL Frontend (also in InnoDB & VectorStoreDB) persistiert.“

Diese Möglichkeiten sollen eine kontextbezogene Konversation erleichtern und es den Nutzern erlauben, die Quelle der vom LLM erzeugten Antworten ausfindig zu machen und zu verifizieren. Dieser Kontext werde in HeatWave selbst gepflegt: „… in InnoDB HeatWave MySQL als Teil einer angelegten Tabelle (im JSON-Format).“ Somit stehe der Kontext jeder Applikation zur Verfügung, die HeatWave verwendet.

Leistungsaspekte

„Die Erstellung eines Vektordatenspeichers für Dokumente in Formaten wie PDF, PPT, WORD und HTML erfolgt mit HeatWave GenAI 23-mal schneller und zu einem der Viertel der Kosten, als wenn stattdessen Knowledge-Base für Amazon Bedrock verwendet wird“, sagte Agarwal. Er signalisierte damit, wo Oracle die entscheidenden Vorteile für seine HeatWave-Kunden sieht: bei Performance und Kosten, aber auch Bedienfreundlichkeit.

(ID:50089535)