Nachbericht Databricks Data + AI Summit in San Francisco Databricks beschleunigt Entwicklung von Compound-KI-Apps

Anbieter zum Thema

Databricks GmbH

Board Deutschland GmbH

INFOMOTION GmbH

QUNIS GmbH

Das Unternehmen Databricks hat auf seiner Hausmesse in San Francisco die „Databricks Intelligence Platform“ vorgestellt. Sie umfasst die bekannte Data-Lakehouse-Architektur, Machine Learning mit MLFlow sowie Mosaic AI, ein Framework für Generative KI. Wichtig für Kunden: Der Unity Catalog wird nicht nur kompatibel zu Apache Iceberg, sondern auch open source.

Viele geschäftliche Nutzer von Generativer KI haben mittlerweile realisiert, dass die Aussagen einer KI nur sehr eingeschränkt gültig sind, wenn die Daten, auf die das Modell im Unternehmen beim Training zugreifen kann, erstens in Silos verstreut sind und zweitens in zweifelhafter Qualität vorliegen.

Unter solchen Bedingungen fangen KIs einfach an zu halluzinieren. Abhilfe müssen daher Tools für Datenqualität, Datenherkunft und vor allem für Governance schaffen. Governance ist als zentrale Funktion jeder Datenplattform erkannt worden. Bei Databricks ist diese Aufgabe im Unity Catalog verankert, in dem alle Metadaten und Zugriffsberechtigungen gesammelt und eingerichtet werden.

Unity Catalog

Ali Ghodsi, CEO von Databricks, wusste daher die Bedeutung seines Schritts, Unity Catalog der Open Source Community zur Verfügung zu stellen, gebührend herauszustreichen: eine Premiere für Datenkataloge. Er ging zudem auf den Streit im Hinblick auf offene Tabellenformate (OTFs) ein. Diese spielen eine wichtige Rolle für die Verwendungsfähigkeit, Reichweite und Gültigkeit des Datenkatalogs, beispielsweise im Hinblick auf Richtlinien aus den Gesetzeswerken DSGVO, HIPAA und Sarbanes-Oxley.

Ghodsi versprach deshalb die „hundertprozentige“ Kompatibilität des Delta-Lake-Tabellenformats mit Apache Iceberg. Da passte es gut ins Bild, dass Databricks Tabular, die Firma der Iceberg-Erfinder, gekauft hat. Auch für Apache-Hudi-Tabellen, ein weiteres OTF-Format, wird „Delta Lake UniForm“ als Zwischenformat benötigt.

Mosaic AI

Mosaic AI ist das Framework für Generative KI in Databricks' Data Intelligence Platform (DIP). Die oben genannten Governance-Funktionen sollen mithilfe des Mosaic AI Gateway in die Erstellung geschäftlicher Modelle integriert werden, damit möglichst zutreffende KI-Aussagen geliefert werden.

Neu ist auch das Mosaic AI Agent Framework, das Entwicklern helfen soll, mithilfe von Retrieval Augmented Generation (RAG), der vorhandenen Vector-Search-Funktion und dem jeweils ausgewählten Funktionsmodell ein sogenanntes „Compound Model“ zu erstellen.

Diesen zusammengesetzten Modellen gehöre nach Ghodsis Ansicht die Zukunft: Die Kunden seien nicht mehr damit zufrieden, die jeweils eigenen Daten zum Modelltraining heranzuziehen, zweitens kombinieren sie die unterschiedlichen Fähigkeiten der verfügbaren Modelle miteinander, um beste Ergebnisse zu erhalten. „Mosaic AI Model Training“ hilft beim Feintuning eines Modells, und die Tools im „Mosaic AI Tool Catalog“ produzieren Python-Code.

Zusammen mit dem jeweiligen Compound Model bewertet „Mosaic AI Agent Evaluation“ die Aussichten, ob das zu erstellende Compound Model die höchste Aussagequalität produzieren werde. Die neue Version 2.14 von MLFlow sei in der Lage, solche Mosaic-Agenten zu erzeugen. Das Beste zum Schluss: Die DIP lässt sich ebenso serverlos betreiben wie Mosaic AI. Das bedeutet geringere Betriebskosten und minimale Latenzzeiten. Das gesamte Framework befindet sich noch in der Private- bzw. Public Preview Phase.

Partnerschaft mit Nvidia

Einer der Höhepunkt der ersten Keynote war zweifellos der Auftritt von Jensen Huang, dem Mitgründer und CEO von Nvidia. Er trat in seiner gewohnten Lederjacke wie ein Rockstar auf und hatte die Lacher auf seiner Seite, als er die Partnerschaft mit Databricks mit der knappen Formel: „Merkt euch einfach: DIP und NIM“ beschrieb: Data Intelligence Platform und Nvidia Inference Microservices. Der Grund: Das Databricks-LLM DBRX ist inzwischen als ein solcher NIM verfügbar.

Mithilfe von Nvidias Programmiersprache CUDA lassen sich solche NIMs auf Databricks beschleunigen, weil sie nativ auf Nvidia-GPUs zugreifen können. Zudem lassen sie sich in jede native Cloud-Applikation als Microservice einbetten. Auf dieser Grundlage können Unternehmen sowohl klassische Machine-Learning-Modelle performant trainieren als auch GenAI-Apps bereitstellen und sogar digitale Zwillinge optimieren. Der nächste Schritt sind die von Jensen Huang vorangetriebenen „AI Factories“, die private Unternehmensdaten zum Trainieren von Modellen verwenden.

Databricks-CEO Ghodsi gab bekannt, dass sein Unternehmen plane, Nvidia-Beschleuniger für die nächsten Generation der SQL-Abfrage-Engine Photon heranzuziehen. So sollen alle künftigen Abfragen mithilfe von Databricks SQL um ein Vielfaches beschleunigt werden. Huang betonte, dass der Einsatz von GPUs, NIMs und CUDA dazu beitrügen, den Energieverbrauch für Rechenleistungen und somit auch die Betriebskosten für KI zu senken.

AI und BI

Ghodsi erklärte, dass Databricks Nvidia-beschleunigte KI-Funktionen mit den analytischen Funktionen von klassischem Business Intelligence zusammenführe, indem sein Unternehmen das neue Angebot „Databricks AI/BI“ lanciere. Dieses Tool soll Analytik für jeden User in Unternehmen zugänglich machen: mit Dashboards, KI-gestützten Low-Code-Dashboards und schließlich mit Genie, einem interaktiven Zugang in natürlicher Sprache. Mit Genie könne der User per Prompt Ad-hoc-Abfragen an das analytische System richten und durch Folgefragen mehr erfahren. Eines der oben erwähnten Compound-AI-Systeme lerne anhand der Fragen und liefere zunehmend passendere Resultate.

Data Engineering mit LakeFlow

Databricks LakeFlow ist eine neue Lösung, die alle Aspekte der Datenverwaltung und -behandlung vereinen und vereinfachen soll, also von der Erfassung über Transformation bis zur Orchestrierung. Daten-Teams sollen damit skalierbar große Datenmengen aus Datenbanken wie MySQL, Postgres und Oracle sowie aus Systemen wie Salesforce, MS Dynamics, MS SharePoint, Workday, NetSuite und Google Analytics erfassen können. Um den mitunter langwierigen Ablauf zu beschleunigen, biete Databricks fortan den „Real Time Mode for Apache Spark“ an, der es erlaube, Datenströme mit sehr kurzer Latenzzeit zu verarbeiten. Das dürfte allen Spark-Nutzern sehr entgegenkommen.

Delta Sharing

Die Zusammenarbeit auf der Databricks DIP wird von Delta Sharing unterstützt. Dieser offene, flexible und sichere Ansatz erlaubt die Freigabe von Live-Daten an jeden Empfänger über Clouds, Plattformen und Regionen hinweg. Für Datenanbieter und -verbraucher bietet Databricks Marketplace einen offenen Marktplatz für die Entdeckung, Bewertung und Installation von Daten und KI-Assets, um Innovationen zu beschleunigen. Nach eigenen Angaben konnte Databricks das im Marketplace vertretene Ökosystem gegenüber dem letzten Jahr verdoppeln.

Databricks unterstützt Kunden auch bei der gemeinsamen Nutzung von Daten und der Zusammenarbeit über Unternehmensgrenzen hinweg. Databricks Clean Rooms biete eine datenschutzsichere Umgebung für die Zusammenarbeit ohne direkten Zugriff auf sensible Daten. Im Gegensatz zu anderen Daten-Clean-Rooms auf dem Markt unterstützt Databricks Clean Rooms jede Sprache oder Arbeitslast, einschließlich nativer Unterstützung für ML und KI mit Python.

(ID:50077794)