Lakehouse-AI-Ansatz wird ausgebaut Databricks kündigt Tools für generative KI an

Anbieter zum Thema

Databricks Inc.

QUNIS GmbH

Fivetran Germany GmbH

Xpand Solutions GmbH

Der Daten- und KI-Spezialist Databricks baut seinen datenzentrierten Lakehouse-AI-Ansatz weiter aus. Neue Funktionen sollen unter anderem die Entwicklung, Bereitstellung und Verwaltung von Large Language Models (LLMs) vereinfachen.

Im Rahmen seines „Data + AI Summit“ kündigte Databricks eine Reihe von Innovation rund um das Lakehouse-AI-Konzept an. Letzteres verfolgt einen datenzentrierten Ansatz für KI und bietet integrierte Funktionen für den gesamten KI-Lebenszyklus sowie Überwachung und Steuerung. Generative KI-Lösungen sollen sich durch die Zusammenführung von Daten, KI-Modellen, LLM-Operationen, Monitoring und Governance schneller und erfolgreicher entwickeln lassen.

Vektorsuche und LLM-Feinabstimmung

Zu den neuen Funktionen in Lakehouse AI zählt die Databricks Vector Search. Sie ermöglicht Entwicklern, die Genauigkeit generativer KI-Antworten durch die Suche nach Einbettungen zu verbessern. Die Funktion verwaltet und erstellt automatisch Vektoreinbettungen aus Dateien im Unity Catalog und hält sie durch nahtlose Integration im Databricks Model Serving selbstständig auf dem neuesten Stand. Abfragefilter sorgen dabei zusätzlich für optimale Ergebnisse.

Databricks AutoML bietet nun einen Low-Code-Ansatz für die Feinabstimmung von LLMs. Kunden können diese unter Verwendung ihrer eigenen Unternehmensdaten sicher abstimmen und sind Eigentümer des von AutoML erstellten Modells, ohne Daten an Dritte senden zu müssen. Dank MLflow-, Unity-Catalog- und Model-Serving-Integration lässt sich das Modell unkompliziert innerhalb eines Unternehmens teilen, regeln, bereitstellen und überwachen.

Weitere Neuheiten vorgestellt

Databricks hat außerdem eine kuratierte Liste von Open-Source-Modellen veröffentlicht, die im Databricks Marketplace verfügbar sind. Dazu zählen MPT-7B- und Falcon-7B-Befehlsverfolgungs- und Zusammenfassungsmodelle sowie Stable Diffusion für die Bilderzeugung. Zudem wurde Databricks Model Serving für die Inferenz von LLMs mit bis zu zehnfach geringer Latenzzeit und reduzierten Kosten optimiert. Im Zuge von Databricks Lakehouse Monitoring wurden Daten- und KI-Überwachungsfunktionen erweitert, um einen durchgängigen Einblick in Datenpipelines zu gewähren.

„Wir sind an einem Wendepunkt für Unternehmen angelangt: Die Nutzung von KI ist nicht mehr nur ein Wunschtraum, sondern eine Notwendigkeit für Unternehmen, um wettbewerbsfähig zu bleiben”, erklärt Databricks-CEO Ali Ghodsi. „Databricks ist seit mehr als einem Jahrzehnt auf der Mission, Daten und KI zu demokratisieren, und wir setzen unsere Innovationen fort, um das Lakehouse zum besten Ort für die Erstellung, den Besitz und die Sicherung generativer KI-Modelle zu machen“, ergänzt er.

(ID:49598769)