KI-zentrierter Ansatz für die Data Governance Databricks will Okera übernehmen

Anbieter zum Thema

Databricks Inc.

INFOMOTION GmbH

QUNIS GmbH

BigData-Insider

Databricks hat eine Vereinbarung zur Übernahme der KI-zentrierten Data-Governance-Plattform Okera angekündigt. Okera löse die Datenschutz- und Governance-Herausforderungen im gesamten Spektrum von Daten und KI. Zugleich werde die Datentransparenz verbessert.

Databricks konzentriert sich auf die Demokratisierung von Daten und KI für Unternehmen. Seit dem Debüt von ChatGPT im vergangenen November und der kürzlichen Einführung von Dolly 2.0 stellt sich die Frage, wie sich die Leistung von KI und großen Sprachmodellen (LLMs) nutzen lässt. Darüber hinaus geht es auch darum, wie in diesem Kontext Sicherheit und Datenschutz umgesetzt werden.

Wie verändert die KI die Data Governance?

Historisch gesehen beruhen Data-Governance-Technologien, unabhängig von ihrer Komplexität, auf der Durchsetzung der Kontrolle auf einer schmalen Ebene und erfordern, dass die Workloads in den „Walled Garden“ auf dieser Ebene passen. So stützen sich beispielsweise Cloud Data Warehouses auf SQL für die Zugriffskontrolle – und das ist so lange effizient, wie alle Workloads in SQL passen. Dies war einige Jahrzehnte lang der Fall, als die primären Datenanwendungen in der Tat SQL-zentriert waren, z. B. Business-Intelligence-Berichte, die SQL-Abfragen generierten.

Bei KI, insbesondere von maschinellen Lernmodellen und LLM, ist dieser Ansatz nicht mehr ausreichend. Erstens steigt die Zahl der Datenbestände, die ein Unternehmen verwalten muss, exponentiell an, da viele der in der KI verwendeten Datenquellen maschinell und nicht von Menschenhand generiert werden. Zweitens ist angesichts der rasanten Entwicklung der KI-Landschaft kein einzelnes Unternehmen in der Lage, einen Walled Garden zu schaffen, der aussagekräftig genug ist, um den Stand der Technik zu erfassen. Ein Anbieter könne die Zugriffskontrolle für seine eigene SQL-basierte Data-Warehouse-Engine erzwingen, wäre aber nicht in der Lage, jede einzelne Open-Source-Bibliothek zu ändern, um sicherzustellen, dass sie die besondere Kontrolle eines Walled Garden einhält. Dies bedeutet, dass KI-spezifische Governance-Belange wie Provenance und Bias außerhalb der Reichweite herkömmlicher Data-Governance-Plattformen liegen.

Okeras KI-zentrierte Governance-Technologien

Die Data-Governance-Plattform Okera verfüge über zwei Technologien, mit denen die Herausforderungen der Data Governance in dieser neuen Welt bewältigt werden können.

Erstens biete sie eine intuitive, KI-gestützte Schnittstelle zur automatischen Erkennung, Klassifizierung und Kennzeichnung sensibler Daten, wie personenbezogener Informationen. Anhand dieser Tags könnten Data-Governance-Verantwortliche auf einfache Weise die Einhaltung von Richtlinien bewerten und No-Code-Zugriffsrichtlinien erstellen, die die Transparenz und Kontrolle über Daten verbessern. Darüber hinaus gebe es ein Self-Service-Portal zur schnellen Prüfung und Analyse der Nutzung sensibler Daten, sodass Unternehmen in der Lage seien, Datenverwendungsmuster zuverlässig zu überwachen und zu verfolgen. Dies trage dazu bei, dass Governance-Richtlinien konsistent angewandt werden, selbst bei der explosionsartigen Zunahme von Datenbeständen, von denen viele durch KI generiert werden können.

Zweitens habe Okera eine neue Isolationstechnologie entwickelt, die beliebige Workloads unterstützen und gleichzeitig die Governance-Kontrolle ohne Leistungseinbußen durchsetzen könne, so Databricks. Diese Technologie befinde sich in der privaten Vorschau und sei von einer Reihe gemeinsamer Kunden speziell für ihre KI-Workloads getestet worden. Sie sei der Schlüssel, um sicherzustellen, dass Unternehmen das gesamte Spektrum an Anwendungen in der neuen Welt effizient abdecken können. Weitere Details zu dieser neuen Technologie möchte Databricks in Kürze bekannt geben.

Unity Catalog mit Okera

Das Lakehouse werde bei der gemeinsamen Entwicklung von Daten- und KI-Anwendungen und beim Aufbau von LLMs helfen. Im Mittelpunkt stehe die Vereinheitlichung dieser Workloads auf einer Plattform. Die Grundlage der Lakehouse-Vision bildet Unity Catalog, die Data-Governance-Schicht für alle Daten- und KI-Workloads. Databricks werde die KI-zentrierten Governance-Technologien in Unity Catalog integrieren.

Der Vorteil für Unternehmen sei, dass sie KI nutzen können, um all ihre Daten, Analysen und KI-Ressourcen (einschließlich ML-Modelle und Modellfunktionen) mit attributbasierten und absichtsbasierten Zugriffsrichtlinien zu erkennen, zu klassifizieren und zu verwalten. Darüber hinaus würden sie von einer durchgängigen Datenbeobachtung im Lakehouse profitieren, die es ihnen ermögliche, die Nutzung sensibler Daten über Analyse- und KI-Anwendungen hinweg zentral zu prüfen und zu melden und die Datenverknüpfung automatisch bis auf Spaltenebene zu verfolgen.

Mit diesen Erweiterungen könnten Unternehmen einen ganzheitlichen Überblick über ihren Datenbestand über alle Clouds hinweg erhalten und ein einziges Berechtigungsmodell verwenden, um Zugriffsrichtlinien zu definieren, KI-Anwendungsfälle zu beschleunigen und eine einheitliche Governance im gesamten Lakehouse sicherzustellen. Die bevorstehende Übernahme werde es dem Anbieter auch ermöglichen, APIs für umfassendere Richtlinien bereitzustellen, die andere Data-Governance-Partner nutzen könnten, um nahtlose Lösungen zu bieten.

(ID:49439301)