Databricks, der Erfinder und Betreuer von Apache Spark, hat auf seiner Anwenderkonferenz Data + AI Summit 2021 mehrere Neuerungen für seine Unified Analytics Platform vorgestellt: Delta Live Tables, Unity Catalog, Machine Learning und das Universalprotokoll Delta Sharing.

Der Modern-Analytics-Cloud-Spezialist ThoughtSpot führt Unterstützung für Databricks ein. Damit können gemeinsame Kunden ThoughSpot-Suchanfragen direkt in Databricks Delta Lake ausführen, ohne zuvor Daten verschieben zu müssen.

Databricks, ein US-Start-up im Bereich Datenanalyse, kündigt an, seine Technologie Lakehouse jetzt auch auf der Google Cloud Platform (GCP) bereitzustellen. Die Lakehouse-Technologie vereinigt Eigenschaften strukturierter mit denen für unstrukturierte Datenspeicherung. Die Technologie soll den Parallelbetrieb von Datalakes und Data Warehouses in vielen Fällen überflüssig machen. „Das hat den Vorteil, dass alle, die Daten analysieren, auf einer einzigen Plattform arbeiten und dieselbe Datenqualität nutzen“, erklärt Joel Minnick, Vice President Marketing des Unternehmens.

Die Analytics-Spezialisten Qlik und Databricks erweitern ihre bestehende strategische Partnerschaft. In diesem Rahmen wird Qliks End-to-End-Plattform um eine neue SQL-Analytics-Funktion ergänzt.

Das von den ursprünglichen Entwicklern von Apache Spark gegründete Unternehmen Databricks hat seine Unified Analytics Platform um eine weitere Komponente erweitert. Zu den vorhandenen Komponenten Delta Lake, Delta Engine und Redash, die auf der neuen Version 3.0 von Spark aufbauen, kommt nun SQL Analytics hinzu. Dieser SQL-Editor unterstützt mit Konnektoren bislang die BI-Lösungen von Tableau und Microsoft.

Unternehmen, die sich als führend in den Bereichen Umwelt, Soziales und Governance (Environment Social Governance, ESG) positionieren wollen, müssen Daten und KI einsetzen. Organisationen, Investoren und Aufsichtsbehörden sind sich zwar über die umfassenden Vorteile der Einbeziehung von ESG-Zielen im Klaren, das ist aber der Punkt, an dem der Konsens endet. Anders ausgedrückt: Das „Warum“ von ESG ist klar, aber das „Wie“ und „Was“ nicht. Infolgedessen gibt es wenig Einigkeit darüber, welche Daten Unternehmen sammeln und wie sie diese offenlegen oder analysieren sollten.

Der von Databricks veranstaltete Spark+AI Summit startete kürzlich mit 60.000 angemeldeten Teilnehmern aus über 100 Ländern, die sich über die neuesten Trends und Entwicklungen aus der Welt der KI und des ML innerhalb der Apache Spark Community informierten. Databricks, der Erfinder und Betreuer von Apache Spark, hat sein 2018 vorgestelltes ML-Framework MLflow erweitert und der Open Source Community übergeben. Auf der neuen Version 3.0 von Spark bauen die neuen oder erweiterten Plattformkomponenten Delta Lake, Delta Engine und Redash auf.

Mit der University Alliance will Databricks weltweit Studenten Zugang zu kostenlosen Data-Science- und Machine-Learning-Tools ermöglichen. Im Fokus steht dabei die Ausbildung der nächsten Generation von Datenwissenschaftlern.

Die Tage, an denen Data Engineers und Data Scientists in unterschiedlichen Teams arbeiten, sind gezählt. Mit den neuen automatisierten Software-Werkzeugen, die den Data Teams zur Verfügung stehen, um die Produktivität in der Datenverarbeitung und im Machine Learning zu erhöhen – viele davon Open Source – werden die Rollen der Data Teams konvergieren, was eine reibungsloses und kollaboratives Jahr 2020 für die Daten- und KI-Entwicklung schaffen wird.

Der Datenintegrationsexperte Talend und der Analytics-Spezialist Databricks bauen ihre bestehende Partnerschaft weiter aus. Die verstärkte Zusammenarbeit soll unter anderem den Weg zum Lakehouse-Paradigma beschleunigen.