Kommentar von Alexey Utkin, DataArt Das sind die Datentrends 2024

Anbieter zum Thema

Fsas Technologies GmbH

Disy Informationssysteme GmbH

Fivetran Germany GmbH

Was wird im neuen Jahr wichtig? Alexey Utkin, VP Finance Practice und leitender Lösungsberater bei DataArt, wagt einen Ausblick auf 2024.

1. Datenaustausch und Datenzusammenarbeit stehen im Mittelpunkt

Die Verbesserung des Datenaustauschs und der sicheren Datenzusammenarbeit zwischen Beteiligten wird zu einem Schlüsselbereich. Unternehmen wie Snowflake und Databricks haben diese Idee aufgegriffen und sie setzt sich in verschiedenen Branchen immer mehr durch.

In den vergangenen zehn Jahren hat die digitale Transformation dazu geführt, dass Geschäftsprozesse und Systeme in kleinere Teile zerlegt wurden. Einige verbleiben im Unternehmen, während andere von externen Anbietern übernommen werden, wodurch ein komplexes Ökosystem entsteht. Zum Beispiel berührt die globale Zahlungsabwicklung heute vielleicht 10 oder 15 Unternehmen im Rahmen ihrer Bemühungen um die digitale Transformation, und die Daten sind über all diese verschiedenen Unternehmen verteilt. Die Daten von mehreren Anbietern müssen integriert werden, um einen ganzheitlichen Überblick zu erhalten, und das ist eine Herausforderung.

Jetzt werden Datenprodukte mit dem Ziel entwickelt, die Daten der verschiedenen Beteiligten zusammenzuführen. Dieser Trend dürfte sich in den nächsten Jahren fortsetzen, und viele Datenprodukte werden um diesen Prozess herum entwickelt werden.

2. Die Unternehmen holen auf und bieten Lösungen für die Verwaltung verteilter Daten und Analyseplattformen in Form eines Data Mesh an

Das Konzept des Data Mesh hat in den vergangenen drei Jahren an Zugkraft gewonnen. Es rückt zwei Schlüsselkomponenten in den Vordergrund. Erstens führt es das Konzept der „Daten als Produkt“ ein, bei dem Daten in einem klar definierten, auffindbaren Format verpackt werden, das ohne direkte Beteiligung des Datenproduzenten als Selbstbedienung genutzt werden kann. Dieses Konzept umfasst nicht nur Rohdaten, sondern auch Analysemodelle, wie z. B. solche, die für die Kundenabwanderung oder die Betrugsprävention verwendet werden.

Das zweite Konzept sind Selbstbedienungsplattformen, nicht für Business Intelligence, sondern für die Erstellung von Datenprodukten. Dadurch können verschiedene Geschäftsbereiche Datenprodukte erstellen, ohne dass separate Datenplattformen erforderlich sind, was die Kosten senkt und die Effizienz erhöht.

Große Technologieanbieter, darunter auch Cloud-Dienste wie Azure und AWS, holen auf und bieten Lösungen für die Verwaltung verteilter Daten- und Analyseplattformen in Form eines Data Mesh an. Dies hilft dabei, Daten über verschiedene Plattformen und Technologien hinweg miteinander zu verbinden und einen zentralen Überblick über die Datenlandschaft zu erhalten.

3. Es wird erwartet, dass LLMs eine entscheidende Rolle bei der Verbesserung von Data Engineering und Datenoperationen spielen werden.

Generative KI und Large Language Models (LLM) haben das Potenzial, den Datenraum zu verändern. Diese Transformation beinhaltet den Einsatz von GenAI-Modellen in bestehenden Dateninfrastrukturen für Aufgaben wie Data Engineering und Datenoperationen.

Noch interessanter ist ihr Potenzial, rudimentäre Aufgaben zu lösen, wie Profiling, Modellierung und Integration von Daten, Rationalisierung von Prozessen und Verbesserung der Datenqualität. Es wird erwartet, dass LLMs eine entscheidende Rolle bei der Verbesserung von Data Engineering und Data Operations spielen werden.

4. Unternehmen investieren in Data Discovery Tools und Datenkataloge, um Einblick in ihre Daten zu erhalten.

Data Governance hat sich in den letzten Jahren weiterentwickelt. Früher lag der Schwerpunkt auf der Sicherung von Daten und der Verwaltung von Risiken, heute geht es darum, Daten weithin verfügbar zu machen und gleichzeitig die Risiken zu minimieren. Das Konzept der Daten als Produkt war die größte Veränderung, denn es verlagert die Verantwortung auf die Teams, die die Daten produzieren, besitzen oder bereitstellen.

Unternehmen investieren in Data Discovery Tools und Datenkataloge, um Einblick in ihre Daten zu erhalten, einschließlich ihrer Quellen, Eigentümer sowie Struktur und Qualität. Bei der Data Governance geht es jetzt darum, Daten sichtbar, auffindbar, wiederverwendbar und nützlich zu machen.

5. Im Bereich der Datenanalyse hängt der abgeleitete Wert stark von der Qualität der analysierten Daten ab.

Die Beobachtbarkeit von Daten hat in den vergangenen zwei bis drei Jahren an Popularität gewonnen, was auf den verstärkten Einsatz von Datenanalysen und die Notwendigkeit von Datenqualität zurückzuführen ist. Sie bietet ein detailliertes Verständnis der Daten zur Laufzeit und hilft Unternehmen, den Datenfluss zu verfolgen und Probleme mit der Datenqualität, betriebliche Probleme und Änderungen an Datensystemen zu erkennen. Für Ingenieure und Mitarbeiter im operativen Bereich bedeutet dies eine Menge Transparenz und ein besseres Verständnis dessen, was vor sich geht.

Tools zur Datenbeobachtung wie Monte Carlo und Soda sind entstanden, um der wachsenden Nachfrage nach verbesserter Datenqualität und betrieblicher Effizienz gerecht zu werden.

Ein weiterer Aspekt sind die zunehmenden Investitionen in die Datenanalyse. Im Bereich der Datenanalyse hängt der erzielte Wert stark von der Qualität der analysierten Daten ab. Infolgedessen legen Unternehmen immer mehr Wert auf die Datenqualität. Dabei wird deutlich, dass viele Probleme mit der Datenqualität nicht auf das Fehlen genau definierter Geschäftsregeln oder Validierungsregeln für die Daten zurückzuführen sind. Stattdessen haben diese Probleme oft ihren Ursprung in operativen Unstimmigkeiten, wie z. B. Änderungen durch Einzelpersonen oder Ungenauigkeiten in den von den Anbietern erhaltenen Daten, neben anderen operativen Herausforderungen.

(ID:49836539)