Kommentar von Thomas Lorenz, Appian Data Fabric und KI transformieren die Rolle des Data Engineers

Anbieter zum Thema

Appian Deutschland Software GmbH

Board Deutschland GmbH

INFOMOTION GmbH

QUNIS GmbH

Data Engineers gestalten die Grundlagen moderner, skalierbarer Dateninfrastrukturen. Mit dem technischen Fortschritt steigen jedoch auch die Anforderungen an diese Rolle. Unternehmen setzen vermehrt auf Cloud-Lösungen und binden KI-gestützte Analysen in ihre Geschäftsprozesse ein.

Damit Künstliche Intelligenz (KI) präzise und schnell agieren kann, bedarf es Echtzeitdaten mit hoher Qualität – eine Herausforderung, die Data Engineers zunehmend unter Druck setzt: Sie müssen Daten schneller und effizienter bereitstellen, oft bei begrenzten Ressourcen. Diese Aufgabe wird durch heterogene Datenquellen und Datensilos zusätzlich erschwert.

Data-Fabric-Architekturen bieten hier einen neuen Ansatz. Sie verknüpfen unterschiedlichste Datenquellen über eine virtuelle Schicht und ermöglichen es Data Engineers, sich verstärkt auf innovative Aufgaben zu konzentrieren, während Unternehmen ihre Wettbewerbsfähigkeit sichern. Doch Data Fabrics bedeuten nicht nur Effizienzsteigerung. Sie verändern die Rolle der Datenexperten grundlegend. Früher verantworteten Data Engineers vor allem Infrastruktur und Datenmanagement, während Data Scientists sich auf Analysen und Modellentwicklung konzentrierten. Heute verschwimmen diese Rollen zunehmend – insbesondere durch den Einsatz von KI.

Prognose von Gartner

Earth Intelligence: Milliardenmarkt für KI und Satellitendaten

Moderne Data-Fabric-Plattformen wie die von Appian vereinen Datenzugriff und integrierte KI-Funktionalitäten – von der Dokumentenverarbeitung über generative KI bis hin zur Automatisierung ganzer Entscheidungsprozesse. „AI in Process“ wird damit zur Realität und erweitert das Aufgabenspektrum der Data Engineers. Gerade jene mit Kenntnissen im Bereich Data Science profitieren von dieser Entwicklung. Das Rollenverständnis von Data Engineers wird sich heute und in Zukunft durch drei maßgebende Entwicklungen grundlegend verändern:

1. Vom Entwickler zum Innovationsmotor

Traditionell programmieren Data Engineers Schnittstellenlösungen, um Daten aus verschiedenen Quellen zu extrahieren, zu bereinigen und für die Weiterverarbeitung bereitzustellen – meist mit erheblichem manuellem Aufwand und damit verbundenen Fehler- sowie Sicherheitsrisiken. Data Fabrics reduzieren diese Komplexität durch eine vereinheitlichte Datenintegration, etwa via JDBC für Datenbanken oder HTTP für externe Schnittstellen. Das Ergebnis ist eine konsolidierte Datenbasis mit minimalem Fehlerrisiko. Gleichzeitig ermöglichen moderne Plattformen Fachanwendern nicht nur das Abrufen, sondern auch das direkte Bearbeiten von Daten – zentral und ohne Systemwechsel.

Data Fabrics werden zunehmend zum Rückgrat KI-gestützter Geschäftsprozesse. Diese Entwicklung ermöglicht es Data Engineers, sich von rein operativen Tätigkeiten zu strategischeren Aufgaben wie der Entwicklung von Analysen, KI-Modellen und Automatisierungslösungen weiterzuentwickeln – Bereiche, die bislang primär Data Scientists vorbehalten waren.

Allerdings sind nicht alle Data-Fabric-Lösungen gleich skalierbar, insbesondere im Bereich der Schreibzugriffe. Viele sind primär für Lesezugriffe optimiert und stoßen bei Schreiboperationen schnell an ihre Grenzen. Den Ansprüchen der meisten Unternehmen wird das nicht gerecht, denn für sie sind Lösungen gefragt, die nativ bis in die Millionenhöhe an Zeilen pro Datensatz skalieren.

2. Proaktives Handeln mit Echtzeit-Daten

Während Data Fabrics Datenquellen verbinden, gehen sogenannte Operational Data Fabrics noch einen Schritt weiter: Sie ermöglichen die Verarbeitung und Analyse von Daten in Echtzeit. Unternehmen können so deutlich schneller und fundierter Entscheidungen treffen, beispielsweise bei der Steuerung von Lieferketten auf Basis aktueller Bestandsdaten.

Auch im Reporting erleichtert die Technik die Arbeit: Wo früher komplexe Batch-Prozesse nötig waren, um Berichte zu generieren, übernehmen heute Operational Data Fabrics die Datenverarbeitung automatisch. Das Ergebnis: Fachabteilungen erhalten aktuelle Auswertungen und Benachrichtigungen, auf die sie direkt reagieren können.“

Datenqualität für KI

Qlik Trust Score: „Kann ich meinen Daten trauen?“

Darüber hinaus erweitert KI diesen Echtzeit-Fokus: Generative KI leitet aus strukturierten und unstrukturierten Daten automatisiert Entscheidungen, Empfehlungen oder Warnmeldungen ab. Somit können Data Engineers vorausschauende Prozesse wie Predictive Maintenance, automatisierte Workflows oder KI-basierte Qualitätskontrollen realisieren und gewinnen mehr Zeit für strategische Aufgaben wie Optimierung, Qualitätssicherung und Weiterentwicklung von Datenmodellen.

3. Mehr Sicherheit erlaubt stärkeren Fokus auf Strategie

Datensicherheit bleibt ein zentrales und anspruchsvolles Thema. Bei klassischen Architekturen wie Data Lakes oder Warehouses, in denen sensible Daten zentral gespeichert werden, können Sicherheitsvorfälle schwerwiegende Folgen haben. Die Verantwortung für den Schutz dieser Daten lag bisher oft bei den Data Engineers.

Data Fabrics verlagern einen Großteil der Sicherheitsverantwortung von einzelnen Engineers auf die Plattform selbst. Die besten Lösungen bringen Governance von Anfang an mit – Sicherheitsrichtlinien sind direkt im Datenmodell verankert und lassen sich auf verschiedenen Ebenen rollenbasiert definieren. Kontextabhängige Regeln steuern dynamisch, wer worauf zugreifen darf. So gelten einheitliche Zugriffsrichtlinien über alle Anwendungen und Workflows hinweg.

Einmal definierte Regeln greifen unabhängig vom Zugriffsweg – ob intern über Dashboards, über eine API oder durch ein externes KI-Modell. Das reduziert Sicherheitsrisiken und stellt sicher, dass Governance automatisch in allen Umgebungen eingehalten wird.

Für Data Engineers bedeutet das: weniger Aufwand bei der Sicherheitskonfiguration und mehr Zeit für die Gestaltung skalierbarer, regelkonformer Datenstrukturen.

Data Engineering und Data Science wachsen zusammen

Künftig werden Data Engineers weit mehr als reine Infrastrukturverwalter sein. Sie agieren in intelligenten, dynamischen Datenumgebungen – mit Fokus auf Self-Service-Plattformen, Governance, der Optimierung von Echtzeitdatenströmen und der Integration von KI in sämtliche Prozessstufen.

Kommentar von Daniel Esser, QUNIS

Der EU Data Act – warum Unternehmen mehr als nur juristische Compliance brauchen

Die Grenzen zwischen Data Engineering und Data Science verschwimmen damit zunehmend. Data Engineers benötigen ein tieferes Verständnis analytischer und KI-gestützter Methoden, während Data Scientists stärker in die Architektur- und Plattformgestaltung eingebunden werden. So entsteht eine neue Rolle: technisch versiert, analytisch denkend, KI-affin und nahe an den Geschäftsentscheidungen.

(ID:50496991)