Täglich werden gigantische Mengen an Daten generiert. Das Empfangen, Verarbeiten und Analysieren dieser Informationen erfordert ständig neue Technologien und Speicherformate. Mit anderen Worten – die Verwaltung großer Datenmengen ist für Tech-Unternehmen eine komplexe Herausforderung.
Der Autor: Manuel de Francisco ist Senior Director Data Science & Analytics bei Vinted, einem C2C-Marktplatz für Secondhandmode.
(Bild: Vinted)
In Zeiten, in denen sich technologische Tools schnell weiterentwickeln und sich Lösungen zur Analyse von Big Data ständig optimiert werden, ist es entscheidend, dass sich vor allem Tech-Unternehmen fortlaufend über die neuesten Entwicklungen informieren und überprüfen, inwieweit Anpassungen bezüglich ihrer Strategie vorgenommen werden müssen. Nur so können sie sicherstellen, sowohl innovativ als auch konkurrenzfähig zu bleiben.
Vermutlich jeder Experte und jede Expertin würde dem zustimmen: Effizienz im Bereich Data Science & Analytics ist essentieller Baustein, um am Markt relevant zu bleiben. Um sich innerhalb der eigenen Branche von den Wettbewerbern abzuheben, müssen sich Tech-Unternehmen daher entscheiden, auf welche Bereiche sie sich fokussieren wollen.
Welche konkreten Bereiche im Bereich Data Science & Analytics sind also für ein Unternehmen von zentraler Bedeutung, um die Verarbeitung großer Datenmengen so effizient wie möglich zu gestalten und so letztendlich auch Wachstum und Umsatz zu steigern?
Hubs of excellence – Effizienz mithilfe designierten Teams erreichen
Der beste Weg, um sich in der schnelllebigen Data-Science-&-Analytics-Branche auf dem Laufenden zu halten, ist, neue Technologien mit bereits vorhandenem Fachwissen zu kombinieren. Der Schlüssel zum Erfolg liegt einerseits in der Unternehmensstruktur und andererseits dem Potenzial der Mitarbeiterinnen und Mitarbeiter, das oftmals nicht vollständig ausgeschöpft wird. Neue Technologien bieten zwar fortschrittliche Lösungen, sie fordern allerdings auch neue Standards der Expertise. Unternehmen, die nicht in die Weiterbildung und das Fachwissen ihrer Mitarbeiter investieren, werden auf Dauer nicht mithalten können. Es ist daher an der Zeit, in die Data Science & Analytics Teams zu investieren – die dadurch erzielten Veränderungen werden den größten Effekt erzielen.
Während eine effektive Unternehmensstruktur also nicht zu unterschätzen ist, sollten wir dennoch auch einen Blick auf die Tools und Frameworks werfen, die ich empfehlen würde, um im dynamischen Feld von Data Science & Analytics weiterhin an der Spitze zu bleiben.
Die Zukunft heißt Data Mesh und setzt auf Cloud-basierte Lösungen
Durch die Implementierung eines Frameworks wie Data Mesh kann das Unternehmen ein hohes Maß an Agilität erreichen – vorausgesetzt, die Infrastruktur wird umfassend implementiert. Einer der Hauptvorteile ist die Tatsache, dass Data Mesh einen höheren Dezentralisierungsgrad vorweist als andere Strategien wie beispielsweise das traditionelle Data Warehousing. Das gibt den einzelnen Teams mehr Kontrolle über die Erfassung und Verarbeitung bestimmter Daten und ermöglicht ihnen, unabhängiger zu arbeiten und schneller eigene Entscheidungen zu treffen. So erhöht Data Mesh automatisch die Verantwortung jedes einzelnen Teammitglieds.
Insbesondere in Zeiten des Fachkräftemangels, der uns für eine noch unabsehbare Zeit begleiten wird, erhöht dieses Framework die Attraktivität eines Unternehmens für potenzielle Mitarbeiterinnen und Mitarbeiter. Moderne Datenarchitektur-Frameworks verlangen modernes Denken, und ich würde jedem empfehlen, der seine Data Science & Analytics Teams auf das nächste Level heben möchte Data Mesh zu implementieren. Dabei gilt es jedoch zu beachten: Je nach Branche, Geschäftsmodell, Produkttyp und Unternehmensstrategie gibt es viele verschiedene Variationen von Data Mesh.
Doch nicht nur das Framework muss evaluiert werden, sondern auch die Tools, mit denen das Team täglich arbeitet. Die Implementierung von Data Mesh erhöht zwar die Effizienz der Datenverarbeitung, aber es nützt nichts, wenn der Prozess aufgrund veralteter Technologien viel länger dauert, als theoretisch möglich wäre. Daraus wird deutlich, dass die Umstellung auf eine Cloud-basierte Datenspeicherung und -verarbeitung früher als später erforderlich ist.
Experimentation und Machine Learning als Priorität
Experimentation und Machine Learning sind zwei elementare Komponente unserer täglichen Arbeit. Aber wie sieht der beste Weg aus, um diese entscheidenden Aufgaben im beschriebenen Kontext der Arbeit mit dem Data Mesh Framework auszuführen? Aus meiner Erfahrung würde ich folgende Vorgehensweise empfehlen: Es ist wichtig, sicherzustellen, dass die Machine-Learning- und Experimentation-Funktionen innerhalb der Data Mesh Infrastruktur so konzipiert sind, dass sie gleichzeitig zwei Rollen einnehmen: Datenkonsument und Datenproduzent.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Datenkonsument bedeutet, dass Machine-Learning-Modelle durch die Verbindung und Extraktion von Daten erstellt werden können, die als Produkt aus verschiedenen Domänen bereitgestellt werden. Wenn die einzelnen Bereiche den für alle geltende Grundsätzen von Data Mesh folgen, sollten die Daten eine hohe Qualität aufweisen, einfach zu verknüpfen und gut dokumentiert sein. Das ist ein Schlüsselelement, das den Lebenszyklus für maschinelles Lernen beschleunigt, da innerhalb veralteter Strukturen Datenerfassung, Datenbereinigung und Datenverarbeitung von Data Scientists als zeitaufwendig und teilweise sogar frustrierend beschrieben werden.
Der zweite Teil besteht darin, das Machine Learning-System als Datenproduzent zu definieren. Ein praktisches Beispiel dafür ist die Sicherstellung, dass die Machine-Learning-Algorithmen ihre Ergebnisse zurück in das System schreiben, und dass diese automatisch und in Echtzeit von anderen genutzt werden können. Auf diese Weise können komplexe hybride Modelle erstellt werden, die Bewertungen, Meldungen und Ergebnisse von Machine-Learning-Modellen zusammenfassen, die von anderen Bereichen deiner Organisation initiiert wurden.
Das Gefühl von Eigenverantwortung ist entscheidend
Wie bereits erwähnt, sind für neue Technologien spezifische Fachkenntnisse auf Seiten der Mitarbeitenden erforderlich. Die Erfolgsquote hängt maßgeblich davon ab, wie das Team organisiert ist.
Vor allem schnell skalierende Unternehmen müssen darauf achten, ihre Teamstrukturen differenzierter zu organisieren und spezifische Verantwortlichkeiten so zuzuweisen, dass sie auf explizite Anwendungsfälle in der Datennutzung zugeschnitten sind. Es gibt keine allgemeingültige Lösung, aber erfahrungsgemäß haben wir festgestellt, dass die Aufteilung der Mitarbeitenden in drei verschiedene Rollen – Decision Scientist, Data Scientist und Analytics Engineer – es vereinfacht, individuelle Verantwortung und Zuständigkeiten während des Prozesses zuzuweisen. Ein Decision Scientist würde zum Beispiel eng mit dem Produktmanager zusammenarbeiten und deshalb sich vor allem mit dem Business-Aspekt befassen, während der Data Scientist Modelle für Machine Learning entwickelt und in die Produktion implementieren würde. Der Analytics Engineer ist für die Erstellung von Pipelines verantwortlich und stellt sicher, dass die Datenqualität zufriedenstellend und für die Data und Decision Scientists einsatzbereit ist.
Diese Rollen schaffen ein größeres Bewusstsein für Verantwortung und gleichzeitig ein Gefühl von Autonomie. So sind die Teams an keine starre Hierarchie gebunden. Die Individuen haben die Möglichkeit, sich weiterzuentwickeln – genauso wie die Technologie selbst.
Wachsen ohne Wachstumsschmerzen
Wie wir sehen können, ist der Aufbau einer soliden Teamstruktur und effizienter Arbeitsabläufe ebenso wichtig wie die Kenntnis der technischen Aspekte, um den vollen Nutzen aus Big Data zu schöpfen. Das Ziel sollte sein, weiter zu wachsen, ohne dass uns die Herausforderungen, vor die uns Big Data stellt, über den Kopf wachsen. Letztlich geht es darum, eine kontinuierliche Verbesserung und Anpassung der laufenden Prozesse anzustreben. Denn eines steht fest: Die Tech-Branche schläft nicht und schreitet unaufhaltsam voran.