Täglich schwillt die Flut an Informationen, die aus Mobilgeräten, dem Internet, dem Edge und den Transaktionssystemen in die firmeneigene IT-Infrastruktur fließen, immer weiter an. Eines der Kennzeichen von Big Data ist die Unstrukturiertheit der Daten, die Unberechenbarkeit des Umfangs und der Häufigkeit ihres Auftretens sowie die meist mangelhafte Datenqualität der verschiedenartigen Informationstypen. Unser neues, kostenloses eBook widmet sich den wichtigen Fragen rund ums Big-Data-Speichern.
Wie speichert ein Unternehmen Big Data? Unser neues eBook „Storage-Systeme für große Datenmengen“ erläutert in drei Kapiteln, wie’s funktioniert.
(Bild: Vogel IT-Medien)
In den vergangenen sechs Jahren ist aufgrund dieser Herausforderung ein Paradigmenwechsel eingetreten, was die Art der Datenverarbeitung von Big Data sowie ihre Speicherung in Storage-Systemen betrifft. Relationale Datenbanksysteme (RDBMS) sind in vielen Bereichen von quelloffenen Datenbanksystemen im Graph- und Data-Lake-Bereich abgelöst worden. Streaming und In-Memory-Datenverarbeitung haben den Bedarf an Netz- und Hauptspeicherkapazität in die Höhe schnellen lassen.
Die Frage stellte sich bislang, ob die vorhandenen Systeme im Storage-Bereich noch zu vertretbaren Kosten erweitert werden können oder ob die nötigen Kapazitäten nicht günstiger bei einem Cloud-Dienstleister zu mieten sind. Schließlich gehört der Betrieb einer IT-Infrastruktur nicht gerade zum Kerngeschäft eines Unternehmens. Diese Frage hat der Kunde längst entschieden: Er will Cloud-Kapazitäten, und zwar schnell, aber auch zu einem vertretbaren Preis. Der langfristige Trend zeigt: Die Kunden wollen das Beste aus beiden Welten, und das ist die Hybrid- beziehungsweise Multi-Cloud.
Big Data werden zunehmend in Data Lakes gespeichert. Dafür gibt es erstens quelloffene Software wie Hadoop und Spark, aber auch kostengünstige Subskriptionen wie AWS S3. Es genügt jedoch nicht, einfach die eintreffenden Datenströme in den Data Lake zu kippen: Dann würde daraus schnell ein „Data Swamp“. Vielmehr muss der Data Lake automatisiert bewirtschaftet werden, um einen Mehrwert zur analytischen Wertschöpfung beitragen zu können. Erfolgt dies nicht, wird aus dem „Kapital“ Data Lake in kürzester Zeit ein Verlustposten. Denn wie alle Speichereinheiten gibt es auch die für den Data Lake nötigen Storage-Kapazitäten nicht zum Nulltarif.
Kapitel 2: Verfahren und Technologien
Big Data und HPC/KI sind lediglich zwei Arten von Workloads, mit denen Storage-Systeme zurechtkommen müssen. Der Interessent fragt sich: Wie sollte die Storage-Infrastruktur aussehen, die es erlaubt, Volumina im Petabyte-Bereich effizient zu speichern und zu verwalten?
Kapitel 3: Hersteller und Lösungen
Der Markt für Big-Data-Storage wird von einer ganzen Reihe von Herstellern abgedeckt. Sie bieten teils Appliances für den Betrieb im lokalen Rechenzentrum an, teils handelt es sich um Cloud Provider. Von diesen sind Amazon Web Services (AWS), MS Azure und Google Cloud Platform (GCP) diejenigen mit den größten Marktanteilen und dem breitesten Angebot. Für den Einsatz in der Hybrid-Cloud positionieren sich beide Seiten, denn auch die Hyperscaler bieten Appliances an.
E-Book zum Thema
Herausforderungen für den Speicher: Big Data
Storage-Systeme für große Datenmengen
eBook „Storage-Systeme für große Datenmengen“
(Bildquelle: Storage-Insider)
Bei der Speicherung von Big Data wird zunehmend auf Data Lakes zurückgegriffen, doch genügt es nicht, die eintreffenden Datenströme einfach dorthinein zu kippen – dann würde daraus schnell ein „Data Swamp“. Lesen Sie im eBook, wie Sie optimal mit großen Datenbergen umgehen können und wie die entsprechenden Daten optimal für die Bearbeitung bereitgestellt werden können.
Die Themen im Überblick:
Big Data und Storage-Systeme
Aus Big Data Wert schöpfen
Wohin mit den unstrukturierten Daten?
Von der lokalen Appliance über Cloud Provider bis in die Hybrid Cloud
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://support.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.