Suchen

Sichere Übertragung von Big Data Anforderungen an Big Data Pipelines

| Autor / Redakteur: Oliver Schonschek / Nico Litzel

Wenn große Datenmengen übertragen werden sollen, müssen die Datenleitungen einige Voraussetzungen erfüllen. Neben der Bandbreite spielt auch die Datensicherheit eine große Rolle. Spezielle Datentransfer-Lösungen mit hoher Performance werden bereits angeboten.

Firmen zum Thema

Wenn Unternehmen an die Nutzung von Big Data denken, stehen zusätzliche Speicherkapazitäten, neue Analyse-Tools, Cloud-Services und die Suche nach Experten im Vordergrund. Nicht vergessen werden sollte aber, dass auch der sichere Transfer großer Datenmengen bewerkstelligt werden muss.
Wenn Unternehmen an die Nutzung von Big Data denken, stehen zusätzliche Speicherkapazitäten, neue Analyse-Tools, Cloud-Services und die Suche nach Experten im Vordergrund. Nicht vergessen werden sollte aber, dass auch der sichere Transfer großer Datenmengen bewerkstelligt werden muss.
(Bild: BITKOM)

Marktforscher wie Gartner haben anhand von Beispielen deutlich gemacht, welche großen Datenmengen bereits heute im Spiel sind, wenn von Big Data und Social Media gesprochen wird: So werden bei Facebook über 30 Milliarden Inhalte innerhalb eines Monats eingestellt. Auf YouTube werden mehr als zwei Milliarden Videos angesehen, innerhalb eines Tages versteht sich. Die Online-Suchen alleine bei Twitter betragen über 32 Milliarden in einem Monat. Sollen solche Mengen an Daten gespeichert und analysiert werden, kommen Big-Data-taugliche Lösungen ins Spiel. Doch Big Data Storage und Big Data Analytics sind nicht die einzigen Lösungsbereiche, die es hier zu betrachten gilt.

Lösungen für sichere, schnelle Big-Data-Übertragung gesucht

Die großen Datenmengen müssen vor der Speicherung und Analyse zuerst an die entsprechenden Verarbeitungs- und Speicherstellen übertragen werden. Dabei müssen die Daten auch geschützt werden, damit Unbefugte keine Möglichkeit haben, sie abzufangen, einzusehen und zu missbrauchen. Die Übertragung von Big Data erfordert eine entsprechend hohe Bandbreite bei dem Transfer, eine hohe Übertragungsgeschwindigkeit für Echtzeit-Anwendungen und nicht zuletzt eine hohe Übertragungssicherheit.

Zu Big-Data-Szenarien gehören deshalb in der Regel sichere Big Data Pipelines. In der Praxis stellt die Übertragung großer Datenmengen in kurzer Zeit ein deutliches Problem dar, sodass zum Beispiel Konzepte wie Fog Computing Einzug halten, wobei die Menge der zu übertragenden Daten verringert wird.

Spezielle Big Data Pipelines sind bereits verfügbar

Verschiedene Anbieter haben sich aber auch bereits der Herausforderung angenommen, große Datenmengen von mehreren Gigabits pro Sekunde (Gbps) zum Beispiel zwischen einer Cloud und dem Rechenzentrum des Anwenders zu bewegen. Ein Beispiel ist die IBM-Lösung Aspera On Demand, die es für den schnellen Transfer großer Datenmengen für IBM SoftLayer, Amazon Web Services, Google Cloud und Microsoft Azure gibt. Basis ist die Übertragungstechnologie FASP, die deutlich höhere Übertragungsgeschwindigkeiten ermöglichen kann als FTP oder HTTP. FASP sieht zudem die Verschlüsselung der Datenübertragung [PDF, Englisch] sowie die Möglichkeit zur verschlüsselten Speicherung an den Endpunkten des Datentransfers vor.

Große Datenvolumen verschlüsselt zu übertragen, steht auch im Fokus der MFT-Lösungen (Managed File Transfer) von Cleo. Die Übertragung von den Datenquellen nach Hadoop gehört zu den Funktionen des Talend Open Studio for Big Data. Datentransfers hin zu Amazon S3 oder Hadoop unterstützt die Axway 5 Suite. Axway SecureTransport ist dabei die Gateway-Lösung für Managed File Transfer über verschiedene Protokolle. Zur Übertragungssicherheit gehört nicht nur die Verschlüsselung, sondern auch die Möglichkeit, Anti-Viren-Lösungen und DLP-Lösungen (Data Loss Prevention) zu integrieren.

Signiant Flight ist eine SaaS-Lösung, verspricht schnelle Datentransfers und unterstützt unter anderem die Übertragung großer Datenmengen nach Amazon S3, Microsoft Azure und Google Cloud. Für die Sicherheit dieser Big-Data-Datenübertragung sorgt unter anderem eine Ende-zu-Ende-Verschlüsselung. Den Transfer von Big Data über WAN (Wide Area Network) mit entsprechender Übertragungssicherheit leistet auch Cloud FastPath von Tervela. Neben AWS, Google Cloud, IBM SoftLayer und Microsoft Azure werden zum Beispiel Box, Microsoft Office 365 und Dropbox unterstützt. FTP-Stream von Maytech ist ein weiteres Beispiel für einen sicheren Big-Data-Transfer mit Ende-zu-Ende-Verschlüsselung (HTTPS, SFTP).

Transfergeschwindigkeit, Sicherheit und Schnittstellen beachten

Bereits diese Beispiele zeigen die Vielfalt der Lösungen, die sich für den Transfer großer Datenmengen anbieten. Welche genau in Betracht kommt, sollten Anwenderunternehmen insbesondere von der benötigten und angebotenen Geschwindigkeit im Vergleich zur herkömmlichen Datenübertragung abhängig machen, aber auch von der integrierten Sicherheit, die sich nicht spürbar auf die Performance auswirken sollte, und nicht zuletzt von den unterstützten Schnittstellen hin zu Cloud-Plattformen, Cloud-Applikationen und Big-Data-Umgebungen. Viele der Transfer-Lösungen bieten Testzugänge oder zumindest Demos, die sich Interessenten nicht entgehen lassen sollten.

(ID:43518647)