Womit sich Start-ups heute beschäftigen – MinIO

Objekte für die Zettabyte-Ära

| Autor / Redakteur: Kriemhilde Klippstätter* / Dr. Jürgen Ehneß

Objektspeicher: die Storage-Lösung für große Datenmengen.
Objektspeicher: die Storage-Lösung für große Datenmengen. (Bild: © zeynurbabayev - stock.adobe.com)

MinIO ist nach Angaben des gleichnamigen Herstellers „ein hochleistungsfähiger, verteilter Objektspeicher-Server für datenintensive Anwendungen wie Deep und Machine Learning, Künstliche Intelligenz und Big Data“. Erstellt wurde das Open-Source-Programm (unter der Apache-Lizenz 2.0) mit der Programmiersprache Go.

Die MinIO Inc. in Palo Alto wurde im November 2014 von Anand Babu Periasamy, Garima Kapoor und Harshavardhana mit dem Ziel gegründet, dem Wachstum unstrukturierter Daten Herr zu werden. Das Team um Schnellsprecher Periasamy, der wahrscheinlich noch fixer denkt, verbreitete bei der Präsentation vor Ort ein Klima von ungezwungener Freundlichkeit, gepaart mit hoher Kompetenz. So hatte die Firma zeitweise zwar keinen CEO, aber gleich drei CTOs – selbst für Start-ups aus der Open-Source-Szene ungewöhnlich. Erst kürzlich wurde die Schreibweise des Firmennamens an die Sprechweise angepasst: von Minio in MinIO.

MinIO-Architektur.
MinIO-Architektur. (Bild: MinIO)

Die erste Entwicklung von MinIO im Jahr 2015 hatte Objektspeicherlösungen für Multi-Cloud-Umgebungen zum Ziel. Zum Jahresende 2015 kündigte das Start-up den überarbeiteten MinIO-Client sowie die Möglichkeit an, nahtlos zwischen dem Posix-Filesystem und verschiedenen Cloud-Implementierungen migrieren zu können.

Zwei Jahre später stellte die Open-Source-Firma ihre Lösung für den Aufbau einer privaten Cloud vor, der zudem recht einfach zu bewerkstelligen ist: Man teilt der MinIO-Software lediglich mit, welche Speichergeräte in die Cloud-Umgebung aufzunehmen sind, und schon kann man diese als große Cloud-Umgebung nutzen. Eine der Vorzüge dabei ist, die bekannten Werkzeuge der Amazon-Cloud nutzen zu können, da das MinIO-API kompatibel zu Amazon S3 v2/v4 ist. Diese Kompatibilität zu S3 sorgte damals schon für Gerüchte, dass der IT-Gigant das kleine Start-up übernehmen könnte.

Die MinIO-Architektur und -Funktionen

Die MinIO-Suite für Objekt-Storage besteht aus Server, Gateway, Client und Software-Entwicklungs-Kits (SDKs). „Heutige Unternehmen lagern ihre Daten überall auf der Welt. Wir erlauben es ihnen, die verschiedenen Instanzen zu kombinieren und einen unified global namespace zu bilden“, beschreibt der Firmengründer die Idee. Konkret können bis zu 32 MinIO-Server zu einem Distributed-Mode-Set und mehrere Distributed-Mode-Sets zu einer MinIO-Server-Federation kombiniert werden. Dieser Ansatz soll bewirken, dass ein Objektspeicher für große, geografisch verteilte Unternehmen massiv skaliert werden kann, während gleichzeitig die Möglichkeit erhalten bleibt, eine Vielzahl von Anwendungen (S3 Select, MinSQL, Spark, Hive, Presto, Tensorflow, H20) von einer einzigen Konsole aus zu verwalten.

Da viele Unternehmen schon eine Multi-Cloud-Strategie (inklusive private Cloud) verfolgen, sollten die Bare-Metal-Virtualisierungscontainer und Public-Cloud-Services (einschließlich diejenigen von Nicht-S3-Anbietern wie Google, Microsoft und Alibaba) identisch aussehen. „Während die moderne Anwendung sehr portabel ist, sind es die Daten, die diese Anwendungen betreiben, nicht“, verdeutlicht Periasamy das Hauptproblem. „Die Bereitstellung dieser Daten, unabhängig davon, wo sie sich befinden, ist die größte Herausforderung, der sich MinIO stellt“, gesteht er. MinIO läuft auf Bare Metal, Netzwerkspeicher und jeder Public Cloud. Dazu wurden Gateways entwickelt: MinIO-Cloud- und -NAS-Gateway. Noch wichtiger ist für ihn, dass MinIO über die Amazon-S3-API sicherstellt, dass diese Daten aus Anwendungs- und Verwaltungssicht genau gleich aussehen.

Die nächste Fabric-Revolution braucht noch zehn Jahre

NVMe – ein Protokoll will Daten schneller ins Ziel bringen

Die nächste Fabric-Revolution braucht noch zehn Jahre

26.03.19 - Man fragt sich, wie man noch vor Kurzem eine Office-Anwendung ohne Millionen I/Os betreiben konnte. Damals galten noch Antwortzeiten aus dem Backoffice von einer Sekunde als richtig performant. Heute reichen Latenzzeiten von weniger als 0,1 Millisekunden gerade noch aus, damit der Anwender nicht sofort zum Kaffeeautomaten läuft. Ein kritischer Blick auf eine Speicherrevolution. lesen

MinIO erlaubt es sogar, die bestehende Speicherinfrastruktur zu Amazon S3 kompatibel zu machen. Damit können Unternehmen ihre Dateninfrastruktur angeblich wirklich vereinheitlichen – von der Datei bis zum Block, die alle als Objekte erscheinen, die über die Amazon-S3-API zugänglich sind, ohne dass eine Migration erforderlich ist. Die Objekte dürfen dabei bis zu fünf Terabyte groß sein.

Weitere Funktionen der MinIO-Suite sind die Verwendung von Reed-Solomon-Erasure-Code, Bitrot-Protection gegen heimliche Datenkorruption auf Festplatten sowie ausgefeilte Verschlüsselungstechniken während des Datentransfers und der Datenlagerung. WORM-Bedingungen werden ebenfalls erreicht. Dazu kommen noch Identity-Management und Continous Replication.

2019: MinIO spezialisiert sich auf Objektspeicher für Künstliche Intelligenz

Die Konzentration auf die Speicherung von Objektdaten für datenintensive Aufgaben wie Analyse und Künstliche Intelligenz ist Schritt Nummer drei der Entwicklungen des Start-up-Unternehmens. Periasamy begründet das vor allem damit, dass sich die meisten Anbieter von Objektspeicherlösungen mit anderen Speicheraufgaben wie Desaster Recovery, Backup und Archivierung beschäftigen. Allerdings bediene die MinIO-Lösung auch diese Anforderungen. Aber gerade für Anwender, die ihre großen Datenmengen verarbeiten und nutzen wollen und müssen, sieht er die Lösung seiner Firma als ziemlich einzigartig an – dank Objektspeicherung und S3-API.

Anand Babu Periasamy, Gründer und Sprecher von MinIO.
Anand Babu Periasamy, Gründer und Sprecher von MinIO. (Bild: MinIO)

„MinIO konkurriert mit Hadoop HDFS, skaliert aber viel besser“, behauptet Periasamy. Hadoop verfügt hauptsächlich über zwei Eigenschaften: ein verteiltes File-System und ein Verarbeitungs-Framework (Mapreduce), mit dem sich alle Arten von Daten parallel verarbeiten lassen. „Das war sinnvoll in den vergangenen Jahren, aber jetzt ist mit Apache Spark ein neues Framework am Markt. Der Hauptunterschied besteht darin, dass es für das Arbeiten mit Daten im Hauptspeicher und nicht auf der Festplatte optimiert wurde“, erklärt Periasamy. Natürlich lassen sich so Analyseaufgaben sehr viel schneller erledigen.

Im April 2018 hat Amazon „S3 Select“ für alle Kunden verfügbar gemacht. „S3 Select ist eine neue Amazon-S3-Funktion, mit der nur die für ein Objekt benötigten Daten abgerufen werden. Hierdurch werden die Leistung erheblich gesteigert und die Kosten für Anwendungen gesenkt, die Daten aus S3 abrufen müssen“, beschreibt Amazon die neue Funktionalität.

MinIO hat diese beiden Techniken – S3 Select und das Spark-Framework – kombiniert und unter Apache-Lizenz 2.0 verfügbar gemacht. Die Lösung kann unter der Bezeichnung „Spark Select“ bei Github und Spark packages geladen werden. Github ist weltweit die wohl größte Plattform für Software-Entwickler, die Projekte auf eigenen Servern bereitstellt.

Das neue Paradigma für Storage-Verbindungen

NVMe over Fabric

Das neue Paradigma für Storage-Verbindungen

27.02.19 - NMVe over Fabric verspricht höhere Geschwindigkeit, Zuverlässigkeit und Skalierbarkeit beim Datenaustauch zwischen Server und Storage. 2019 wird diese neue Technologie sicherlich ein Trendthema. lesen

Periasamy fasst zusammen: „All dies unterstreicht die zunehmende Bedeutung, die die Objektspeicherung im Unternehmen sowohl in der Public als auch in der Private Cloud hat.“ Es wird auch zwischen Lösungen für Legacy Object Storage und Cloud Native Object Storage unterschieden. Letztlich bedeutet das für ihn: „Amazon für die Public Cloud und MinIO für die Private Cloud.“ Als Referenz-Hardware empfiehlt die Firma den Einsatz der Server von Dell (R740xd), Lenovo (SR650), Cisco (UCS C240) und HPE Proliant (DL380).

Wie verdient ein Open-Source-Start-up Geld?

Die MinIO Inc. in Palo Alto hat Geld von Investoren – Dell, Intel, General Catalyst, Nexus, AME Cloud Ventures und Index Ventures – eingesammelt und in einer ersten Runde („Series A“) 23,35 Millionen US-Dollar erhalten. Laut Angaben von Periasamy war die Hälfte davon zumindest im vergangenen Jahr noch auf dem Firmenkonto. Geld verdient MinIO mit „Subnet“, seinem „Subscription Network for production infrastructure“. Kunden erhalten damit nicht nur die ohnehin kostenlose Software, sondern umfangreichen Service inklusive Remote-Monitoring und Rund-um-die-Uhr-Support. Dabei versucht das Start-up, große Kunden zu gewinnen, und streicht nach Aussage von Periasamy dann schon mal Schecks in Millionenhöhe ein.

Das verwundert nicht, denn die MinIO-Lösung zieht immer mehr Entwickler in ihren Bann. So stiegen die Docker-Pulls von 29,2 Millionen im Jahr 2017 auf 166 Millionen ein Jahr später. In der Entwicklergemeinschaft Github sammelte das Start-up als Auszeichnung bislang 15.256 Sterne ein. Man darf davon ausgehen, dass MinIO weiter leuchten wird.

*Kriemhilde Klippstätter ist freie Autorin und Systemischer Coach (SE) in München.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45830779 / Infrastruktur)