Die kurze Geschichte von Hadoop

Vielleicht wird es eines Tages Internet-Märchenbücher geben. Dann wird dort sicherlich die Geschichte vom kleinen Elefanten Hadoop zu lesen sein, der extrem neugierig ist und innerhalb kürzester Zeit in jedem Heuhaufen die Stecknadel findet.

Douglass Read Cuttings Sohn hatte seinem Spielzeugelefanten den Namen Hadoop gegeben, ist im Internet zu lesen. Doug Cutting selbst war zu diesem Zeitpunkt Entwickler von Open-Source-Suchtechnik.

Von ihm stammt der Suchindizierer Lucene und die nun weithin bekannte Hadoop-Plattform. Die einfache Aussprache und die sehr gute „Googlebarkeit“ überzeugten ihn von der Wortschöpfung seines Sohnes.

Doug Cuttings

Cuttings ist eine zentrale Figur in der Open-Source-Softwarebewegung, der auch die Bedeutung des von den Google Labs veröffentlichten MapReduce-Algorithmus erkannte und darum herum das Hadoop-System entwickelte. Hadoop rechnet mit einem großen Cluster von x86-Standard-Hardware.

Whitepaper Empfehlung

Datensilos auflösen – Geschäftsziele erreichen

Verschiedenste Daten miteinander verbinden

Immer mehr Unternehmen erkennen den Wert datengetriebener, cloudbasierter Lösungen. Doch eine erfolgreiche Implementierung einer solchen Lösung geht meist mit einer Reihe neuer Herausforderungen einher. lesen

Damals, so um die Jahreswende 2003/2004 arbeitete der Suchspezialist noch bei Yahoo, wechselte dann aber zu Cloudera und wurde 2010 zum Vorsitzenden der Apache Software Foundation gewählt.

Jay Parikh

Hadoop ist natürlich nicht die Leistung eines einzelnen Menschen. Verständlicherweise hat neben Google auch Facebook viele Finger und auch viele Inder um den Entwicklungschef Jay Parikh ins Entwicklerspiel gebracht, die der Hadoop-Plattform viel Feinschliff verpassten und auch viele grobe Schwächen beseitigten, die erst den professionellen Einsatz ermöglichten.

Die Facebook-Entwickler lösten die Fesseln des an ein Rechenzentrum gebundenen Hadoop-Clusters auf, so dass die Rechnerinfrastruktur heute auch in global verteilten Rechenzentren arbeitsfähig ist. Weitere Entwicklungen durch Facebook sind Hive und Presto.

Google Basics

Mittels Hive kann man die Hadoop-Daten sehr einfach abfragen. Und Presto ist ein rasant arbeitendes Abfrage-Werkzeug, das fast in Echtzeit 250 Petabyte Daten durchsuchen kann. Das funktioniert selbstredend nur mit einer dazu passenden Datenbank.

Bei Facebook hat man Googles Vorarbeiten der Entwicklungsbeschreibungen zur Datenbanksoftware BigTable benutzt, um mit HBase eine eigene massiv-parallele Datenbank zu konstruieren, die auch von Netflix und Digg benutzt wird.

HBase ist keine relationale Datenbankmaschine, sondern eine Datenbank mit dokumentenorientierten Baumstrukturen, die aktuell als „Not only SQL Database“ (NoSQL-Datenbank) bekannt werden. Die Datenbanktabellen mit Spalten und Reihen dominieren hier nicht mehr, ebenso wenig wie es noch Binary Large Objekts gibt, da jedes Datum indiziert ist.