Spaltenorientierte Datenspeicherung für Hadoop Apache Parquet wird Top-Level-Projekt
Die Apache Software Foundation (ASF) hat das das Open-Source-Projekt Parquet, ein spaltenorientiertes Speicherformat für das Hadoop-Ökosystem, zum Top-Level Projekt befördert.
Anbieter zum Thema

Das quelloffene Parquet fungiert als spaltenorientiertes Speichersystem für das Hadoop-Ökosystem und wurde von der Apache Software Foundation aus dem Incubator der Stiftung jetzt zum Top-Level-Projekt befördert.
Mehr Effizienz bei verschachtelten Namensräumen
Parquet versteht sich als alternatives Speicherformat für das Hadoop-Ökosystem. Parquet wurde von Grund auf für den Umgang mit verschachtelten Datenstrukturen entwickelt und nutzt den „Record-shredding-and-assembly“-Algorithmus, wie er in Dremel beschrieben ist. Die Parquet-Entwickler glauben, dass sich dieser Ansatz besser zur „Verflachung“ verschachtelte Namensräume eignet und letztendlich die Latenz beim Datenzugriff verringert.
Da das Format spaltenorientiert funktioniert, ermöglicht es sehr effiziente Kompressions- und Codierungsverfahren zur Reduzierung des Speicherbedarfs. Parquet ist sehr flexibel und funktioniert über das von der jeweiligen Big-Data-Anwendung verwendete Verarbeitungs-Framework (MapReduce, Apache Spark, Scalding, Cascading, Crunch, Kite), Datenmodell (Apache Avro, Apache Thrift, Protocol Buffers, POJOs) und Abfrage-Engine (Apache Hive, Impala, HAWQ, Apache Drill, Apache Tajo, Apache Pig, Presto, Apache Spark SQL) hinweg.
Weitere Informationen
Weitere Details zu den in Parquet verwendeten Algorithmen stellt die Apache Software Foundation in der Dokumentation sowie im „alten“ GitHub-Repositorium des Projekts zur Verfügung. Seit dem Wechsel zur Apache Software Foundation steht die aktuelle Version 1.6 allerdings im zentralen Maven-Repository der Foundation zum Herunterladen zur Verfügung. Auf Github finden sich nur noch ältere Versionen. Ebenfalls sehr aufschlussreich ist eine Video-Präsentation vom letztjährigen Hadoop-Summit.
Prominente Nutzer
(ID:43360836)