A comparison of HDFS compact data formats: Avro versus Parquet
Abstract
In this paper, file formats like Avro and Parquet are compared with text formats to evaluate the performance of the data queries. Different data query patterns have been evaluated. Cloudera’s open-source Apache Hadoop distribution CDH 5.4 has been chosen for the experiments presented in this article. The results show that compact data formats (Avro and Parquet) take up less storage space when compared with plain text data formats because of binary data format and compression advantage. Furthermore, data queries from the column based data format Parquet are faster when compared with text data formats and Avro.Article in English.
HDFS glaustųjų duomenų formatų palyginimas: Avro prieš Parquet Santrauka Straipsnyje vertinamas duomenų užklausų našumas lyginant Avro ir Parguet failų formatus su teksto failų formatu. Tyrimuose taikytos įvairios duomenų užklausų formos, naudota Cloudera atvirojo kodo Apache Hadoop CDH 5.4 versijos programinė įranga. Tyrimo rezultatai patvirtina, kad glaustieji duomenų formatai (Avro ir Parguet) dėl galimybės įterpti dvejetainį kodą ir naudoti glaudą taupo atmintį. Parodoma, kad duomenų užklausos įvykdomos sparčiau naudojant Parquet nei Avro ar teksto failų formatus.Reikšminiai žodžiai: didieji duomenys, Hadoop, HDFS, Hive, Avro, Parquet.
Keywords:
Big Data, Hadoop, HDFS, Hive, Avro, ParquetHow to Cite
Plase, D., Niedrite, L., & Taranovs, R. (2017). A comparison of HDFS compact data formats: Avro versus Parquet. Mokslas – Lietuvos Ateitis Science – Future of Lithuania, 9(3), 267-276. https://doi.org/10.3846/mla.2017.1033
Share
License
Copyright (c) 2017 The Author(s). Published by Vilnius Gediminas Technical University.
This work is licensed under a Creative Commons Attribution 4.0 International License.
View article in other formats
Published
2017-07-04
Issue
Section
Article
Copyright
Copyright (c) 2017 The Author(s). Published by Vilnius Gediminas Technical University.
License
This work is licensed under a Creative Commons Attribution 4.0 International License.
How to Cite
Plase, D., Niedrite, L., & Taranovs, R. (2017). A comparison of HDFS compact data formats: Avro versus Parquet. Mokslas – Lietuvos Ateitis Science – Future of Lithuania, 9(3), 267-276. https://doi.org/10.3846/mla.2017.1033