Perbandingan Kinerja Komputasi Hadoop dan Spark untuk Memprediksi Cuaca (Studi Kasus : Storm Event Database)
Article Sidebar
Main Article Content
Abstract
Perkembangan teknologi telah mengakibatkan pertumbuhan data yang semakin cepat dan besar setiap waktunya. Hal tersebut disebabkan oleh banyaknya sumber data seperti mesin pencari, RFID, catatan transaksi digital, arsip video dan foto, user generated content, internet of things, penelitian ilmiah di berbagai bidang seperti genomika, meteorologi, astronomi, fisika, dll. Selain itu, data - data tersebut memiliki karakteristik yang unik antara satu dengan lainnya, hal ini yang menyebabkan tidak dapat diproses oleh teknologi basis data konvensional.
Oleh karena itu, dikembangkan beragam framework komputasi terdistribusi seperti Apache Hadoop dan Apache Spark yang memungkinkan untuk memproses data secara terdistribusi dengan menggunakan gugus komputer.Adanya ragam framework komputasi terdistribusi, sehingga diperlukan sebuah pengujian untuk mengetahui kinerja komputasi keduanya. Pengujian dilakukan dengan memproses dataset dengan beragam ukuran dan dalam gugus komputer dengan jumlah node yang berbeda. Dari semua hasil pengujian, Apache Hadoop memerlukan waktu yang lebih sedikit dibandingkan dengan Apache Spark. Hal tersebut terjadi karena nilai throughput dan throughput/node Apache Hadoop lebih tinggi daripada Apache Spark.
Downloads
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
References
R. Han, L. Xiaoyi, and X. Jiangtao, “On Big Data Benchmarking,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), vol. 8807, 2014, pp. 3–18.
S. S. Owais and N. S. Hussein, “Extract Five Categories CPIVW from the 9 V’s Characteristics of the Big Data,” Int. J. Adv. Comput. Sci. Appl., vol. 7, no. 3, pp. 254–258, 2016.
R. Kune, P. Konugurthi, A. Agarwal, C. R. Rao, and R. Buyya, “The Anatomy of Big Data Computing,” CoRR, vol. abs/1509.0, 2015.
A. G. Shoro and T. R. Soomro, “Big Data Analysis: Apache Spark Perspective,” Glob. J. Comput. Sci. Technol., vol. 15, no. 1, 2015.
V. B. Bobade, “Survey Paper on Big Data and Hadoop,” Int. Res. J. Eng. Technol., vol. 3, no. 1, pp. 861–863, 2016.
S. Gopalani and R. Arora, “Comparing Apache Spark and Map Reduce with Performance Analysis using K-Means,” Int. J. Comput. Appl., vol. 113, no. 1, pp. 8–11, Mar. 2015.
E. Gilheany, “Processing time of TFIDF and Naive Bayes on Spark 2.0, Hadoop 2.6 and Hadoop 2.7: Which Tool Is More Efficient?,” Dublin, National College of Ireland, 2016.
L. Liu, “Performance Comparison by Running Benchmarks on Hadoop, Spark, and Hamr,” University of Delaware, 2015.
Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553, pp. 436–444, May 2015.
C. . Shabariram, K. E. Kannammal, and T. Manojpraphakar, “Rainfall analysis and rainstorm prediction using MapReduce Framework,” 2016 Int. Conf. Comput. Commun. Informatics, vol. 5, no. 11, pp. 1–4, Jan. 2016.
Doreswamy; and I. Gad, “Big Data Techniques : Hadoop and Map Reduce for Weather Forecasting,” Int. J. Latest Trends Eng. Technol. Spec., pp. 194–199, 2016.