Оцінювання ефективності опрацювання даних великих обсягів технологіями SPARK та HIVE
Loading...
Date
2015
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Видавництво Львівської політехніки
Abstract
Проаналізовано технології опрацювання даних великих обсягів. Розроблено
програмне рішення на кластері Hadoop та отримано результати порівняння ефективності опрацювання даних великих обсягів технологіями Spark та Hive за часовими характеристиками і форматами даних. Запропоновано підходи до реалізації програмних систем для опрацювання даних великих обсягів технологіями Spark та Hive. In this paper the contemporary technology to big data processing is analyzed. The software solution on Hadoop is developed. And the comparative results of the time efficiency in big data processing with Spark or Hive are described. The approaches to implement the software systems for big data processing with Spark or Hive are suggested.
Description
Keywords
дані великих обсягів, кластер Hadoop, технологія Spark, технологія Hive, Big Data, Hadoop, Spark, Hive
Citation
Павич Н. Я. Оцінювання ефективності опрацювання даних великих обсягів технологіями SPARK та HIVE / Н. Я. Павич, О. П. Крохмальна // Вісник Національного університету «Львівська політехніка». Серія: Комп’ютерні системи та мережі : збірник наукових праць. – 2015. – № 830. – С. 128–135. – Бібліографія: 8 назв.