Оцінювання ефективності опрацювання даних великих обсягів технологіями SPARK та HIVE

Abstract

Проаналізовано технології опрацювання даних великих обсягів. Розроблено програмне рішення на кластері Hadoop та отримано результати порівняння ефективності опрацювання даних великих обсягів технологіями Spark та Hive за часовими характеристиками і форматами даних. Запропоновано підходи до реалізації програмних систем для опрацювання даних великих обсягів технологіями Spark та Hive. In this paper the contemporary technology to big data processing is analyzed. The software solution on Hadoop is developed. And the comparative results of the time efficiency in big data processing with Spark or Hive are described. The approaches to implement the software systems for big data processing with Spark or Hive are suggested.