Обробка та стрімінг даних з Twitter

Abstract

Бакалаврська кваліфікаційна робота виконана студенткою групи КН-410 Нагірним Святославом Богдановичем. Тема «Обробка та стрімінг даних з Twitter». Робота направлена на здобуття ступеня бакалавр за спеціальністю 122 «Комп’ютерні науки». В процесі виконання дипломної роботи ми створимо систему яка буде мати можливість в режимі реального часу щитувати дані з Twitter, робити мінімальну обробку та зберігати їх. Об’єктом дослідження є процес отримання твітів з Twitter в режимі реального часу та їхня мінімальна обробка шляхом розподіленням твітів по категоріях. Предметом дослідження є методи та засоби отримання даних максимально швидким способом та реалізації їхньої моментальної обробки. В результаті виконання дипломної роботи було створено програму яка в режимі реального часу дозволяє отримувати твіти які були написані у Twitter, вибір твітів відбувається по заданих хештегах. Після отримання твітів вони фільтруються по вказаних ознаках та зберігаються в різних місцях. Real-time analysis of data is a very good area for making research. Nowadays, it is very important for many areas to have an ability to obtain and analyze data in real time. As an example we can review company that produces natural gas using drill, this drill includes thousands of sensors which send collected terabytes of data to the systems which should automatically detect whether this drill is moving in the right direction and make some additional analytics. Here is the main problem. How can we send all this data in real time to the systems for processing it and how processing of this data should be maid not to introduce delays with data processing. Research purpose: to create an optimized infrastructure that will be able to receive, obtain and store data in real time. Research object: process of receiving and processing tweets from Twitter with minimum amount of compute resources and maximum performance and reliability. Research subject: methods of real-time processing of semi-structured data. The practical significance of the results obtained is determined by the ability of the proposed program to receive data from Twitter and classify it by specified parameters in real time. The task of receiving and classification tweets by number of people which are subscribed to the person who posted this tweet is processing and storing data task. The main idea of this work is to create.