Інформаційна система опрацювання великих даних на основі нейронних мереж

Abstract

Ця робота присвячена дослідженню та розробці штучних нейронних мереж для обробки даних в контексті використання BIG DATA. У роботі розглянуто методи розробки та використання штучні нейронні мережі. Зокрема для оцінки кредитного ризику платформи P2P-кредитування. В результаті роботи була розроблена штучна нейронна мережа для обробки великих обсягів даних та точної оцінки кредитного ризику на платформах P2P-кредитування. Розробка велася на мові програмування Python. Предметом дослідження є розробка нейронної мережі для аналізу великих даних платформи кредитування з використанням бібліотек для проектування та навчання нейронних мереж: TensorFlow і Keras і бібліотек NLP: Pandas, NumPy. Об’єктом дослідження є система обробки великих даних на основі нейронних мереж. Метою цієї роботи є дослідження та розробка системи обробки великих даних на основі нейронних мереж. Робота складається з чотирьох розділів, кожен з яких має свою специфіку та мету. Перший розділ пропонує аналіз поняття BIG DATA та його визначення. Вивчаються принципи обробки даних в середовищі BIG DATA та принципи доступу до цих даних. Далі проводиться аналіз сучасних технологій та фреймворків, які використовуються для роботи з BIG DATA. Нарешті, розглядається виникнення штучних нейронних мереж та функції активації штучних нейронів. Другий розділ спрямований на проведення детального аналізу об'єкта дослідження. Зокрема, розглядається дерево цілей як інструмент для структурування та уточнення мети дослідження. Також проводиться конкретизація функціонування системи та побудова ієрархії процесів, що включають функції та задачі. Третій розділ "Програмні засоби розв'язання задачі", фокусується на виборі та обґрунтуванні засобів для розв'язання задачі штучних нейронних мереж. Аналізуються технічні характеристики обраних програмних засобів, а також проводиться проектування та навчання штучних нейронних мереж, зокрема перцептрону, згорткових нейронних мереж та рекурентних нейронних мереж. Крім того, досліджуються бібліотеки проектування та навчання нейронних мереж, такі як TensorFlow, Scikit-learn та Keras. Четвертий розділ пропонує опис розробки штучної нейронної мережі для обробки даних платформи Р2Р кредитування. Подробиці створеного програмного засобу наведено в розділі, разом з описом ходу його створення. Завершується розділ аналізом контрольного прикладу. Робота має на меті розкрити основні аспекти використання штучних нейронних мереж для обробки даних в середовищі BIG DATA та надати практичну реалізацію розробленого програмного засобу. Висновки, які будуть зроблені на основі проведеного аналізу та практичної реалізації, дозволять зробити висновки щодо ефективності та потенціалу використання штучних нейронних мереж у контексті обробки даних BIG DATA.This thesis is devoted to the research and development of artificial neural networks for data processing in the context of BIG DATA. The thesis discusses methods of developing and using artificial neural networks. In particular, to assess the credit risk of a P2P lending platform. As a result, an artificial neural network was developed to process large amounts of data and accurately assess credit risk on P2P lending platforms. The development was carried out in the Python programming language. The subject of the research is the development of a neural network for analysing big data of a lending platform using libraries for designing and training neural networks: TensorFlow and Keras and NLP libraries: Pandas, NumPy. The object of research is a big data processing system based on neural networks. The aim of this thesis is to research and develop a big data processing system based on neural networks. The work consists of four sections, each with its own specifics and purpose. The first section offers an analysis of the concept of BIG DATA and its definition. The principles of data processing in the BIG DATA environment and the principles of access to this data are studied. Next, it analyses modern technologies and frameworks used to work with BIG DATA. Finally, the emergence of artificial neural networks and the activation functions of artificial neurons are considered. The second section is aimed at conducting a detailed analysis of the research object. In particular, it considers the goal tree as a tool for structuring and clarifying the research objective. It also specifies the functioning of the system and builds a hierarchy of processes, including functions and tasks. The third section, "Software tools for solving the problem", focuses on the selection and justification of tools for solving the problem of artificial neural networks. The technical characteristics of the selected software tools are analysed, and the design and training of artificial neural networks, including perceptron, convolutional neural networks, and recurrent neural networks, are carried out. In addition, libraries for designing and training neural networks, such as TensorFlow, Scikit-learn, and Keras, are explored. The fourth section describes the development of an artificial neural network for processing data from the P2P lending platform. The details of the created software tool are provided in the chapter, along with a description of the process of its creation. The chapter concludes with an analysis of a benchmark example. The paper aims to reveal the main aspects of the use of artificial neural networks for data processing in the BIG DATA environment and to provide a practical implementation of the developed software tool. The conclusions that will be drawn on the basis of the analysis and practical implementation will allow us to draw conclusions about the effectiveness and potential of using artificial neural networks in the context of BIG DATA data processing.