Інтелектуальна інформаційна система EasyDB
Loading...
Date
Journal Title
Journal ISSN
Volume Title
Publisher
Національний університет "Львівська політехніка"
Abstract
В наш час кількість даних стрімко збільшується кожної секунди. Навіть звичайний, простий сайт може містити терабайти інформації. Також дані зберігаються на флешках, дисках, серверах і інших фізичних носіях. Зі збільшенням кількості даних, також збільшується попит на працівників, які можуть з цими даними працювати[1].
Дата інженери є однією з найбільш потрібних посад в компаніях. Зараз дуже високо цінуються працівники, які знають SQL і вміють працювати з даними. Також ця посада дуже добре оплачується. Але що робити компаніям, яким потрібні люди, які будуть працювати з даними, але у них немає часу і коштів на знаходження таких працівників. Часто виникають ситуації, що працівники весь час працювали, для прикладу в Excel, але з часом компанії стало потрібно працювати з базами даних і для цього їм потрібно шукати працівника, який знає SQL. А що в такому випадку робити зі старими працівниками? От саме така проблема і її вирішення будуть описані в цій магістерській роботі.
В першому розділі розглянута історія розвитку сховищ даних. Було описано як Едгар Ф. Кодд придумав реляційну модель даних і цим самим він перевернув саме розуміння баз даних.
Після історії було розглянуте саме поняття сховищ даних і розписані їх кваліфікації. До цих кваліфікацій входять: “Реляційні бази даних”, “Бази даних NoSQL”, “ Ієрархічні бази даних”, “ Мережеві бази даних”, “ Об'єктно-орієнтовані бази даних”, “ Багатомодельні бази даних”.
Також в цьому розділі були описані варіанти як можна захистити базу даних. Основними методами захисту є: управління доступом, шифрування, аудит і безпечну автентифікацію користувачів. Контроль доступу зменшить ризики того, що шахрай зможе отримати доступ до важливих даних, також це зменшує шанси, що недосвідчений працівник видалить важливі дані, тому що у нього буде доступ лише до того, що йому потрібно для роботи. Шифрування забезпечить захист під час передавання або у стані спокою. І навіть, якщо зловмисник отримає дані, то він не зможе їх розшифрувати без ключа. Моніторинг і ведення журналів дозволить виявляти якісь порушення і покращувати захист, виявляючи слабкі місця в системі. Також це полегшить знайти винуватця проблеми. І також хорошим варіантом буде створювати бекапи для того, щоб мати змогу повернути систему до потрібного стану, якщо щось вийде з під контролю.
І в останньому пункті цього розділу ми розглянули декілька конкурентів і описали їхні плюси і мінуси, порівнюючи з нашим додатком. Як конкурентів ми обрали: Excel, Metabase і Microsoft Office Access.
В другому розділі був проведений аналіз системи і описано в чому полягає головна ідея інтелектуальної інформаційної системи EasyDB. Також описано, як саме система буде допомагати компаніям і працівникам, як вона полегшить і пришвидшить роботу з даними. І також було розписано головну мету системи.
Окрім цього в цьому розділі було побудоване дерево цілей і сформовані критерії, по яким оцінювалась система. До цих критерії входять: актуальність, достовірність, зручність, безпечність, швидкість роботи, якість і надійність. Кожному критерію була видана якісна характеристика і були побудовані матриці порівняння критеріїв і порівнянь альтернатив.
І вкінці цього пункту були побудовані і описані покроково діаграми. Було створено 6 діаграм, до їх числа увійшли: “Діаграма варіантів використання”, “Діаграма класів”, “ Діаграма послідовності”, “ Діаграма станів”, “ Діаграма діяльності” і “ Діаграма компонентів”. Були описані всі користувачі, дії, які вони можуть робити в системі і те як система опрацьовує ці кроки.
В третьому розділі були розглянуті і описані методи розв’язання задачі. Також була описана причина через, яку була створена інформаційна система. Були розглянуті плюси системи. До цих переваг входять: зрозумілий і простий інтерфейс, автоматична генерація SQL запитів до бази, керування ролями користувачів.
Ще одним пунктом в цьому розділі було описання інструментів, які використовувались для створення інформаційної системи. До списку цих інструментів входять: “React”, “Electron”, “CSS”, “Bootstrap”, “PostgreSQL”, “ Heroku”.
В четвертому, останньому, розділі було описано реалізацію самої інформаційної системи. Була описана база даних, яка була створена для системи. В цьому сховищі даних знаходяться такі таблички: “administrators”, “users”, “roles”, “ users_role”, “ connections”, “connections_administrators”, “connections_users”. Також були описані самі колонки, які знаходяться в цих таблицях, і відношення між цими таблицями.
В наступному підпункті були описані всі крокі користування додатком. Також були подані і описані скріншоти, на яких зображена інтелектуальна інформаційна система EasyDB. І були описані можливості системи і те як вона захищає дані користувачів.
Об’єктом дослідження являється процес роботи з даними в різних інструментах, а також те як цю роботу можна перевести в SQL запити.
Предметом дослідження є засоби, які можна використовувати для досягнення покладеної мети, а саме розробки такої інтелектуальної інформаційної системи.
Мета дослідження – створення інформаційної системи, яка допоможе працівникам, які не знають SQL.
Результатом дослідження є проведення аналізу систем, які використовують для роботи з даними, виділення їх плюсів і мінусів. Також результатом є розробка інтелектуальної інформаційної системи EasyDB.
Nowadays, the amount of data is rapidly increasing every second. Even an ordinary, simple site can contain terabytes of information. Data is also stored on flash drives, disks, servers and other physical media. As the amount of data increases, so does the demand for workers who can work with this data[1]. Data engineers are one of the most needed positions in companies. Now employees who know SQL and know how to work with data are highly valued. Also, this position is very well paid. But what should companies do that need people who will work with data, but they do not have the time and money to find such employees. There are often situations where employees have been working all the time, for example in Excel, but over time the company needs to work with databases and for this they need to look for an employee who knows SQL. And what to do with old employees in this case? This is exactly the problem, and its solution will be described in this master's thesis. In the first chapter, the history of the development of data warehouses is considered. It was described as Edgar F. Codd came up with the relational data model, and by doing so, he turned the very understanding of databases on its head. After the story, the very concept of data warehouses was considered, and their qualifications were described. These qualifications include: "Relational databases", "NoSQL databases", "Hierarchical databases", "Network databases", "Object-oriented databases", "multi-model databases". This section also described options for how to protect the database. The main methods of protection are access control, encryption, auditing and secure authentication of users. Access control will reduce the risk that a fraudster will be able to access important data, and it will also reduce the chances that an inexperienced employee will delete important data because they will only have access to what they need to do their job. Encryption will provide protection in transit or at rest. And even if an attacker gets the data, he will not be able to decrypt it without the key. Monitoring and logging will allow you to detect any violations and improve protection, revealing weak points in the system. It will also make it easier to find the culprit of the problem. And it is also a good option to create backups to be able to return the system to the desired state if something goes out of control. And in the last point of this section, we looked at several competitors and described their pros and cons, comparing them with our application. We chose Excel, Metabase and Microsoft Office Access as competitors. In the second section, the system was analyzed and the main idea of the EasyDB intelligent information system was described. It also describes how the system will help companies and employees, how it will facilitate and speed up work with data. And the main goal of the system was also described. In addition, in this section, a tree of goals was built and the criteria by which the system was evaluated were formed. These criteria include relevance, reliability, convenience, safety, speed of operation, quality and reliability. A qualitative characteristic was given to each criterion and matrixes of comparison of criteria and comparison of alternatives were constructed. And at the end of this point, step-by-step diagrams were constructed and described. 6 diagrams were created, including: "Use case diagram", "Class diagram", "Sequence diagram", "State diagram", "Activity diagram" and "Component diagram". All users, the actions they can perform in the system and how the system processes these steps were described. In the third chapter, the methods of solving the problem were considered and described. The reason why the information system was created was also described. The advantages of the system were considered. These advantages include clear and simple interface, automatic generation of SQL queries to the database, management of user roles. Another item in this section was a description of the tools that were used to create the information system. The list of these tools includes: “React”, “Electron”, “CSS”, “Bootstrap”, “PostgreSQL”, “Heroku”. The fourth, last, section described the implementation of the information system itself. The database that was created for the system was described. This data store contains the following tables: “administrators”, “users”, “roles”, “users_role”, “connections”, “connections_administrators”, “connections_users”. The columns themselves, which are in these tables, and the relationship between these tables were also described. All the steps of using the application were described in the next subsection. Screenshots showing the EasyDB intelligent information system were also presented and described. And the capabilities of the system and how it protects user data were described. The object of research is the process of working with data in various tools, as well as how this work can be translated into SQL queries. Scope of research is the means that can be used to achieve the set goal, namely the development of such an intelligent information system. The goal of research is to create an information system that will help employees who do not know SQL. The result of the research is an analysis of the systems used to work with data, highlighting their pros and cons. Also, the result is the development of the intelligent information system EasyDB.
Nowadays, the amount of data is rapidly increasing every second. Even an ordinary, simple site can contain terabytes of information. Data is also stored on flash drives, disks, servers and other physical media. As the amount of data increases, so does the demand for workers who can work with this data[1]. Data engineers are one of the most needed positions in companies. Now employees who know SQL and know how to work with data are highly valued. Also, this position is very well paid. But what should companies do that need people who will work with data, but they do not have the time and money to find such employees. There are often situations where employees have been working all the time, for example in Excel, but over time the company needs to work with databases and for this they need to look for an employee who knows SQL. And what to do with old employees in this case? This is exactly the problem, and its solution will be described in this master's thesis. In the first chapter, the history of the development of data warehouses is considered. It was described as Edgar F. Codd came up with the relational data model, and by doing so, he turned the very understanding of databases on its head. After the story, the very concept of data warehouses was considered, and their qualifications were described. These qualifications include: "Relational databases", "NoSQL databases", "Hierarchical databases", "Network databases", "Object-oriented databases", "multi-model databases". This section also described options for how to protect the database. The main methods of protection are access control, encryption, auditing and secure authentication of users. Access control will reduce the risk that a fraudster will be able to access important data, and it will also reduce the chances that an inexperienced employee will delete important data because they will only have access to what they need to do their job. Encryption will provide protection in transit or at rest. And even if an attacker gets the data, he will not be able to decrypt it without the key. Monitoring and logging will allow you to detect any violations and improve protection, revealing weak points in the system. It will also make it easier to find the culprit of the problem. And it is also a good option to create backups to be able to return the system to the desired state if something goes out of control. And in the last point of this section, we looked at several competitors and described their pros and cons, comparing them with our application. We chose Excel, Metabase and Microsoft Office Access as competitors. In the second section, the system was analyzed and the main idea of the EasyDB intelligent information system was described. It also describes how the system will help companies and employees, how it will facilitate and speed up work with data. And the main goal of the system was also described. In addition, in this section, a tree of goals was built and the criteria by which the system was evaluated were formed. These criteria include relevance, reliability, convenience, safety, speed of operation, quality and reliability. A qualitative characteristic was given to each criterion and matrixes of comparison of criteria and comparison of alternatives were constructed. And at the end of this point, step-by-step diagrams were constructed and described. 6 diagrams were created, including: "Use case diagram", "Class diagram", "Sequence diagram", "State diagram", "Activity diagram" and "Component diagram". All users, the actions they can perform in the system and how the system processes these steps were described. In the third chapter, the methods of solving the problem were considered and described. The reason why the information system was created was also described. The advantages of the system were considered. These advantages include clear and simple interface, automatic generation of SQL queries to the database, management of user roles. Another item in this section was a description of the tools that were used to create the information system. The list of these tools includes: “React”, “Electron”, “CSS”, “Bootstrap”, “PostgreSQL”, “Heroku”. The fourth, last, section described the implementation of the information system itself. The database that was created for the system was described. This data store contains the following tables: “administrators”, “users”, “roles”, “users_role”, “connections”, “connections_administrators”, “connections_users”. The columns themselves, which are in these tables, and the relationship between these tables were also described. All the steps of using the application were described in the next subsection. Screenshots showing the EasyDB intelligent information system were also presented and described. And the capabilities of the system and how it protects user data were described. The object of research is the process of working with data in various tools, as well as how this work can be translated into SQL queries. Scope of research is the means that can be used to achieve the set goal, namely the development of such an intelligent information system. The goal of research is to create an information system that will help employees who do not know SQL. The result of the research is an analysis of the systems used to work with data, highlighting their pros and cons. Also, the result is the development of the intelligent information system EasyDB.
Description
Citation
Горон В. М. Інтелектуальна інформаційна система EasyDB : кваліфікаційна робота на здобуття освітнього ступеня магістр за спеціальністю „8.126.00.01 — Інформаційні системи та технології“ / Владислав Михайлович Горон. — Львів, 2024. — 93 с.