Система аналізу зображень для осіб з особливими потребами

Abstract

Всі люди рівні, та не всі мають однакові можливості, в тому числі і фізичні, як-от порушення зору та сприйняття образів. У наш час багато людей незрячі через найрізноманітніші причини: вроджена, часткова втрата зору, аварія чи інші нещасні випадки, фізіологічні фактори, захворювання тощо. Сліпим людям важко адаптуватися в суспільстві, якщо вони нещодавно і раптово втратили зір. Ускладнюючим фактором є відсутність близьких родичів або знайомих людей навколо та відсутність фізичної та психологічної підтримки оточуючих. Для полегшення сприйняття світу для незрячих людей було вирішено вивчити цю тему і знайти можливість якось допомогти. Дане дослідження грунтується на тематиці розпізнавання образів. На цю тематику було розглянуто кілька іноземних досліджень за останні 5-6 років, серед авторів яких є Theo Gevers [1], Jan Cychnerski [2] та Jun Li [3]. Підтвердивши актуальність дослідження, було прийняте рішення провести аналіз ринку наявних технічних вирішень. Здійснений пошук мобільних застосунків здійснюється в сервісах Play Market та App Store. Найвідоміші аналоги, котрі найбільш схожі за призначенням та функціоналом виявлено наступні: Aipoly Vision, Sullivan+ та Supersense. В дослідженні розглянуто та сформульовано бізнес вимоги, користувацькі, функціональні та нефункціональні, які власне і визначають функціонал розроблюваної системи. Розроблюваний проект полягає в тому, щоб система розпізнавала, автоматично описувала і озвучувала те, що є на зображенні, а також і в режимі реального часу, мовою, зрозумілою для людей в динамічному режимі. Такий проект матиме широкий спектр застосування серед людей з вродженою вадою зору, серед тих, хто втратив зір нещодавно та йому складно адаптуватись до нового життя, серед дітей та людей з когнітивними порушеннями і цей список можна продовжувати довго. Також розроблюваний проект матиме своє застосування в інклюзивній освіті, що значно полегшить навчання дітей з обмеженими можливостями. Глобальною ціллю проекту є полегшити, спростити самостійне функціонування людей з особливими потребами шляхом розробки системи аналізу зображень. Об’єкт дослідження – це процес інформаційно-технічного супроводу життєдіяльності осіб з особливими потребами. Предмет дослідження – це система аналізу зображень для осіб з особливими потребами. Мета даної роботи – це розроблення програмного забезпечення для удосконалення інформаційно-технологічної підтримки та супроводу життєдіяльності осіб з особливими потребами. Результатом дослідження є змодельована та побудована система аналізу зображень для осіб з особливими потребами за допомогою UML моделювання та розгляду вимог. А також розроблена перша цільова веб версія системи з можливістю розпізнавання образів за рахунок розробленої та імплементованої згорткової нейронної мережі.

All people are equal but not all have the same opportunities, including physical ones, such as impaired vision and perception of images. Nowadays, many people are blind for a variety of reasons: congenital, partial vision loss, accident or other accidents, physiological factors, diseases and so on. It is difficult for blind people to adapt in society if they have recently and suddenly lost their sight. A complicating factor is the lack of close relatives or acquaintances around and the lack of physical and psychological support from others. To facilitate the perception of the world for blind people, was decided to dive deeper into this topic and find an opportunity to help. This study is based on the theme of pattern recognition. Several foreign studies over the last 5-6 years have been considered on this topic, among the authors of which are Theo Gevers [1], Jan Cychnerski [2] and Jun Li [3]. Confirming the relevance of the study, it was decided to analyze the variety of available technical solutions. The search for mobile applications is carried out in the Play Market and App Store services. The most famous analogues, which are most similar in purpose and functionality, are the following: Aipoly Vision, Sullivan + and Supersense. The study considers and formulates business requirements, user, functional and non-functional, which determine the functionality of the developed system. The developed project is that the system recognizes, automatically describes, and voices what is in the image, as well as in real time, in a language understood by people in dynamic mode. Such a project will have a wide range of applications among people with congenital visual impairment, among those who have recently lost their sight and find it difficult to adapt to a new life, among children and people with cognitive impairments, and this list can be unfinished. Developed project will also be used in inclusive education, which will greatly facilitate the education of children with disabilities. The global goal of the project is to facilitate, simplify the independent functioning of people with special needs by developing an image analysis system. The object of research is the process of information and technical support of life of people with special needs. The subject of the study is the image analysis system for people with special needs. Also, development of own technical support for performance of the above-mentioned processes and tasks. The purpose of this work is to develop software to improve information technology support and support of individuals with special needs. The result of the study is a modeled and built image analysis system for people with special needs using UML modeling and requirements consideration. And, also, the first target web version of the system with the ability to recognize images due to the developed and implemented convolutional neural network was developed.