Керування тривимірними обʼєктами в рушії Unity за допомогою алгоритмів розпізнавання обличчя

Abstract

Магістерська кваліфікаційна робота виконана студентом групи КНСШ-21 Шміликом Тарасом Олеговичем. Тема “Керування тривимірними обʼєктами в рушії Unity за допомогою алгоритмів розпізнавання обличчя”. Робота направлена на здобуття ступеня “магістр” за спеціальністю 122 “Комп’ютерні науки”. Метою роботи є створення та розроблення програмного продукту, який дозволяє керувати сіткою вершин тривимірних персонажів у рушії Unity, використовуючи алгоритми розпізнавання обличчя та наслідування виразів. Об’єктом дослідження є керування вершинами та полігонами тривимірних обʼєктів. Предмет дослідження - засоби маніпуляції елементами тривимірної моделі та повʼязані моделі машинного навчання. В результаті виконання роботи було розроблено програмний продукт, який на вподобаній користувачем тривимірній моделі персонажа може повністю повторювати вирази його обличчя. Almost every day, more and more detailed three-dimensional character models appear on the Internet, made by various users for games or anime. Free access to models on the Internet allows their use not only for creating entertainment content, animations, videos, but also educational or scientific projects. The main purpose of this thesis is the creation of a mini-game that can be used for entertainment (improving movement oordination, expressing emotions or emotional relief). The mini-game will match the user's facial expressions (using built in webcam) with a three-dimensional model of the character using a pre-trained machine learning model. The app uses face recognition patterns and the projection of points (facial landmarks) using a pre-trained machine learning model. The data, coordinates and values of projected points are sent to the Unity game engine in real time using a TCP protocol. After receiving the data Unity ensures that the corresponding changes are displayed on the 3D model.