Автоматизоване виділення розділів відео за допомогою ШІ

Abstract

Магістерська робота студента Жахалова Віктора групи CSAI-24. Тема "Автоматизоване розділення відео на розділи за допомогою штучного інтелекту". Робота є частиною програми комп'ютерних наук та направлена на отримання магістерського ступеню за спеціальністю 122 "Комп'ютерні науки". Об'єкт дослідження – процеси навігації та організації мультимедійного контенту на платформах. Предмет дослідження охоплює техніки та алгоритми обробки природної мови (NLP) та машинного навчання, що застосовуються для автоматизації сегментації відеоконтенту на основі текстових транскриптів. Метою роботи є розроблення інноваційної методології, яка автоматично сегментує відеоконтент на тематичні розділи, забезпечуючи полегшений доступ та контекстне розуміння мультимедійних ресурсів користувачами. Наукова новизна дослідження полягає у введенні передового алгоритму кластеризації без вчителя у поєднанні з методом ковзного вікна для обробки текстових транскриптів. Ця новаторська методологія також використовує виводи генеративних моделей для автоматизованого створення зрозумілих і інформативних назв для кожного ідентифікованого розділу, що розв'язує поточні обмеження у навігації мультимедійного контенту та покращує загальне залучення користувачів. Запропонована методологія використовує передові текстові ембедінги для векторизації сегментів транскриптів і застосовує спеціалізований підхід до кластеризації без попередньо визначеної кількості кластерів, що дозволяє системі адаптивно виділяти секції відео. Крім того, використовується генеративна модель узагальнення для формулювання точних і лаконічних підсумків, які служать як назви розділів, далі покращуючи навігацію мультимедійного контенту. В результаті дослідження було створено міцну та масштабовану систему для автоматизованої сегментації мультимедійного контенту. Ефективність цієї системи була підтверджена під час серії тестів на різних наборах відеоданих, що продемонструвала значне покращення у точності та ефективності сегментування порівняно з традиційними методами. Підсумовуючи, дане дослідження представляє новий підхід до організації мультимедійного контенту, що обіцяє стати цінним активом для навчальних платформ, розважальних індустрій та інших мультимедійних додатків з метою підвищення користувацького досвіду через інтелектуальну автоматизацію. Master’s degree work of the student Zhakhalov Viktor of the group CSAI-24. The topic is "Automated Video Chaptering Using AI". The work is part of the Computer Science program, aimed at obtaining a master's degree in specialty 122 "Computer Science". The surge of multimedia content has made it imperative to develop more precise and effective techniques for categorizing and navigating such material. Automatic video segmentation is one such method that retrieves video segments and allocates them titles autonomously. We are presenting a technique in this research that employs transcript analysis for the automatic segmentation of video content, aiding in better access and a broader comprehension of multimedia resources.