Створення та оптимізація легких генеративних змагальних нейромереж для покращення якості відео на клієнтських пристроях з використанням WebGPU

Abstract

Розглянуто проблеми для задач покращення якості цифрових відеозображень для хмарних середовищ, а також на клієнтській стороні за допомогою генеративно-змагальних нейромереж (GAN), адаптованих для роботи у браузері. Запропоновано метод, що використовує WebGPU для прискореного виконання згорткових обчислень, що дає змогу збільшувати роздільну здатність та покращувати якість низькоякісного відео в реальному часі без значного навантаження на сервери. Для оптимізації нейромережі додатково було використано методи Pruning та Knowledge Distillation, що дало змогу зменшити розмір моделі на 40–60 % без значної втрати якості. Результати експерементів показали, що реалізація запропонованого методу підви- щує продуктивність обробки відео у браузері у 2–4 раза порівняно з іншими неопти- мізованими моделями. Оцінка якості відео показала покращення PSNR та підвищення SSIM порівняно з традиційними методами збільшення роздільної здатності. Запропоно- ваний підхід може бути інтегрований у потокові сервіси та вебзастосунки, що дасть змогу знизити навантаження на комп’ютерні мережі та забезпечити кращий користувацький досвід з меншими витратами на хмарні та сервені обчислення.The paper considers problems for the tasks of improving the quality of digital video images for cloud environments, as well as on the client side using generative adversarial neural networks (GANs) adapted for work in the browser. A method is proposed that uses WebGPU for accelerated execution of convolutional calculations, which allows to increase the resolution and improve the quality of low-quality video in real time without significant load on servers. Optimization of the neural network includes the use of Pruning and Knowledge Distillation methods, which made it possible to reduce the size of the model by 40–60 % without significant loss of quality. The results of the experiments showed that the implementation of the proposed method increases the performance of video processing in the browser by 2–4 times compared to models based on the WebGL interface. The video quality assessment showed an improvement in PSNR and an increase in SSIM compared to traditional methods of increasing resolution. The proposed approach can be integrated into streaming services and web applications, which will reduce the load on computer networks and provide a better user experience with lower costs for cloud and server computing.