Апаратна оптимізація методів покращення якості відео на основі глибинних нейронних мереж

Abstract

Розглянуто проблеми та різноманітні аспекти оптимізації глибоких моделей покращення якості відео для ефективного виконання на сучасному апаратному забезпеченні. Основну увагу зосереджено на багатокадровій генеративній мережі з багатомасштабною структурою та покадровим вирівнюванням (MST-GAN). Запропоновано комплексну стратегію апаратного прискорення, яка охоплює структурне прорідження, квантування (FP16/INT8), конвеєризацію, паралелізацію та компіляцію моделі за допомогою TensorRT. Проведено порівняльний аналіз до та після оптимізацій, зокрема зміну FPS, затримки, споживання пам’яті та FLOPs. Результати демонструють, що нейронна модель після оптимізації досягає прискорення у 4,3 раза за мінімальної втрати якості, що дозволяє її використання в реальному часі. Також розглянуто порівняння з іншими сучасними моделями VSR (BasicVSR, RSDN, EDVR) у контексті їх апаратної ефективності.The paper addresses various aspects of optimizing deep video enhancement models for efficient execution on modern hardware. The focus is on a multi-frame generative network with multi-scale structure and frame-by-frame smoothing (MST-GAN). A comprehensive hardware acceleration strategy is proposed, which includes structural thinning, quantization (FP16/INT8), pipeline, parallelization, and model compilation using TensorRT. A comparative analysis is performed before and after optimizations, including changes in FPS, latency, memory consumption, and FLOPs. The results demonstrate that the neural model, after optimization, achieves a 4.3x speedup with minimal loss of quality, allowing for its use in real-time applications. A comparison with other modern VSR models (BasicVSR, RSDN, EDVR) in the context of their hardware efficiency is also considered.