Enhancing image inpainting through image decomposition and deep neural networks

Abstract

Представлено новий підхід до проблем розфарбовування, який поєднує методи декомпозиції домену (DDM) із глибокими нейронними мережами (DNN) для розв’язування диференціальних рівнянь у частинних похідних (PDE). По-перше, у цій статті розглядаються різні існуючі та нові підходи до малювання, підкреслюючи їхні переваги та недоліки в єдиній структурі. Після цього введено алгоритм, який висвітлює комбінацію методів DDM та DNN для розв’язування PDE запропонованої математичної моделі малювання. Для цієї моделі модифікований підхід, який був прийнятий, використовує метод DNN, який базується на згорткових нейронних мережах (CNN), щоб зменшити витрати на обчислення в нашому алгоритмі, зберігаючи при цьому точність. Накінець, експериментальні результати показують, що запропонованй метод значно перевершує існуючі для зображень високої роздільної здатності в плямах фарби.

A new approach to inpainting problems that combines domain decomposition methods (DDM) with deep neural networks (DNN) to solve partial differential equations (PDE) is presented. First, this article examines different existing and emerging approaches to inpainting while emphasizing their advantages and disadvantages in a unified framework. After that, we introduce an algorithm that highlights the combination of DDM and DNN techniques for solving PDEs of a proposed mathematical inpainting model. For this model, the modified approach that has been adopted uses the DNN method which is based on convolutional neural networks (CNN) to reduce the computational cost in our algorithm while maintaining accuracy. Finally, the experimental results show that our method significantly outperforms existing ones for high-resolution images in paint stains.