Міністерство освіти і науки України
Національний університет "Львівська політехніка"

КЛЮВАК АНДРІЙ ВОЛОДИМИРОВИЧ

УДК 004.896; 004.932

МЕТОДИ УСУНЕННЯ ЛОКАЛЬНИХ СПОТВОРЕНЬ ЗОБРАЖЕНЬ

05.13.23 – Системи та засоби штучного інтелекту 

Автореферат
дисертації на здобуття наукового ступеня 
кандидата технічних наук

Львів 2013

Дисертацією є рукопис
Робота виконана у Національному університеті "Львівська політехніка" 
Міністерство освіти і науки України

Науковий керівник:
доктор технічних наук, доцент
Пелешко Дмитро Дмитрович,
Національний університет "Львівська політехніка"
професор кафедри інформаційних технологій 
видавничої справи

Офіційні опоненти:	
доктор технічних наук, с.н.с.
Винокурова Олена Анатоліївна, 
Харківський національний університет радіоелектроніки,
провідний науковий співробітник Проблемної 
науково-дослідної лабораторії АСУ; 

кандидат технічних наук, доцент 
Повхан Ігор Федорович,
ДВНЗ «Ужгородський національний університет»,
доцент кафедри програмного забезпечення систем.

Захист відбудеться "29" листопада 2013 р. о 1400 год. на засіданні спеціалізованої вченої ради Д35.052.14 у Національному університеті "Львівська політехніка" (79013, м. Львів, вул. Степана Бандери 28а, ауд. 807, V корпус).
З дисертацією можна ознайомитися у бібліотеці Національного університету "Львівська політехніка" (79013, м. Львів, вул. Професорська 1).
Автореферат розіслано "25" жовтня 2013р.
Учений секретар
спеціалізованої вченої ради,
кандидат технічних наук, доцент                                                     Батюк А.Є.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Інтенсивний розвиток систем штучного інтелекту стимулює потребу у розробці нових методів попереднього опрацювання сигналів, у тому числі і зображень. Це зумовлено виникненням нових задач і висуненням принципово інших вимог до якості рішень вже існуючих. Однією із важливих задач попереднього опрацювання зображень є нівелювання спотворень, які виникають внаслідок різних причин. До цих причин відносяться розфокусування оптичних систем пристроїв реєстрування зображень, шум світлочутливих матриць цих пристроїв, надлишок чи недостатність освітлення, рух при експонуванні тощо. Щодо останньої причини, то рух може спотворити зображення дуже по-різному залежно від виду та природи походження цього руху. Спотворення внаслідок руху можуть виникати у випадках переміщення: камери при нерухомій сцені, одного чи декількох об’єктів при рухомій камері, одного чи декількох об’єктів при нерухомій камері, камери при слідкуванні за рухомим об’єктом. Два останні випадки є відносно менше досліджені, тому саме на них зосереджена увага в даному дисертаційному дослідженні. В обох цих випадках зображення зазнає локального спотворення рухом, на відміну від першого варіанту, де спотворення є повним, тобто на усю поверхню зображення, та рівномірним. Рівномірність спотворення означає, що воно реалізовується за однаковим законом для кожного пікселя зображення. Локальні, або часткові спотворення означають, що спотворення зазнає лише частина поверхні зображення. Значення функції яскравості у решті пікселів зображення не зазнає реконструктивних впливів. 
У випадку руху окремого об’єкта його зображення буде спотворене, а навколишній фон залишиться без змін. При цьому краї рухомого об’єкта частково накладуться на пікселі фону, утворюючи буферну зону інтегральних значень функції яскравості. У іншому випаду – слідкуванні камери за рухомим об’єктом – буде спостерігатись протилежна картина: неспотворене зображення об’єкта буде оточене спотвореним фоном.
На відміну від повних спотворень, параметри яких є однакові для усієї площини зображення, обробка локальних спотворень довгий час залишалась поза широкою увагою в наукових дослідженнях. Так питанню реконструкції рівномірно спотворених зображень приділено достатньо уваги ще з середини минулого століття. Отримані результати є достатньо значимими, а методи та алгоритми сліпої та не сліпої розгортки (відомої також як деконволюція чи обернена згортка), наприклад, алгоритми Віннера та Люсі-Річардсона стали класичними і широко використовуються у системах цифрової обробки зображень. Достатньо ефективні результати демонструють сучасні алгоритми деконволюції зображень, спотворених рухом камери при незмінній сцені, наприклад ітеративний алгоритм Ці Шана або алгоритм сліпої розгортки Фергюса.
У випадку локальних спотворень, зокрема тих, що виникають внаслідок руху окремого елемента сцени при нерухомій камері, достатньо якісних результатів поки що не отримано. Це пояснюється складністю процедур виділення контурів рухомого об’єкта, обчислення параметрів його руху, тобто ФРТ (функції розсіяння точки), виконання розгортки з умовою мінімізації впливів на фон і ін. Але головна проблема полягає у необхідності розмежувати перед операцією розгортки ділянки зображення, які одночасно належать рухомому об’єкту і фону. Тут не можна застосувати єдиний підхід до усієї площини зображення. Навіть незначні похибки при опрацюванні такого зображення можуть призвести до ще більшого спотворення зображення замість його покращення: спотворені та неспотворені ділянки зображення при класичному підході сприятимуть спотворенню одне одного.
Дослідження процесу утворення локальних спотворень цифрових зображень і виділення його властивостей може бути підґрунтям побудови алгоритмів реконструкції зображень після усунення змазів, які виникають при експонуванні кадрів. А самі реалізації алгоритмів усунення локальних спотворень можуть використовуватись на етапах попереднього опрацювання зображень при інтелектуальному аналізі даних в системах штучного інтелекту.
Тому є актуальною наукова задача дослідження процесу формування локальних спотворень зображень, які виникають внаслідок руху камери або об’єктів при нерухомій камері, та розробки методів усунення таких спотворень і реконструкції спотворених зображень.
Зв’язок роботи з науковими програмами, планами, темами. Робота виконана в рамках навчальних та науково-дослідних робіт кафедр інформаційних технологій видавничої справи та автоматизованих систем управління Національного університету "Львівська політехніка", зокрема за держбюджетною темою “Розвиток теорії синтезу нейронних мереж на НВІС-структурах для обробки сигналів в робототехнічних системах” (0112U001204).
Метою дисертаційного дослідження є розробка методів усунення локальних спотворень зображень, спричинених динамікою об’єктів уваги або рухом пристрою реєстрації.
Для досягнення поставленої мети необхідно вирішити такі завдання:
1.	Дослідити механізм утворення спотворень зображень, які виникли внаслідок руху окремих об’єктів чи пристроїв реєстрації, провести аналіз існуючих методів усунення повних та локальних змазів.
2.	Модифікувати метод виділення контурів спотворених ділянок зображення з використанням статистки змазу.
3.	Розробити метод визначення траєкторії спотворювального руху.
4.	Розробити метод визначення функції розсіяння точки спотворених ділянок зображення.
5.	Розробити метод відновлення локально спотворених зображень для випадку руху пристрою реєстрації.
6.	Розробити метод відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.
7.	Розробити програмну реалізацію розроблених методів усунення локальних спотворень зображень.
Об'єктом дослідження є процес спотворень цифрових зображень.
Предмет дослідження – цифрові зображення, які зазнали локальних динамічних спотворень.
Методи дослідження. Результати дисертаційних досліджень отримані з використанням елементів теорії інтелектуального аналізу даних, представлення знань, методів цифрової обробки сигналів та зображень, дискретної математики, алгебри і топології, математичної морфології та теорії алґоритмів і програмування. Зокрема обробка вхідних зображень проводилась з застосуванням операцій дискретної математики,  методи операційного числення та математичної морфології використовувались в методі детектування зони спотворення.
Наукова новизна. На основі виконаних теоретичних та експериментальних досліджень отримано такі нові результати:
Вперше розроблено:
•	метод визначення траєкторії спотворювального руху на основі дослідження закономірностей в розподілі флуктуацій функції інтенсивності, що дало можливість оцінювати траєкторію без апріорних припущень;
•	метод визначення функції розсіяння точки на основі характеристик траєкторії руху, який спричинив повне або часткове спотворення зображення, що дозволило з більшою точністю визначати функцію розсіяння точки спотвореного зображення;
•	метод заповнення прогалин на місцях вилучених фрагментів шляхом інтегрування зображення, який зробив можливим відновлення локально спотворених зображень для випадку руху пристрою реєстрації;
•	метод заміни фону рухомого об’єкта, який зробив можливим відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації.
Удосконалено: 
•	метод несліпої деконволюції спотворених рухом зображень, шляхом застосування двостороннього та чотиристороннього віддзеркалення, що призвело до суттєвого зменшення проявів «ефекту дзвону».
Отримала подальший розвиток: 
•	технологія виділення контурів спотворених рухом ділянок зображення шляхом використання інформації про характер спотворення, що дозволило з більшою точністю проводити реконструкцію зображень.
Практична цінність одержаних результатів. Розв’язання сформульованих завдань стало основою побудови алгоритмів реконструкції зображень, спотворених рухом. При цьому частина результатів може бути використана не лише для випадку локальних, а й для випадку повних (глобальних) спотворень.
Використання розробленого методу оцінки функції розсіяння точки спотвореного зображення дозволяє підвищити точність її оцінки. При проведенні експериментів на основі синтетичних даних, при порівнянні з дійсною функцією розсіяння точки, визначено, що застосування цього методу дало можливість отримати результати у середньому на 26% точніші у порівнянні з класичним методом сліпої розгортки.
Метод оцінки функції розсіяння точки може застосовуватись окремо як складова частина програмних систем обробки зображень, а також в системах штучного інтелекту для визначення траєкторії та рівномірності руху, зафіксованого на зображенні. Визначальною характеристикою методу є те, що він дозволяє отримувати траєкторію з окремого зображення, а не з послідовності кадрів (відео), що властиво методам відслідковування руху об’єктів. Це сприяє розширенню області застосування даного методу.
Підходи до розгортки на основі дзеркального відображення можуть використовуватись для реконструкції зображень з мінімумом артефактів т.зв. «ефекту дзвона» для зображень як повного, так і часткового спотворення. Чисельним критерієм якості усунення цих артефактів обрано величину ентропії. В процесі експериментальних досліджень виявлено, що зменшення ентропії при реконструкції одного і того ж зображення при застосуванні повностороннього віддзеркалення в середньому становить 1,04%. 
Отриманий результат є цінним для систем обробки зображень ще й тому, що якість реконструкції зображення є незалежною від типу спотворення: позитивний вплив спостерігається як для зображень, спотворених рухом, так і для зображень, що були спотворені внаслідок розфокусування оптичної системи пристрою реєстрування.
Серед практичних результатів дисертаційного дослідження треба ще відзначити доведення твердження про інваріантність чорного фону при операції згортки та розроблений метод штучного перенесення спотвореної ділянки зображення на чорний фон. Їх практична цінність для систем обробки зображень полягає у можливості конструювання алгоритмів штучної заміни фону під напівпрозорою зоною сліду об’єкта, який рухається із великою швидкістю. Більше того, з’являється можливість практично повністю усунути прояви «ефекту дзвону» при реконструкції спотворених ділянок зображень, що, у свою чергу, може виступати основою для подальших розробок в напрямку покращення реконструктивних технологій.
Метод автоматизованої оцінки контурів спотворених областей та заповнення прогалин можуть використовуватись для розділення та відокремленої обробки спотворених областей зображення, а також для автоматизованого детектування руху та виділення зображення рухомого об’єкта для подальшої обробки та розпізнавання.
Розроблені на основі отриманих методів алгоритми були реалізовані в середовищі MATLAB і можуть бути використані як складові частини комп’ютерних систем попередньої обробки зображень.
Особистий внесок здобувача. В публікаціях, написаних у співавторстві, дисертантові належать: метод динамічного оновлення моделі фону послідовності зображень [6, 12], метод розрахунку флуктуацій градієнтів для оцінки траєкторії спотворювального руху [2, 5, 13], метод оцінки функції розсіяння точки спотвореного зображення [3, 9], спосіб оцінки рівномірності розподілу кольорів по траєкторії руху [10], метод заміни кольору фону буферних зон змазів та концепція усунення локального спотворення від руху окремих об’єктів [1, 7], метод розгортки з чотиристороннім віддзеркаленням та застосування оцінки функції розсіяння точки для відновлення зображення, локально спотвореного рухом камери [4, 11], метод оцінки зони змазу шляхом застосування перетворення Фур’є [8].
Публікації. За результатами дисертаційних досліджень опубліковано 13 друкованих праць, серед них 6 статей у наукових фахових виданнях України та 7 публікацій у збірниках праць конференцій. Результати досліджень зафіксовані свідоцтвом про авторське право на комп'ютерну програму.
Апробація результатів дисертації. Основні положення дисертації обговорювались на 7 науково-технічних міжнародних конференціях, зокрема: 
1.	The Vth International Scientific аnd Technical Conference [“Computer Science and Information Technologies” (CSIT 2010)], (Lviv, October 14-16, 2010) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2010.
2.	The XIth International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2011)], (Polyana, Ukraine , February 23-25, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.
3.	The VIth International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 16 – 19, 2011) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2011.
4.	ІІ-а наук.-техн. конференція [«Обчислювальні методи і системи перетворення інформації»], (4-5 жовтня 2012р., Львів)/ Львів: ФМІ НАУНУ, 2012.
5.	The VIIth International Scientific and Technical Conference [“Computer Science and Information Technologies” (CSIT 2011)], (Lviv, November 20-24, 2012) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2012.
6.	The XIIth International Conference ["The experience of designing and application of CAD systems in microelectronics" (CADSM 2013)], (Polyana, Ukraine, February 19-23, 2013) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2013.
7.	Міжнародна наукова конференція [«Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту»], (Херсон, 20-34 травня 2013) / ХНТУ.- Херсон, 2013.
Структура та обсяг роботи. Робота складається із вступу, чотирьох розділів, списку використаних джерел та додатків. Загальний обсяг роботи становить 114 стор. друкарського тексту. Дисертація містить 48 рисунків на 22 стор. Список використаних джерел складається із 147 найменувань на 15 стор. Три додатки розміщено на 14 стор.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі наведено загальну характеристику роботи: обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету та основні задачі досліджень, визначено наукову новизну роботи і практичне значення отриманих результатів, показано зв'язок роботи з науковими темами. Подано відомості про апробацію результатів роботи та публікації.
У першому розділі наведені результати аналізу процесу виникнення та модельного представлення як локального так і глобального спотворення. Зокрема розглянуто природу змазу, механізми формування локальних змазів та формування перехідних зон локальних спотворень. Проаналізовано сучасні методи та підходи до усунення локальних змазів і реконструкції цифрових зображень.
На підставі цих досліджень з’ясовано, що змази зображення утворюються безпосередньо в світлочутливих матрицях. Наразі існує дві принципові архітектури світлочутливих матриць: CCD матриці та CMOS матриці. Типово, будь-яка з них складається з великої кількості однорідних світлочутливих елементів, кожен з яких відповідає за генерування одного пікселя зображення.
Математична модель будь-якого змазу, подібно до спотворення, яке виникає внаслідок розфокусування, зводиться до операції згортки (згортки)
				(1)
де знак  означає операцію згортки; f(x, y) – дискретизоване зображення розміром M × N, яке піддається спотворенню під впливом ядра розмиття h(x, y) з розмірністю m × n, яке називається функцією розсіяння точки (ФРТ, анг. PSF – Point Spread Function). Додатково світлочутлива матриця накладає випадково розподілений адитивний шум n(x, y). 
Результат спотворення, яке виникає на зображенні визначається значеннями ФРТ h(x, y). Саме вона визначає перетворення над значеннями функції інтенсивності у кожному пікселі зображення. 
Зважаючи на (1) операцію згортки можна записати так: 
,                       (2)
де a = (m - 1) / 2, b = (n - 1) / 2. 
На основі аналізу результатів експериментів підтверджено тезу про те, що формування змазу зображення адекватно описується моделлю на основі згортки. Cам оператор згортки, інакше ядро розмиття або дискретна функція розсіяння точки, містить в собі інформацію про траєкторію та рівномірність руху, який є причиною виникнення спотворення зображення. Для дослідження сутності змазу зображення було використано перетворення Фур’є. Виявлено, що різниця між Фур’є образами спотвореного повним змазом зображенням і неспотвореним є сумою експоненційних функцій:
,                                              (3)
Кількість цих функцій корелює з довжиною траєкторії спотворювального руху.
З’ясовано, що існує декілька видів локальних спотворень. Серед них найбільш поширеним на практиці є такий вид змазу, який утворюється при нерухомій камері, яка експонує кадр з присутнім об’єктом, що в цей момент швидко рухається відносно свого фону. Схема утворення такої  розмитої ділянки наступна. В початковий момент часу t0 відкривається затвор пристрою реєстрації і елементи світлочутливої матриці починають набирати певного значення функції інтенсивності. У цей момент однаково відображаються і рухомий об’єкт і фон. У момент tn затвор закривається. За цей проміжок часу рухомий об’єкт подолав певну відстань, яку, враховуючи дискретну природу цифрової фотографії, можна оцінити в деяку кількість пікселів m. Це означає, що проміжок часу t = tn - t0 можна розділити на m рівних відрізків. Протягом кожного з цих відрізків часу кожен піксель рухомого об’єкту залишав відбиток власного значення функції інтенсивності на іншій позиції в зображенні шляхом накладання власного значення кольору на той, який існував на цій позиції раніше. У результаті значення функції інтенсивності у внутрішніх пікселах об’єкта накладаються на значення інших пікселів цього ж об’єкта і виникає типова задача деконволюції. 
На краях зони розмиття ситуація є дещо іншою. Краями є область вздовж периметру об’єкта по обидва сторони в напрямку руху шириною m точок (буферна зона). У цій зоні відбувається змішування значень функції інтенсивності рухомого об’єкта із значеннями функції інтенсивності пікселів нерухомого фону. Оскільки увесь час експонування був дискетизований на m періодів, то можна вважати, що за одиницю часу  = 1/m значення функції інтенсивності кожного пікселя буферної зони формується за рахунок -ї частини значення кольору рухомого об’єкту та 1- частини решти, яка, в свою чергу, утворюється в результаті адитивного накладання у тій же пропорції значень функції інтенсивності, що належать об’єкту та фону, над яким цей об’єкт рухався. 
Для граничного пікселя об’єкта значення функції інтенсивності  буде визначатись за описаним співвідношення. Для наступного пікселя об’єкта його значення функції інтенсивності с(xi, yi) буде визначатися у результаті скалярного добутку векторів v = (, , (1-2)) і Fi = (f(xi, yi), f(xi-1, yi), fф(xi, yi)): 
с(xi, yi) = v  Fi.                                                      (4)
Тут fф(xi, yi), f(xi, yi), f(xi-1, yi) – значення функції інтенсивності відповідно фону, у даному та у граничному пікселях. За подібною схемою визначатимуться значення функції інтенсивності у кожній точці буферної зони. Останній піксель буферної зони буде мати значення функції інтенсивності, яке лише на величину  буде складатись із значення кольору фону.
Описаний підхід формування значень функції інтенсивності у пікселях буферної зони називатимемо операцією зважування значень функції інтенсивності, а сам вектор v – оператором зважування. Треба зазначити, що вказані вище параметри оператора v є можливими лише за умови рівномірного руху. У випадку нерівномірного руху ці параметри будуть іншими і формуватимуться за правилом: що менший час перебував піксель об’єкта в даній позиції, то меншою буде його частка значення функції інтенсивності в результуючому значенні. Проте закономірність отримана для випадку рівномірного руху буде зберігатись і для j-го пікселя буферної зони може бути записана так:
,                                          (5)
де j  [0; m]; hi – i-е ненульове значення дискретної функції розсіяння точки h; bj – значення кольору фону в даній точці; fj – інтегральне значення функції інтенсивності у пікселях рухомого об’єкта, які перебували в даній позиції під час руху об’єкта.
Зазвичай усунення спотворення зображення, спричиненого згорткою, здійснюється одним із методів деконволюції. Усі алгоритми, побудовані на її основі, ґрунтуються на використанні бієктивних гомоморфізмів, тобто такої ФРТ, яка б виконала зворотне перетворення до первісного зображення. Алгоритми несліпої деконволюції передбачають наявність заданої функції розгортки. Тобто робиться припущення про характер спотворення, і виходячи із нього будується функція, яка обробляє зображення. Сліпа деконволюція проводиться, виходячи із того, що ядро розмиття наперед невідоме, оскільки спотворення може бути спричиненим різними факторами і з різним впливом. При сліпій деконволюції ядро розмиття розраховується в процесі роботи алгоритму. За результатами аналізу найбільш відомих методів розгортки, зокрема методів Річардсона-Люсі, Тихонова, Вінера, Донателлі, Нееламані, Фергюса, виявлено, що найбільш ефективними у задачах усунення локальних спотворень є метод Річардсона-Люсі та фільтр Віннера. 
Проведений аналіз причин виникнення спотворення і методів їх усунення засвідчив необхідність розробки нових методів реконструкції зображень у задачах усунення локальних змазів. У відповідності до цього сформульовано основні завдання наукового дослідження, викладеного у дисертаційній роботі.
Другий розділ містить опис методів усунення локальних спотворень рухом, які виникають внаслідок руху окремих об’єктів при нерухомому пристрої реєстрації.
У загальному випадку розв’язання задачі усунення спотворення, яке виникає внаслідок руху окремого об’єкту, можна розкласти на такі етапи:
1.	Визначення ФРТ.
2.	Виділення контурів спотвореного об’єкта.
3.	Перенесення зображення спотвореного об’єкта на чорний фон.
4.	Виконання операції деконволюції над виділеним об’єктом на чорному фоні.
5.	Розміщення деконвульованого об’єкта на своє місце в зображенні.
Визначення ядра розмиття точки (ФРТ) є одним із найбільш типових завдань в задачах реконструкції спотворених зображень. Значна частина алгоритмів реконструкції базується на деконволюції зображення при відомій ФРТ. Це визначає важливість завдання визначення ФРТ, а його успішне розв’язання дозволяє не тільки ефективно реконструювати зображення, але й  отримати інформацію про характер спотворення.
Запропонований в роботі метод обчислення ФРТ змазаного зображення складається із розв’язання двох завдань. 
Перше з них полягає у визначенні топології ненульових елементів матриці ФРТ (надалі таку ФРТ називатимемо бінаризованою – БФРТ, BPSF)  шляхом пошуку найбільш статистично вагомого критерію вибору границі в буферній зоні. Це є рівнозначним оцінюванню траєкторії руху оскільки топологія розміщення ненульових елементів ФРТ майже повністю повторює траєкторію руху, який спричинив спотворення зображення. У результаті отримаємо визначення БФРТ як матричного оператора
.                                       (6)
Друге завдання полягає у розрахунку значень ненульових елементів матриці ФРТ. Це є рівнозначним оцінюванні рівномірності руху, яке спричинило спотворення. Визначення значення БФРТ призводить до перетворення останньої у ФРТ.
При спотворенні рухом переміщення кожного пікселя об’єкта повторює траєкторію руху цілого об’єкта. Тому, накладаючись власним значенням функції інтенсивності у кожен момент часу в іншій позиції своєї траєкторії, піксель об’єкта залишає власний слід. Це особливо є виразним у випадку руху пікселів, які відрізняються значеннями функції інтенсивності на власному фоні. 
Оскільки майже будь-який об’єкт не є повністю однорідним, то такі пікселі в ньому присутні завжди. Зазвичай це можуть бути крайні пікселі кутів, пікселі на границях колірних зон або звичайні окремі точки. При своєму русі такі пікселі, вздовж усієї траєкторії будуть оточені пікселями однорідного фону. Тому, при русі вони залишають власний видимий слід, який повторюватиме траєкторію руху цілого об’єкту, якому вони належать. Це твердження ілюструє рис.1. 

Рисунок 1 – Механізм утворення слідів руху всередині зображення рухомого об’єкта

Нехай на фоні деякого об’єкта, що рухається, виділяється кут деякої області. Піксель, який відповідає вершині кута, має значення функції інтенсивності рівне значенню А (у позиціях А1-А2-А3 на рис. 1). Окрім цього, у позиціях В1-В2-В3 на рис. 1 існує інший піксель із значенням функції інтенсивності В. Оскільки переміщення цих пікселів відбувається за однаковою траєкторією, то вони залишать подібний слід, який буде виділятись на зовнішньому фоні та збігатись із траєкторією руху. Таким чином, виникає така особливість змазаного зображення: на зображенні існує дві області, які відрізняються за значеннями функції інтенсивності від усередненого значення фону, конфігурація нижніх країв яких є однаковою. Звідси можна сформулювати такий постулат: топологія ненульових елементів матриці ФРТ зображення, спотвореного рухом, буде відповідати одному з варіантів країв зон, пікселі якого матимуть значення функції яскравості відмінне від значень фону, а саме тому, який буде найбільш статистично вагомим (часто зустріваним) на даній ділянці спотвореного зображення.
Оскільки розроблений метод ґрунтується на виділенні зон окремого кольору, то відповідний алгоритм базується на обробці градієнтів виділеного зображення. Суть обробки полягає у пошуку градієнтів з високою частотою повторюваності. Для цього градієнтне поле аналізується при різних порогових значеннях, оскільки наперед невідомим є значення часткової похідної функції інтенсивності, при якому виявиться закономірність. 
Визначення ФРТ складається із двох етапів. На першому з них визначається структура ФРТ. У алгоритмічному представленні визначення структури складається із таких кроків:
Крок 1 – конвертація зображення P з кольорового у форматі RGB у напівтонове (у градаціях сірого) Pg. 
Ci,j = 0.299Ri,j  + 0.587Gi,j + 0.114Bi,j,
тут Ci,j – значення функції інтенсивності у точці (i, j) зображення Pg.
Крок 2 – обчислення градієнтів  у кожній точці (i ,j) зображення Pg, та визначення модулів часткових похідних , оскільки практичний інтерес становить не стільки напрям зміни значень функції інтенсивності, скільки сам факт зміни та величина різниці.
Крок 3 – обробка за два проходження часткових похідних Сx, Сy  у вертикальному та горизонтальному напрямках. Сама обробка складається із: 
–	розв’язання задачі пошуку градієнтного максимуму для визначення порогових значень. 
.
Оскільки наперед невідомим є діапазон, який буде охоплювати значення часткових похідних, то у такий спосіб можна визначити його верхню межу;
–	визначення для усіх значень часткових похідних від 50% до 100% максимального значення з кроком 1. Для цього задаємо порогове значення 
T0= 0.5M;  
Tі = Tі-1 + 1 | Tі  ≤ M.
Кожна ітерація циклу проходження градієнтного поля відрізняється тільки величиною порогу, за яким виділяються ділянки зображення з іншим значенням функції інтенсивності на наступному кроці. До розгляду приймається лише верхня половина цього діапазону, оскільки для нижньої частини діапазону є більшою імовірність захоплення шуму камери та пікселів інших дрібних елементів зображення об’єкту. Крок проходження градієнтного поля вибирається так, щоб при будь-якому значенні діапазону з одного боку не допустити однакових значення порогу на різних ітераціях циклу, а з іншого – щоб не пропустити важливий зріз;
–	виділення класів еквівалентності. Клас еквівалентності [B] виділяємо за пороговим значенням, тобто вибираємо ділянки, значення часткових похідних для яких є не меншими за порогове значення. В результаті отримуємо набір бінарних масок-блобів [B] = {Bi}. 
Усі наступні дії повторюються почергово для кожного блоба. Якщо повна маска (топологія усіх блобів) повністю дорівнює отриманій на попередньому значенню порогу, то така маска далі не обробляється, а відбувається перехід до наступної ітерації даного циклу.
З класу еквівалентності за пороговим значенням виділяємо підклас еквівалентності [B]1 за відношенням “еквівалентності за одиницею”.
Означення 1 – еквівалентність за одиницею. Два блоба Bі і Bj вважаються еквівалентними за одиницею, якщо їх площі (S) рівні одиниці: 
.                           (7)
Твердження 1. Бінарне відношення, яке визначається означенням 1, є відношенням еквівалентності.
Отриманий клас [B]1 необхідний для видалення блобів, площа яких дорівнює одиниці. Це потрібно тому, що окремі пікселі з відмінним від фону значенням функції інтенсивності нерідко трапляються в зображеннях з різних причин, у тому числі і через шум камери. Проте вони у жодному випадку не можуть розглядатись кандидатами на ФРТ, оскільки така ФРТ виражає зміни зображення: після згортки з одиночною ФРТ будь-яке зображення перетворюється саме на себе.
Після видалення [B]1	отримуємо множину B1 = [B] \ [B]1 і для кожної елемента множини B1 виділяємо праві та ліві або верхні та нижні краї. Праві та ліві краї виділяються для горизонтальних часткових похідних, а верхні та ліві для вертикальних. Таким чином з кожного блоба Bi утворюється два нових граничних блоба, наприклад Bi,л та Bi,п, які використовуються в подальших операціях. Випадок, коли Bi,л = Bi,п є найбільш вдалим, оскільки він виражає підозрілість на вирішення задачі пошуку закономірності;
Крок 4 – факторизація простору блобів і отримання ФРТ. Виділення граничних блобів дає змогу отримати деяких простір блобів . Наступною операцією є  пошук тотожностей у просторі  тобто побудова фактор-простору /~.
Означення 2 –  тотожність блобів. Два блоба Bі і Bj простору  називаються тотожними (рівними), якщо збігаються топології їх ненульових елементів.
Використання озн.2 у більшості випадків не забезпечує побудову фак.тор-простору /~. Це пояснюється тим, що на зрізах градієнтного поля переважають дрібні зони, які є або наслідками шуму, або складовими більших зон, які розщепились при даному значенні порогу, або наслідками накладення різних зон при операції згортки. Тому побудову фактор-простору /~ над простором блобів  буде здійснювати за канонічною проекцією “майже тотожності”.
Означення 3 –  майже тотожності блобів. Блоби Bі і Bj простору  вважаються тотожними, якщо вони абсолютно рівні між собою, або якщо один з них повністю може поміститись всередині іншого:

Твердження 2. Майже тотожність є відношенням еквівалентності.
За озн. 3 менші блоби розглядаються як частковий випадок більших, які з більшою імовірністю є рішенням задачі визначення структури ФРТ. В практичних задачах при перевірці на майже тотожність встановлювались обмеження: співвідношення розмірів більшого блоба до меншої не повинно бути більшим 5 і жоден з них не повинен містити розривів.
У процесі факторизації постору  додатково для кожного блоба визначалась частота майже тотожності. Якщо частота нового блоба більша за поточне максимальне частотне значення, то тоді нове значення стає максимальним поточним, а сам блоб – поточним розв’язанням задачі визначення структури ФРТ. 
Даний алгоритм був реалізований та перевірений на серії зображень з відомими ФРТ спотворення. У всіх випадках напрям руху був визначений правильно. Вихідні зображення та результати роботи алгоритму у виді візуалізованих бінарних матриць ФРТ наведені на рис. 2.

a)	

б)	

с)	
Рисунок 2 – Приклади визначення ФРТ при різних спотвореннях

Після визначення структури матриці ФРТ, тобто її розмірності та позицій ненульових елементів, на другому етапі визначення ФРТ здійснюється оцінка рівномірності руху кожного пікселя за отриманою траєкторією.
При проведенні такої оцінки необхідно враховувати особливості формування спотвореного зображення. Оскільки цифрове зображення отримується в процесі дискретизації світлочутливою матрицею, то кожний рухомий піксель під час свого руху проявляється у декількох позиціях. При цьому значення насиченості у кожній точці безпосередньо залежить від часу перебування пікселя в цій позиції. Сам час визначається швидкістю руху пікселя – чим вона є меншою, тим більшим є час перебування пікселя у даній позиції. 
Приймемо суму впливів визначеного пікселя у кожній позиції його траєкторії рівною одиниці. 
,                                                                (8)
де hi – коефіцієнт розсіяння i-го пікселя з траєкторією руху l, довжина якої n рівна кількості ненульових елементів матриці ФРТ.
Якщо i-й піксель розподіляє власні значення функції інтенсивності вздовж усієї траєкторії, то впливи цих значень присутні у всіх пікселях цієї траєкторії. Це дає підстави припустити, що між j-ми позиціями траєкторій усіх пікселів спотвореної ділянки зображення буде існувати деяка кореляція. Ця кореляція визначається так. Розглянемо дві сусідні позиції j та j+1 на траєкторії руху двох різних пікселів з коефіцієнтами розсіяння h1,j та h2,j та значеннями функції інтенсивності c1 та c2 відповідно. У спотвореному зображенні існуватиме чотири пікселя із значеннями функції інтенсивності S1,j, S1,j+1, S2,j, S2,j+1:
S1,j = h1,j c1 + ω1,1;         S1,j+1 = h1,j+1 c1 + ω1,2;
S2,j = h2,j c2 + ω2,1;         S2,j+1 = h2,j+1 c2 + ω2,2,                             (9)
де ω1,1, ω1,2, ω2,1, ω2,2  – є додатковими (не визначеними значеннями c1 та c2) складовими значень функції інтенсивності у відповідних пікселях. 
Схематичне розміщення пікселів вздовж відповідних траєкторій наведено на рис. 3. 

S1,j

S1,j+1

S2,j+1

S2,j

Траєкторія 1…

Траєкторія 2…

.. Траєкторія 1

.. Траєкторія 2

d1

d2

Рисунок 3 – Схематичне взаємне розміщення пікселів спотвореного зображення

За цією схемою два розглядувані пікселі описують своїм рухом дві паралельні траєкторії, як результат афінного перетворення. Різниці між сусідніми пікселями у напрямку траєкторії будуть визначатись так 
d1 = S1,j+1 – S1,j;	d2 = S2,j+1 – S2,j.				 (10)
Оскільки обидва пікселя здійснили однакове за часовими та просторовими координатами переміщення, то між цими різницями за допомогою (10) можна визначитит різнецеве співвідношення 
.                                (11)
Співвідношення (11) можна суттєво спростити. Якщо прийняти до уваги те, що коефіцієнти hi,j є однаковими в обох випадках, а складові ωi.j є результатом подібних накладень власних значень функції інтенсивності у пікселях неспотвореного зображення із значеннями пікселів, які є сусідніми по тракторії, з тими ж самими коефіцієнтами, то у загальному випадку при великій вибірці співвідношення (11) набуде такого вигляду:
.                                                       (12)
Звідси можна зробити висновок, що різниці значень функції інтенсивності за напрямом траєкторії спотворювального руху мають статистичну значимість у випадку врахування усієї множини пікселів змазаного зображення і корелюють між різними пікселями. А тому для визначення невідомих коефіцієнтів розсіяння hi,j треба статистично усереднити ці різниці вздовж траєкторії руху для кожного пікселя спотвореного зображення.
Алгоритму визначення рівномірності руху побудовано на попіксельному обході усього зображення (або частини зображення, якщо йдеться про локальний змаз) з апертурою у виді матриці, яка відповідає знайденій на поперед.ньому етапі структурі ФРТ. У процесі цього обходу у кожній точці змазаного зображення, якщо прикладена в цій точці апертура не виходить за межі спотвореної ділянки, треба визначити модулі ланцюгових різниць i,j. Це здійснюється так: відраховуючи від даного пікселя зображення, у напряму ненульових елементів матриці ФРТ модулі ланцюгових різниць значень функції інтенсивності поточних пікселів зображення від наступних розраховуються за евклідовою відстанню:
,                                              (13)
де с – символ значення функції інтенсивності пікселя зображення; i, j- координати матриці ФРТ; x, y – координати пікселя зображення, який є вихідним на поточному кроці ітерації; k, l – координати наступного ненульового елемента матриці ФРТ. Залежно від характеру траєкторії можливі такі варіанти:  k = i+1, l = j; k = i, l = j+1; k = i+1, l = j+1. Після проходження усіх пікселів знаходимо середні значення різниць (13) 
,                                                (14)
де p – кількість отриманих матриць.
Для виконання умови на апертуру отриманий результат нормуємо:
,                                                (15)
де m×n – розмірність матриці ФРТ, яка має вид .
Як вже відзначалось з сутності спотворення рухом випливає, що кожен піксель змазаної ділянки у напрямку траєкторії має зважене інтегральне значення функції інтенсивності. З іншого боку, кожен піксель вносить частку свого значення функції інтенсивності також по сусідніх від траєкторії пікселях. Це означає, що по обидві сторони від напрямку руху буде спостерігатись відносно менший перепад значень функції інтенсивності, ніж в усіх інших напрямках. На основі цього твердження запропоновано два методи виділення зони спотворрення: не сліпий та сліпий методи середньоквадратичних відхилень.
Відмінність між цими методами полягає у тому, що сліпий метод не вимагає наперед відомої БФРТ чи ФРТ спотворення, тоді як не сліпий метод ґрунтується на використанні БФРТ. 
Не сліпий метод. Знаючи БФРТ спотвореної ділянки зображення, можна виділити маску неспотвореної ділянки використовуючи операцію бінаризації зображення за певним пороговим значенням. Операція бінаризації ґрунтується на використанні матриці стандартних відхилень значень функції інтенсивності сусідніх за траєкторію пікселів. 
Означення 4. Сусідніми за траєкторією для даного пікселя є усі пікселі, яким відповідають ненульові елементи матриці ФРТ (БФРТ), прикладеної своїм першим ненульовим елементом до даного пікселя. 
Після побудови матриці відхилень для кожного пікселя розв’язується задача пошуку максимального значення функції інтенсивності серед значень колірного каналу. З множини цих максимальних значень формується матриця розмірністю, яка відповідає розмірності зображення. Надалі ця матриця нормалізується у спосіб, щоб кожне її значення перебувало в діапазоні [0..1]. Нормалізація дає можливість більш строго визначити значення порогу t, за яким формуються маски неспотвореної ділянки: до маски неспотвореної ділянки відносяться такі елементи нормалізованої матриці, значення яких більше за порогове значення
                                                   (16)
Сліпий метод від не сліпого відрізняється тільки тим, що: 
•	замість БФРТ (яка на даний момент може бути невідомою) в ролі апертури використовується вектор-рядок, який складається з трьох одиничних елементів;
•	описані для несліпого методу дії повторюються 360 разів, при чому зображення кожен раз повертається на 1°. Тоді, серед усіх варіантів обирається той, для якого зона розмиття матиме найбільшу зв’язність.
Із викладених особливостей формування буферної зони можна констатувати, що значення функції інтенсивності кожного пікселя буферної зони складається зважено із значень функції інтенсивності кольору спотвореного об’єкта і фону. Частку в результуючому значенні, яка припадає на колір фону b в заданій точці можна визначити так:
,                                                    (17)
тут  – сума значень елементів матриці ФРТ для попередніх (оброблених) пікселів та поточного пікселя (0;1). 
Оскільки чорний колір передається нульовим значенням, то для того, щоб перенести розмитий об’єкт на чорний фон, потрібно просто відняти частку (17) від значення функції інтенсивності оброблюваного пікселя uj буферної зони. Тому, починаючи від кожного крайнього пікселя буферної зони, і у напрямку глибини ФРТ, значення функції інтенсивності кожного пікселя перераховується за такою формулою:
.                                              (18)
Перерахунок (18) здійснюється по кожному каналу окремо і лише для пікселів з ненульовим значенням відповідного їм елемента матриці ФРТ. Значення функції інтенсивності фону усереднюється із значень найближчого околу буферної зони, який не зазнав впливу рухомого об’єкта. Таким чином відбувається заміна фону рухомого об’єкта.
Третій розділ містить опис методів усунення локальних спотворень рухом, які виникають внаслідок слідкування пристрою реєстрації за рухомим об’єктом.
У загальному випадку задачу усунення спотворень, які виникають внаслідок руху пристрою реєстрації окремого об’єкта, можна розбити на такі етапи: визначення ФРТ, виділення зони змазу (виокремлення маски рухомого об’єкта), видалення неспотвореного зображення, заповнення звільненої ділянки, деконволюція змазаного фону, повернення вилученого зображення на оригінальний фон. Перші два етапи описані у другому розділі. Тому, у цьому розділі розглядаються лише чотири останні.
Для того, аби провести деконволюцію зображення, потрібно відділити спотворену і неспотворену ділянки зображення, оскільки їх сумісна обробка призведе до її взаємного змішування та до ще більшого спотворення. Саме тому на попередньому етапі здійснюється виділення неспотвореної ділянки.
Основна проблема локальних змазів зображення полягає в тому, що не можемо просто видалити неспотворену ділянку, адже зображення за нею із зрозумілих причин є невідомим. Також не можна просто заповнити вивільнену ділянку чорним кольором, оскільки при подальшій деконволюції цей чорний колір ділянки в центрі спотворить усе зображення. Тому потрібно застосувати такий метод, при якому отримане зображення буде максимально наближеним до зображення у випадку повного, а не локального змазу. В такому зображенні статистика градієнтів не має флуктуацій в області вилученої ділянки. Тому вилучену ділянку можна реконструювати, використавши статистику градієнтів. Для реалізації методу реконструкції пропонується відтворити наявне зображення, використавши градієнти усієї його площі. Можливість виконання такої реконструкції випливає із того, що операції визначення градієнтів (диференціювання зображення) та синтез зображення з градієнтів (інтегрування зображення) є взаємно оберненими.
Алгоритм методу реконструкції складається із послідовності таких кроків для кожного колірного каналу:
Крок 1 – розраховуються градієнти повного зображення.
Крок 2 – з обох матриць градієнтів усуваються неспотвореної ділянки, інакше кажучи на матриці градієнтів накладається обернена маска, визначення якої приведене у другому розділі.
Крок 3 – з отриманих градієнтів синтезується нове зображення. Синтез здійснюється за методом Франко-Челаппи, який ґрунтується на використанні прямого та зворотного швидкого дискретного перетворення Фур’є, і схематично може бути описаним так – нехай для заданої матриці f(x,y) є визначеною матриця похідних fx, fy. Позначивши через F(wx, wy) образ f(x,y) при перетворенні Фур’є Ф{}: F(wx, wy)  = Ф{ f(x,y)} отримаємо для Фур’є-образів компонент градієнта grad f = (fx, fy) такі вирази:
,  . (19)
Таким чином, для визначення F(wx, wy) отримується перевизначена система лінійних рівнянь, яку можна записати у матричному виді як:
.				(20)
Найкраща за методом найменших квадратів оцінка для F(wx, wy)  отримується з системи (20) за допомогою псевдообернення Мура-Пенроуза 
.				(21) 
Результатом псевдообернення вектора  є вектор
,				(22)
звідки 
.			(23)
Тоді остаточно отримуємо
,			(24)
де Ф-1{} – операція оберненого перетворення Фур’є.
Отримане зображення представлене на рис. 4. Як видно з нього, отриманий фрагмент на місці вилученого не сильно виділяється за своєю кольоровою гамою та яскравістю. Решта зображення виявилася такою ж як і до обробки. Це пояснюється тим, що градієнти, використані при його реконструюванні, залишилися незмінними, оскільки вилучення фрагмента відбулось після того, як вони було обчислені.
Після отримання полотна, яке допускає спотворення однаковим ядром розмиття чи ФРТ, можна провести його деконволюцію ядром розмиття, яке було отримане з допомогою методу, наведеного у другому розділі.
Для реалізації деконволюції пропонується використовувати фільтр Вінера. Вибір обґрунтовується тим, що для усіх методів деконволюції, характерним недоліком є залишкові спотворення, відомі як крайовий ефект типу «дзвін» (ringing effect). У Вінерівській фільтрації ці ефекти є не стільки недоліком скільки є природним результатом операції оберненої згортки або деконволюції. При будь-якому виді згортки зображення (від руху чи розфукусування оптичної системи) пікселі на краях передають частку власного значення функції інтенсивності за межі, і навпаки – пікселі із-за меж впливають на результуюче значення функції інтенсивності крайових пікселів. Іншими словами, при здійсненні операції зворотної згортки для реконструкції крайніх пікселів не вистарчає інформації, і вони реконструюються на основі екстраполяційних даних. Внесена на цьому етапі похибка впливає на реконструкцію значень функції інтенсивності інших пікселів, і як наслідок, на все зображення – зображення покривається хвильковими спотвореннями. 

Рисунок 4 – Зображення з вилученою неспотвореною ділянкою

Для того, аби послабити ефект “дзвону” пропонується скористатись схемою віддзеркалення. При цій схемі зображення розвертається у зворотному порядку та приєднується до правого та нижнього країв початкового зображення (рис. 5). Таким чином крайні пікселі перестають бути крайніми. Їхні сусіди справа і зліва для граничних правих пікселів, а також зверху і знизу для граничних нижніх пікселів є однаковими. Більше того, оскільки процес розгортки кожного пікселя залежить від сусідів, важливо, щоб ця дзеркальність була продовжена на якомога більшу глибину. В наведеному випадку ця глибина дорівнює повній висоті та широті зображення. Таким чином, вдається зменшити невизначеність для граничних пікселів. 

		
Рисунок 5 – Схема двостороннього віддзеркалення

Однак наведена схема прикриває граничні пікселі тільки з двох боків, залишаючи ще два відкритими. Для покращення ефекту усунення спотворення можна використати не двохстороннє, а чотиристороннє віддзеркалення, при якому початкове зображення обгортається своїми дзеркальними від ображеннями не з двох, а з чотирьох сторін (рис. 6). 
Після проведення деконволюції даного складеного зображення з нього вилучається центральна частина, яка і є результатом обробки фону зображення.
Заключний етап усунення локального змазу даного типу полягає в накладенні неспотвореної ділянки зображення, вилученої раніше, назад на оброблений фон. Краї прилягання проходять остаточну обробку для згладжування флуктуацій функції інтенсивності і отримання більш природного зображення. Після цих дій обробка вхідного зображення вважається завершеною.

			
			
Рисунок 6 – Схема чотиристороннього віддзеркалення

Четвертий розділ містить опис програмної реалізації розроблених в двох попередній розділах методів.
У найпершій реалізації алгоритмічні реалізації розроблених методів виконувались та перевірялись в середовищі MATLAB. Таке рішення пояснюється простотою реалізації а також великим набором готових методів обробки зображень в цій системі.
Надалі апробовані алгоритми були перекладені на мову С++. При цьому методи бібліотеки обробки зображень системи MATLAB замінювались відповідними методами бібліотеки OpenCV. Даний підхід має такі переваги:
•	Відносна простота реалізації. Це пояснюється повною ізоморфністю і взаємною замінюваністю методів MATLABа та бібліотеки OpenCV;
•	Підвищена продуктивністю роботи системи. MATLAB усе ж таки є інтерпретатором, тому час виконання програм, написаних скриптом, є достатньо значним, тоді як програма, написана на основі OpenCV, є скомпільованим програмним кодом, і її продуктивність значно вища;
•	Можливість реалізації динамічної розширюваності програмного рішення, яка забезпечує гнучкість програми. Саме для більшої гнучкості розробленої системи усі методи компілювались в одну динамічну бібліотеку (dll), звідки вони викликатись зовнішньою програмою;
•	Наявність достатньо потужних засобів розробки користувацьких інтерфейсів. Користувацький інтерфейс, методи вводу та виводу, керуюча логіка програми реалізовані у виконавчому файлі (exe). Програмний код написаний мовою С++ у середовищі Visual Studio.
Розроблена на принципі ядра процесу обробки керуюча програма використовує методи з динамічної бібліотеки для реалізації цієї обробки.
Структурна схема програмного рішення приведене на рис. 7. За цією схемою роботу системи можна поділити на роботу двох модулів. Перший з них забезпечує реалізацію отриманих методів, а другий –  ввід вхідних даних (у тому числі вхідних зображень) та виведенням результатів (у тому числі оброблених зображень).
Елементи, зображені на даній схемі, стосуються структури керуючої програми. Однак, усі дії-потоки, що становлять суть роботи над зображеннями, ґрунтуються, в основному, на викликах методів з динамічної бібліотеки. Винятком з цього твердження є лише методи модуля, що реалізовує введення-виведення. Цей модуль належить лише керуючій програмі.

Рисунок 7 – Структура програмної системи усунення локальних спотворень зображень

ВИСНОВКИ
У дисертаційній роботі на основі проведених досліджень розв’язано актуальну наукову задачу усунення локальних спотворень зображень та створено програмні реалізації розроблених методів усунення таких спотворень.
При цьому отримано такі науково-практичні результати:
1.	На підставі опрацювання літературних джерел досліджено механізм виникнення спотворення, та визначено його характеристики й аналітичну форму. Проаналізовано існуючі методи усунення повних та локальних змазів. Обґрунтовано доцільність розроблення нових методів усунення як локальних так і глобальних спотворень викликаних переміщеннями об’єктів спостереження або пристроїв реєстрації.
2.	Вперше розроблений метод визначення траєкторії спотворювального руху, який базується на дослідженні закономірностей в розподілі флуктуацій функції інтенсивності, дав можливість оцінювати траєкторію без апріорних початкових припущень.
3.	Вперше розроблений метод визначення дискретної функції розсіяння точки на основі відомостей про траєкторію руху, який спричинив змаз зображення, дозволив в середньому на 26 % точніше визначати ФРТ як локального так і глобального спотворень і забезпечив отримання траєкторій без галужень і розривів. 
4.	Розроблений метод заповнення прогалин на місцях вилучених фрагментів шляхом інтегрування зображення забезпечив відокремлену обробку спотворених ділянок зображення без втручання в неспотворені області, що, у свою чергу, зробило можливим локальну реконструкцію для випадку руху камери.
5.	Розроблений метод заміни фону рухомого об’єкта зробив можливим відновлення локально спотворених зображень для випадку руху одного чи декількох об’єктів при нерухомому пристрою реєстрації, а також забезпечив мінімізацію проявів «ефекту дзвона» при відновленні таких зображень.
6.	Удосконалений шляхом застосування розробленої технології двостороннього та чотиристороннього віддзеркалення метод несліпої деконволюції спотворених рухом зображень завдяки мінімізації впливу крайових ефектів призвів до зменшення проявів «ефекту дзвона» та ентропії в середньому на 1,04%.
7.	Із використанням інформації про характер змазу отримав подальший розвиток спосіб виділення контурів спотворених рухом ділянок зобра-ження, що дозволило з більшою точністю проводити реконструкцію зображень.
8.	Розроблене на основі отриманих теоретичних результатів програмне за-безпечення, забезпечує ефективне усунення не лише локальних, а й гло-бальних спотворень зображень у випадках їх появи внаслідок переміщень об’єкта уваги чи пристрою реєстрації.

СПИСОК основних ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ
1.	Пелешко Д.Д. Концепція усунення спотворень зображення, викликаних рухом окремих об'єктів / Д.Д. Пелешко, Н.О. Кустра, А.В. Клювак // Вісник Хмельницького національного університету: Технічні науки. – Хмельницький, 2011. – № 4. – С.243-246.
2.	Пелешко Д.Д. Метод автоматизованого оцінювання траєкторії руху об'єкта при змазі об'єкта / Д.Д. Пелешко, Н.О. Кустра, А.В. Клювак // Вісник НУ«ЛП»: Комп’ютерні науки та інформаційні технології. – Львів, 2011. – № 710. – С.65-70.
3.	Клювак А.В. Оцінка дискретної функції розсіяння точки спотвореного рухом зображення / А.В. Клювак, Д.Д. Пелешко // Комп’ютерні технології: наукові праці. – Миколаїв, 2011. – Т. 173, № 161. – С.64-67.
4.	Пелешко Д.Д. Усунення динамічних часткових спотворень для відтворення зображень на основі інтегрально-диференціального підходу / Д.Д. Пелешко, О.М. Маковейчук, А.М. Ковальчук, А.В. Клювак // Вісник НУ«ЛП»: Комп’ютерні науки та інформаційні технології, – Львів, 2013. – – № 751. – С.320-333.
5.	Пелешко Д.Д. Імовірностна ідентифікація захисних графічних елементів спотворених змазами. / Д.Д. Пелешко, І.М. Дронюк, М.З. Пелешко, А.В. Клювак// Вісник Львівського державного університету безпеки життєдіяльності: зб. наук. праць. – Львів, 2013.  № 7. – С.34-41.
6.	Пелешко Д.Д. Розробка програмної системи детектування руху у відеопотоці/ Д.Д. Пелешко, Ю.Є. Іванов, А.В. Клювак, Р.С. Марцишин // Технічні вісті. – Львів, 2009. – №. 1(29), 2(30). –  С.78-80.
7.	Deblurring of images distorted by separate objects' motion using blur kernel: Proceedings of the V International Scientific and Technical Conference [“Computer Science And Information Technologies” (CSIT 2010)], (Lviv, October 14-16, 2010) / Lviv Polytechnik National University. – Lviv: Publishing House Vezha&Co, 2010. – p. 34-35.
8.	Automated detection of digital images partial blur: Proceedings of the 11 International Conference [“The experience of designing and application of CAD systems in microelectronics” (CADSM 2011)], (Lviv – Polyana, 23 – 25 February 2011) / Lviv Polytechnik National University. – Lviv: Publishing House Vezha&Co, 2011. – p. 316-316.
9.	Motion Blurred Images PSF Estimation method: Materials of the VIth International Scientific and Technical Conference [“Computer Science And Information Technologies” (CSIT 2011)], (Lviv, November 16 – 19, 2011) / Lviv Polytechnik National University. – Lviv: Publishing House Vezha&Co, 2011. – p.23-24.
10.	 Оцінка дискретної функції розсіяння точки спотвореного рухом зображення: зб. пр. ІІ-ї наук.-техн. конф. [“Обчислювальні методи і системи перетворення інформації”], (Львів, 4-5 жовтня 2012р.), Вип.ІІ. / ФМІ НАУНУ. – Львів, 2012. – С.184-188.
11.	 Reconstruction of Images Distorted by Partial Motion Blur with Not Blurred Zones Inclusions: Proceedings of the VII International Scientific and Technical Conference [“Computer Science And Information Technologies” (CSIT 2012)], (Lviv, 20-24 November 2012) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2012. – p.125-126.
12.	 Development of Tracking and segmentation algorithm of partial occluded moving objects: Proceedings of the 12 International Conference [“The experience of designing and application of CAD systems in microelectronics” (CADSM 2013)], (Polyana, Ukraine, February 19-23, 2013) / Lviv Polytechnik National University. – Lviv: Lviv Polytechnic, 2013. – p.280-282.
13.	 Iдентифікація спотворених захисних графічних елементів: Mатеріали міжнародної наукової конференції [“Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту”], (Херсон, 20-34 травня 2013) / ХНТУ. – Херсон, 2013. – С.392-393.

АНОТАЦІЇ
Клювак А.В. Методи усунення локальних спотворень зображень. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 – Системи та засоби штучного інтелекту, Національний університет "Львівська політехніка", Львів, 2013.
Дисертація присвячена вдосконаленню та розробленню методів усунення спотворень зображень, які виникли внаслідок руху. Основна увага спрямовується на локальні типи спотворення, тобто такі типи змазів, при яких спотворення зазнають лише окремі ділянки, а не зображення вцілому.
Розроблено типологію локальних динамічних спотворень та концепції усунення виділених типів спотворень.
Розроблено метод оцінки дискретної функції розсіяння точки, у тому числі розроблено метод оцінки траєкторії спотворювального руху. Розроблено метод перенесення спотворених ділянок зображення на чорний фон та метод автоматизованого детектування зони спотворення.
На основі операцій диференціювання та інтегрування зображень розроблено метод вилучення окремих ділянок зображення. Також було вдосконалено існуючі методи розгортки з метою послаблення проявів візуальних артефактів обробки.
Ключові слова: зображення, градієнти, змаз, конволюція, деконволюція, згортка, обернена згортка, розгортка, функція розсіяння точки, комп’ютерний зір.

A. Klyuvak. The methods of images partial motion blur removal. – Manuscript.
The thesis for candidate of technical science degree within the speciality 05.13.23 – the systems and means of artificial intelligence. Lviv Polytechnic National University, Lviv, 2013.
The thesis is devoted to the methods of reconstruction of images distorted by motion blur. The paper is mainly focused on partial motion blur - blur that affects not whole image but some part of it.
The paper contains the depiction of CCD and CMOS matrices design – matrices that form digital images in photo and video cameras and hence are those places where motion blur emerges. The nature of motion blur is observed and some inherent features of blurred images frequency domain were revealed. Also the mechanism of motion blur was viewed in details, including the way how blurred and unblurred areas of a partially blurred image affects each other.
The classification of partial blur was developed. Here where outlined two types of images partial blur: a) an image of a blurred moving object against unblurred background and b) an image of unblurred object surrounded with blurred background. Deblurring approaches for every of those types were also developed.
One of the most important points of the paper is Point Spread Function (PSF) estimation method. It is based on the method of distorting motion trajectory estimation. Trajectory estimation method involves sharp edges motion tracing by means of colour gradients exploration. Further the motion uniformity calculation is carried having the known trajectory and the statistics of the whole blurred image. These two steps comprise PSF estimation method.
Other developed methods are: the method of automated blur detection and the method of substitution of background colour of image distorted patches. The first is used to detect the shape of blurred area and is based on pixels’ colours standard deviation statistics. The latter is utilised to separate blurred object image from surrounding unblurred background; it also helps to avoid ringing effect when deblurring the extracted patch.
When dealing with blurred background surrounding unblurred object image, another method for their separation is used. The method of image patches extraction was based on the operations of image differentiation and image integration. The point of the method is that an image is processed in tree steps: it is consequently differentiated (i.e. gradients are calculated) and then integrated after the unblurred patch extraction. Hence this approach allows generating an image with nearly natural filling of the empty area of the extracted patch. This is very useful for further processing of the blurred background, which is hence presumed to be uniformly blurred.
Apart from designing new methods of image processing the current work also contains some enhancements of the existing deblurring methods. The aim of the enhancement was the minimisation of deblurring artefact, known as ringing effect. This was achieved by the means of 4 sides mirroring of a blurred image. When this approach is used the input image is wrapped around by mirrored (flipped) images of its own. As the result ringing effect is considerably weaker after the deblurring. 
Key words: motion blur, deblurring, convolution, PSF, computer vision.

Клювак А.В. Методы устранения локальных искажений изображений. – Рукопись.
Диссертация для получения научной степени кандидата технических наук по специальности 05.13.23 – Системы и средства искусственного интеллекта, Национальный университет "Львивська политэхника", Львов, 2013.
Диссертация посвящена методам реконструкции изображений, искаженных смазом. Особенное внимание приделено локальным смазам, т.е. смазам части изображения.
Разработано классификацию локальных смазов и подходы к их устранению.
Разработано метод оценки функции рассеивания точки, в том числе метод оценки траектории искажающего движения. Также разработано метод замены фона искаженной части изображения и метод детектирования зоны смаза.
Метод извлечения отдельных кусков изображения был оперт на операции интегрирования и дифференцирования изображений. Также были усовершенствованы существующие методы деконволюции с целью уменьшения краевых эффектов.
Ключевые слова: изображение, градиенты, смаз, конволюция, деконволюция, функция рассеивания точки, компьютерное зрение.

Підписано до друку 27.09.2010. Формат 60х841/16. Папір офсетний. 
Гарнітура "Times". Друк на різографі. Умовн. друк. арк. 1,9. 
Обл.-видав. арк. 1,1. Тираж 120 прим. Зам. № 724. 
Виготівник і видавець – ТзОВ "Тріада плюс"
вул. Митр. Ангеловича, 28, м. Львів, 79016
тел. +380322431749, ел.пошта: office@triadaplus.lviv.ua

Свідоцтво про внесення суб'єкта видавничої справи до Державного реєстру видавців, виготівників і розповсюджувачів видавничої продукції ДК № 2712 від 07.12.2006