Hardware-in-the-loop simulationof 3D coordinates determination subsystem by using modified method of stereopairs

Abstract

The question of determining threedimensional coordinates of a visual object (aircraft) arises in the air and runway areas of airports where radar systems are ineffective. The main objective of the work is to develop and improve basic algorithms and basic hardware structures for optimal calculation of threedimensional coordinates of a visual object in real time. This article discusses hardware-in-the loop simulation and further development of subsystems for determining coordinates of an object identified on the video image of an airport’s runway and surrounding area. This paper documents the hardware and software implementation of an algorithm used to calculate three-dimensional coordinates of a visual object by using the modified method of stereopairs. Namely, processing of incoming analog signals, binarization of the frame taken from a video by cropping, and determining coordinates of the object for each image (out of three images) by its center of weight, and then calculation of 3-dimensional coordinates by using the modified method of stereopairs. The developed system is designed to support the existing flight safety control systems used at control towers, and to provide a display of a real situation at airports within view of a video camera. For the subsystem to be modeled and verified for proper operation, we used a video with known coordinates of a reference plane for each frame. The results obtained through the simulation of an automatic subsystem for the determination of aircraft coordinates are quite close to the actual coordinates of a real object and do not exceed 2 % error. Apparently, the program testing has shown good outcomes that indicate the correct implementation of the algorithm. Питання визначення тривимірних координат візуального об’єкта (літака) виникає в повітряній та злітнопосадковій зонах аеропортів, де радіолокаційні системи (РЛС) є неефективними. Основне завдання роботи полягає у розробленні та вдосконаленні базових алгоритмів та базових апаратних структур для оптимального обчислення тривимірних координат візуального об’єкта в реальному режимі часу. Ця стаття розкиває апаратно-програмне моделювання та подальше розроблення підсистеми визначення координат об’єкта ідентифікованого на відеозображенні злітно-посадкової смуги та прилеглого простору аеропорту. Oписано апаратно-програмну реалізацію алгоритму для розрахунку тривимірних координати візуального об’єкта за допомогою модифікованого методу стереопари, а саме опрацювання вхідного аналогового сигналу, бінаризацію кадру, який взятий з відеоряду шляхом кадрування, та визначення координат візуального об’єкта для кожного з трьох зображень по його центру мас, розрахунок тривимірних координат за допомогою модифікованого методу стереопари. Розроблена система призначена бути допоміжною для існуючих систем безпеки польотів контрольно-диспетчерських пунктів (КДП), і забезпечує відображення реальної обстановки в аеропорту та прилеглих зонах у межах поля зору відеокамери. Для моделювання підсистеми та перевірки на коректність її роботи використано еталонне відеозображення з відомими координатами літака для кожного кадру. У результаті моделювання автоматичної підсистеми визначення тривимірних координат літальних апаратів отримано результати, доволі близькі до реальних координат візуального об’єкта, що не перевищували 2 %. Отже, результати випробування програми є хорошими, що свідчить про правильну реалізацію алгоритму.