Operational basis of artificial neural networks and evaluation of hardware characteristics for its implementation

Abstract

Проаналізовано завдання, які виконують інтелектуальні компоненти мобільних робототехнічних систем (МРС), і визначено їхні особливості. Визначено операційний базис для реалізації апаратних прискорювачів штучних нейронних мереж (ШНМ) і розділено його на три групи нейрооперацій: попереднього оброблення, процесорних та обчислення передатних функцій. Показано, що операції першої групи забезпечують перетворення вхідних даних до вигляду, який дасть найкращі результати, операції другої групи (множення, додавання, групового підсумовування, обчислення скалярного добутку, обчислення двовимірної згортки, множення матриці на вектор) виконуються безпосередньо у самій нейромережі у процесі навчання та функціонування, операції третьої групи забезпечують обчислення передатних функцій. Визначено, що спеціалізовані апаратні засоби інтелектуальних компонентів МРС повинні забезпечувати роботу в реальному часі та враховувати обмеження стосовно габаритів і енергоспоживання. Запропоновано розроблення спеціалізованих апаратних засобів інтелектуальних компонентів МРС здійснювати на основі інтегрованого підходу, який охоплює можливості сучасної елементної бази, паралельні методи оброблення даних, алгоритми та структури апаратних засобів і враховує вимоги конкретних застосувань. Для розроблення апаратних прискорювачів ШНМ вибрано принципи: модульності; однорідності та регулярності структури; локалізації та зменшення кількості зв’язків між елементами; конвеєризації та просторового паралелізму; узгодження інтенсивностей під час надходження вхідних даних, обчислення та видавання результатів; спеціалізації та адаптації апаратних структур до алгоритмів реалізації нейрооперацій. Запропоновано для оцінювання спеціалізованих апаратних засобів використовувати такі характеристики: витрати обладнання, час виконання операції та ефективність використання обладнання. Розроблено аналітичні вирази та імітаційну модель оцінювання характеристик спеціалізованих апаратних засобів, результати оцінювання яких використовують для вибору найефективнішої структури прискорювача й елементної для реалізації інтелектуальних компонентів МРС. Вдосконалено метод вибору елементної бази для реалізації інтелектуальних компонентів МРС, який завдяки врахуванню результатів оцінювання характеристик апаратних прискорювачів, вимог конкретного застосування та наявної елементної бази для їх реалізації забезпечує вибір найефективнішої з наявних.

The tasks performed by the intelligent components of mobile robotic systems (MRS) are analyzed and their features are determined. The operational basis for the implementation of hardware accelerators of artificial neural networks (ANN) is defined and divided into three groups of neurooperations: preprocessing, processing and calculation of transfer functions. It is shown that the operations of the first group provide the transformation of the input data to the form that will give the best results, the operations of the second group (multiplication, addition, group summation, calculation of the dot product, calculation of a two-dimensional convolution, multiplication of the matrix by a vector) are performed directly in the neural network itself in the process of training and functioning, operations of the third group provide calculation of transfer functions. It is determined that the specialized hardware of the intelligent components of the MRS should provide real-time operation and take into account the limitations in terms of dimensions and power consumption. It is proposed to carry out the development of specialized hardware of intelligent components of the MRS on the basis of an integrated approach, which covers the capabilities of the modern element base, parallel methods of data processing, algorithms and structures of hardware and takes into account the requirements of specific applications. For the development of hardware accelerators ANN, the following principles were chosen: modularity; homogeneity and regularity of the structure; localization and reduction of the number of connections between elements; pipeline and spatial parallelism; coordination of intensities in the receipt of input data, calculation and issuance of results; specialization and adaptation of hardware structures to algorithms for the implementation of neurooperations. It is proposed to use the following characteristics to evaluate specialized hardware: hardware resources, operation time and equipment utilization efficiency. Analytical expressions and a simulation model for evaluating the characteristics of specialized hardware have been developed, the results of which are used to select the most effective accelerator and elemental structure for the implementation of intelligent components of the MRS. The method of selection of the element base for the implementation of intelligent components of the MRS has been improved, which, by taking into account the results of the assessment of the characteristics of hardware accelerators, the requirements of a specific application and the existing element base for their implementation, ensures the selection of the most effective of the existing ones.