Синтез паралельно-потокових пристроїв вертикального обчислення базових багатооперандних нейрооперацій

Abstract

У статті представлено дослідження апаратної реалізації базових багатооперандних нейрооперацій для штучних нейронних мереж. Виділено операційний базис нейронних мереж, що включає групи операцій попередньої обробки, процесорних операцій та обчислення передатних функцій. Обґрунтовано вибір базових багатооперандних нейрооперацій: пошуку екстремальних значень у одновимірних масивах, обчислення суми квадратів різниць, скалярного добутку та групового підсумовування. Вдосконалено методи вертикального обчислення зазначених операцій за рахунок одночасного опрацювання розрядного зрізу всіх операндів та адаптивної зміни складності операцій у конвеєрній сходинці. Це забезпечує узгодження часу надходження даних з часом обчислення та високу ефективність використання обладнання. Запропоновано інтегрований підхід до розробки паралельно-потокових пристроїв, який базується на можливостях сучасної елементної бази та враховує вимоги конкретних застосувань. Визначено принципи розробки паралельнопотокових пристроїв вертикально-групового обчислення: використання базису елементарних арифметичних операцій, модульність, конвеєризація, просторовий паралелізм, однорідність структури, узгодження часових параметрів та спеціалізація під конкретні завдання. Розроблено послідовно-паралельний перетворювач форматів даних для перетворення потоку послівних вхідних даних у паралельний одновимірний масив. Створено базові паралельно-потокові структури, які апаратно реалізують вертикальні алгоритми обчислень. Удосконалено метод синтезу паралельно-потокових пристроїв із використанням механізмів узгодження тривалості конвеєрного такту з часом надходження даних. Показано, що застосування розроблених методів та структур забезпечує обробку даних у реальному часі з високою ефективністю використання обладнання. This paper presents a study of hardware implementation of basic multi-operand neural operations for artificial neural networks. The operational basis of neural networks is identified, which includes groups of preprocessing operations, processor operations, and transfer function computations. The selection of basic multi-operand neural operations is justified: finding extreme values in onedimensional arrays, calculating the sum of squared differences, scalar product computation, and group summation. Vertical computation methods for the specified operations have been improved through simultaneous processing of bit slices of all operands and adaptive complexity changes of operations in pipeline stages. This ensures synchronization of data arrival time with computation time and high equipment utilization efficiency. An integrated approach to developing parallel-pipeline devices is proposed, which is based on the capabilities of modern element base and considers the requirements of specific applications. The principles of developing parallel-pipeline devices for vertical-group computation have been defined: using the basis of elementary arithmetic operations, modularity, pipelining, spatial parallelism, structural uniformity, timing parameter coordination, and specialization for specific tasks. A serial-parallel data format converter has been developed for transforming the stream of wordsequential input data into a parallel one-dimensional data array. Basic parallel-pipeline structures have been created that implement vertical computation algorithms in hardware. The synthesis method for parallel-pipeline devices has been improved using mechanisms for coordinating pipeline cycle duration with data arrival time. It is shown that the application of the developed methods and structures ensures real-time data processing with high equipment utilization efficiency.