Система прийняття рішень у умовах невизначеності на основі стохастичної гри нейроагентів

Abstract

Напротязі останнього десятиліття серед різноманітних напрямів штучного інтелекту на одне з ведучих міст все більше предендують дослідження, які об’єднують під загальною назвою «мультиагентні системи». Взагалі кажучи, дослідження по інтелектуальним агентам та багатоагентним системам мають вже майже сорокарічну історію, але тільки в останні роки ці дослідження насправді оформились в самостійний широкий та багатоплановий розділ штучного інтелекту, який притягує до себе кращих дослідників з різних областей, причому не тільки штучного інтелекту. Причин такої зацікавленості щодо мультиагентних систем немало, і вони різні, але головна полягає в тому, що ця зацікавленість зумовлена досягненнями в області інформаційних технологій, штучного інтелекту, розпреділених інформаційних систем, комп’ютерних мереж та комп’ютерної техніки. Мультиагентні системи мають реальну можливість інтегрувати в собі найбільш передові досягнення перечислених областей, демонструючи принципово нові якості. Можна без сумнівів стверджувати, що поява цього напрямку свідчить про новий рівень, досягнутий в області інформаційних технологій та штучного інтелекту зокрема, а темпи його прогресу дають привід передбачати йому ведучу роль в найближчі десятиліття в широкому крузі програмних систем. Об’єктом дослідження є процес розподіленого вироблення та прийняття колективних рішень в мультиагентних системах, що функціонують в умовах невизначеності. Предметом дослідження є модель прийняття рішень у умовах невизначеності на основі стохастичної гри нейроагентів з алгоритмами навчання без учителя. З метою розуміння та пояснення роботи нервовоої системи тварин та людей, були розроблені прості математичні моделі нервових кліток (нейронів), які можуть об’єднуватись в штучні нейронні мережі різної складності. Індивідуальні нейрони є будівельними блоками для більш складних нейронних мереж. Навіть найпростіші будівельні блоки таких мереж, нейрони МакКалоха-Пітта, є достатньо цікавими для індивідуального аналізу. Така мережа, що також носить назву простого перцептрона, може виконувати обмежену, але нетривіальну класифікацію, а також навчатися по невідомим правилам. Дана модель формалізує дві особливості біологічних нейронів: вони отримують сигнали від інших клітин через синаптичні канали, а також вони активізуються у випадку, якщо сумарний вхід перевищить деякий визначений поріг і не активізуються у протилежному випадку. Для підвищення складності та реалістичності задач, в порівнянні з простим перцептроном, пропонуються два основні напрямки: перший полягає в конструюванні більш складних структур на основі простих перцептронів, таких як багатошарові мережі, мережі асоціативної пам’яті та рекурентів мережі. Цей напрямок тісно зв’язаний з комп’ютерними науками та машинним навчанням. Інший напрямок зосереджується на залученні більш точних біологічних мехінізмів, таких як явне моделювання клітинної мембрани та регуляція порогу. Так як дані методи є важкими для аналітичного підходу, вони можуть використовуватися для емуляції біологічних проблем розпізнавання образів аналітично. В даній дипломній роботі буде використовуватися найпростіша архітектура, застосовна для вирішення поставленої задачі, а саме, прості та безперервні перцептрони. Розуміння принципів їхньої взаємодії є непростим завданням. Наукова новизна - розроблено нейроагентну модель в розумінні теорії ігор, де індивідуальні нейрони повинні оптимальним чином поводитись в даній матриці виграшів. Проводиться теоретичний аналіз обраної моделі нейронної системи та вказується, що теорія ігор може виступати в ролі організаційного основи для таких систем. Метою роботи є розроблення програмних засобів моделювання стохастичної гри нейроагентів для колективного вибору варіантів рішень в умовах невизначенсті. В основі роботи нейронних мереж для оптимізації поведінки в ході гри лежать алгоритми навчання для нейронних мереж, оптимізовані для теорії ігор.uncertainty based on the stochastic game of neuroagents. Master's thesis. Lviv Polytechnic National University, Lviv, 2023. Extended abstract.

Over the past decade, among various directions in artificial intelligence, research on "multi-agent systems" has increasingly gained prominence. Generally speaking, studies on intelligent agents and multi-agent systems have a history of nearly forty years, but only in recent years have these investigations truly evolved into an independent, broad, and multidisciplinary branch of artificial intelligence, attracting top researchers from various fields, not just artificial intelligence. The interest in multi-agent systems has multiple reasons, rooted in achievements in information technologies, artificial intelligence, distributed information systems, computer networks, and computer hardware. Multi-agent systems have a real potential to integrate the most advanced achievements from these areas, showcasing fundamentally new qualities. It can confidently be stated that the emergence of this direction signifies a new level achieved in the field of information technologies and artificial intelligence, and the pace of its progress suggests a leading role in a wide range of software systems in the coming decades. The research focuses on the process of distributed development and collective decision-making in multi-agent systems operating in conditions of uncertainty. The subject of the study is a decision-making model under uncertainty based on a stochastic game of neuro-agents with unsupervised learning algorithms. To understand and explain the functioning of the nervous system in animals and humans, simple mathematical models of nerve cells (neurons) have been developed, which can be combined into artificial neural networks of varying complexity. Individual neurons serve as building blocks for more complex neural networks. Even the simplest building blocks of such networks, McCulloch-Pitts neurons, are interesting for individual analysis. Such a network, also known as a simple perceptron, can perform limited but non-trivial classification and learn unknown rules. This model formalizes two characteristics of biological neurons: they receive signals from other cells through synaptic channels, and they activate if the cumulative input exceeds a certain defined threshold and remain inactive otherwise. To enhance the complexity and realism of tasks compared to a simple perceptron, two main directions are proposed: the first involves constructing more complex structures based on simple perceptrons, such as multi-layer networks, associative memory networks, and recurrent networks. This direction is closely related to computer science and machine learning. The second direction focuses on incorporating more precise biological mechanisms, such as explicit modeling of the cell membrane and threshold regulation. Since these methods are challenging for an analytical approach, they can be used to emulate biological pattern recognition problems analytically. This thesis employs the simplest architecture applicable to solving the set task, namely, simple and continuous perceptrons. Understanding the principles of their interaction is a challenging task. In natural systems, such neural networks interact with other components in various ways, forming a world of images and perceptions around us. Despite tireless efforts in various areas of this field, much remains unknown about individual neurons and the processes of their interaction and organization in neural networks. Recently, game theory has begun to attract some attention in the field of neuroscience. Branches like neuroeconomics, for example, combine experiments with human and non-human players to better understand the decision-making process. The scientific novelty lies in the development of a neuro-agent model in game theory, where individual neurons must behave optimally in a given matrix of gains. A theoretical analysis of the selected neural system model is conducted, indicating that game theory can serve as an organizational basis for such systems. The goal of the work is to develop software tools for modeling the stochastic game of neuro-agents for collective decision-making in conditions of uncertainty. At the core of the work on neural networks to optimize behavior during the game are learning algorithms for neural networks optimized for game theory.