Нейросетевое моделирование игры в крестики-нолики

Область применения нейронных сетей в настоящее время постоянно расширяется,существует множество успешных решений, использующих этот подход.Такая успешная реализация нейросетевых решений в первую очередь обусловленаих преимуществами перед традиционными методами [4,5]:сотни входных сигналов и от десятков до сотен тысяч эталонных ситуаций могутбыть быстро обучены на обычном компьютере;- возможность работы при наличии большого количества неинформативных, зашумленных входных сигналов − нет необходимости делать их предварительный скрининг, нейронная сеть сама определит их непригодность для решения задачи и может явноотбросить их;- возможность работы с коррелированными независимыми переменными,с различными типами информации − непрерывной и дискретной, количественной и качественной, что часто затрудняет применение статистических методов;- нейронная сеть может одновременно решать несколько задач на одномнаборе входных сигналов − имея несколько выходов, прогнозировать значениянескольких показателей;- алгоритмы обучения предъявляют довольно мало требований к структуре нейронной сети и свойствам ее нейронов. Поэтому, если у вас есть экспертныезнания или в случае особых требований, вы можете целенаправленно выбратьтип и свойства нейронов и нейронных сетей, соберите структуру нейронной сети вручную, из отдельных элементов, и установите желаемые свойства для каждого из них.Несмотря на большие возможности, существует ряд недостатков, которыевсе еще ограничивают использование нейросетевых технологий. Нейронные сетипозволяют нам находить только неоптимальное решение, а потому неприменимы для задач, в которых требуется высокая точность.Функционируя по принципу черного ящика, они также неприменимы в том случае, когда необходимо объяснить причину принятия решения.Обученная нейронная сеть дает ответ за доли секунд, но относительно высокие вычислительные затраты на процесс обучения как по времени, так и пообъему занимаемой памяти также существенно ограничивают возможности ихиспользования. И все же класс задач, для которых эти ограничения неявляются критичными, довольно широк.Возможности, предлагаемые нейронными сетями на данный момент времени, позволят создать новое поколение систем управления, то есть тех, которые обладают определенной степенью интеллекта. Определенная интеллектуализациясистем управления даст несомненные преимущества.Благодаря одному из своих удивительных свойств, способности к обучениюнейронных сетей, вы сможете создавать системы управления, которые будут способны адаптироваться к изменяющимся со временем свойствам объекта, что, несомненно, повлияет на качество управления.2.2. Особенности применения выбранного подхода к решению проблемной ситуацииОсновной задачей является разработка программы, которая самостоятельно учится играть в крестики-нолики. Ожидается, что программа будет обучаться, играя в большое количество итераций игры. Программе не предоставляется предварительная информация об игре, единственная информация, предоставляемая ей, заключается в том, была ли игра выиграна /проиграна /сыграна вничьюЧтобы разбить проблему на более простые части, давайте определим некоторые термины.Программа самообучения - это система, которая, как ожидается, научит пользователя играть в крестики-нолики. Он состоит из следующих компонентов:Генератор Ходов: для заданного состояния доски генератор допустимых ходов выводит набор всех возможных допустимых следующих состояний доски для игрокаОценщик (Модель Нейронной сети): для данного состояния доски оценщик прогнозирует оценкуПереключатель перемещения программы: для заданного состояния доски селектор хода программы выбирает следующий ход для Программы, используя следующий подход:Используйте Генератор ходов, чтобы получить набор всех возможных законных состояний следующей доски.Для каждого из возможных законных следующих состояний правления, указанных выше, используйте Оценщик и прогнозируйте оценку.Для следующего хода выбирается возможное следующее состояние доски с наибольшим прогнозируемым счетом. ​Программа обучается, играя несколько итераций игр против закодированного противника. Упомянутый выше "Оценщик" представляет собой модель нейронной сети. Во время первой игры нейронная сеть (оценщик) инициализируется со случайными весами.После того, как программа сыграет первую игру, результаты, полученные нейронной сетью, корректируются следующим образом:Если игра была выиграна программой, присвоите последнему состоянию доски оценку 1. Аналогично, присвоите оценку -1, если игра была проиграна, и 0, если игра была сыграна вничью.Для каждого из предыдущих состояний доски назначьте оценку, которая была предсказана для следующего состояния доски. Например, предпоследнему состоянию доски присваивается оценка, которая была предсказана для последнего состояния доски, и так далее*Обновите веса нейронной сети (используя SGD), подгоняя ее к состояниям платы и скорректированным баллам.Повторяйте описанный выше процесс снова и снова, в течение большого количества игр, обновляя нейронную сеть после каждой игры.Логика подхода заключается в том, что для игрока, если конечное состояние доски было выигрышным состоянием, то состояния доски, ведущие к конечному состоянию, также были бы благоприятнымиПоскольку процесс обновления веса повторяется в течение игр, нейронная сеть учится присваивать более высокий балл благоприятным состояниям доски и более низкие баллы неблагоприятным состояниям доски.Ниже приведена диаграмма того, как веса модели будут обновляться после каждой игры:​​Генератор ходов возвращает словарь со всеми возможными юридическими координатами и их результирующими сглаженными состояниями numpyboard.Ожидается, что после обучения Оценщик научится присваивать более высокие баллы состояниям правления, которые благоприятны для программы.В нашем ядре мы используем нейронную сеть в качестве функции оценки. Веса нейронной сети вводятся случайным образом. Архитектура / гиперпараметры нейронной сети были выбраны методом проб и ошибок и могут быть оптимизированы в дальнейшем.Нейронная сеть принимает в качестве входных данных сплющенный массив numpy для игры в крестики-нолики и выдает результат.Программный селектор ходов выбирает следующий ход для игрока с учетом текущего состояния доски, используя следующий подход:Используйте генераторходов, чтобы получить все возможные следующие состояния доски.Используйте оценщик (модель) для оценки каждого возможного следующего состояния доски.Следующее состояние доски, которому присвоен наивысший балл, выбирается в качестве следующего состояния доски.Глава 3. Анализ полученных результатов и выводыСозданная модель позволяет предсказывать оптимальный следующий ход в игре Крестики нолики. Проиграв большое число партий нейронная сеть вычислила закономерности и определила возможные выигрышные стратегии для разных вариантов.Игра Крестики нолики не отличается сложностью продумывания ходов на много итераций вперед. В отличие, например, от шахмат, где важно определить возможные действия на несколько ходов вперед. Тем не менее, заложенную базу можно использовать для работы с более сложными играми или системами принятия решения в целом.Системы принятия решений необходимы, когда дело касается автоматизации обычных процессов – на предприятии, в благоустройстве города, административном секторе.ЗаключениеВ рамках данной работы была поставлена цель создания модели, играющей в крестики нолики. Игра в крестики нолики не считается сложной, однако хорошо иллюстрирует работу самообучающихся систем, которые путем многочисленных повторений выявляют закономерности, необходимые для определения выигрышной стратегии.Созданную модель можно использовать для обучения игре или основе для дальнейших разработок. Работа состоит из 2 глав, включая в себя общий обзор рассматриваемой проблемы, описание существующих подходов к обучению, описание процесса создания модели и выводы.Дальнейшая работа может быть связана с применением описанного подхода для создания моделей для более сложных игр или систем принятия решений. ЛитератураАлифиров А.И. // Проблемы развития науки и образования: теория и практика. Сборник научных трудов поматериалам Международной научно-практической конференции 31 августа 2015 г.: в 3 частях. Часть II. М.:"АР-Консалт", 2015 г. – С. 13-14.2. Михайлова И.В., Алифиров А.И. Тактические действия шахматистов / Михайлова И.В., Алифиров А.И. //Результаты научных исследований Сборник статей Международной научно-практической конференции.Ответственный редактор: СукиасянАсатур Альбертович (15 февраля 2016 г.) в 4 ч. Ч/3 – Уфа: АЭТЕРНА. –2016. С. 119-121.3. Михайлова И.В., Алифиров А.И. Теоретико-методологические основы метода мышления схемамишахматистов / Михайлова И.В., Алифиров А.И. // Результаты научных исследований Сборник статейМеждународной научно-практической конференции. Ответственный редактор: СукиасянАсатурАльбертович (15 февраля 2016 г.) в 4 ч. Ч/3 – Уфа: АЭТЕРНА. – 2016. С. 123-125.4. Михайлова И.В. Подготовка юных высококвалифицированных шахматистов с помощью компьютерныхшахматных программ и "интернет" :автореф. дис. ... канд. пед. наук : 13.00.04 / Михайлова ИринаВитальевна; РГУФК. – М., 2005. – 24 с.Приложения