Оптимизация рекуррентной нейронной сети при помощи автоматов с переменной структурой

Димитриченко Дмитрий Петрович кандидат технических наук научный сотрудник, Институт прикладной математики и автоматизации 360000, Россия, г. Нальчик, ул. Шортанова, 89а Dimitrichenko Dmitriy Petrovich PhD in Technical Science Researcher, Institute of Applied Mathematics and Automation 360000, Russia, g. Nal'chik, ul. Shortanova, 89a dimdp@rambler.ru Другие публикации этого автора

Введение

Потребность решения задач, связанных с распознаванием образов, диагностикой ситуаций и состояний сложных систем, деления объектов на классы и проведение кластеризации данных ^[1-5], а так же задачи прогнозирования и управления ^[6], привела к созданию огромного разнообразия типов нейронных сетей.

Различные типы применяемых на практике нейронных сетей определяют и область их целесообразного применения, и процедуры их обучения.

Распространенным примером нейронной сети является однослойный персептрон ^[1-3], состоящий из фиксированного числа нейронов. Число нейронов обусловлено количеством классов распознаваемых объектов. На вход каждого из этих нейронов подаются данные: числа, например, пикселей оцифрованного изображения. Входы каждого из представленных нейронов взвешиваются положительными, или отрицательными числами. Нейроны обладают степенью чувствительности: пороговой функцией, или, чаще всего, заменяющей ее гладкой, дифференцируемой функцией, в качестве которой довольно часто выступают, либо сигмоида, либо гипертангенс. На выходе формируется ответ нейронной сети, как правило, единица на выходе нейрона с номером того класса, о принадлежности к которому он сигнализирует.

Усложнение достаточно простой архитектуры привело, в конце концов, к появлению многослойных

сверточных сетей (сетей глубокого обучения).

Практика показала, что выбор топологии нейронной сети, как правило, связан со спецификой поставленной задачи.

После вопроса о выборе актуальной топологии для решения поставленной задачи, возникает вопрос о количестве слоев и нейронов в каждом слое.

Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, т. е. особенностями той вычислительной среды, на основе которой предполагается реализация нейронной сети. При этом, сохраняется эмпирическая закономерность: чем сложнее конструируемая нейронная сеть, тем большую по сложности задачу способна решать искомая сеть.

Разработчику нейронной сети приходится, при этом, руководствоваться несколькими основополагающими принципами:

1. Возможности сети возрастают с увеличением числа нейронов, составляющих эту сеть, плотности связей между ними и числом выделенных слоев;

2. Введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети в целом;

3. Сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов – возбуждающих, тормозящих и сохраняющих константные значения) также способствует усилению качества решаемой задачи;

4. Усложнение нейронной сети приводит к нелинейному увеличению вычислительных затрат на ее обучение и функционирование.

Следующим фактором, влияющим на качество получаемых нейронной сетью решений является репрезентативность обучающей выборки.

Нейронная сеть обучается ровно тем закономерностям в данных, которые содержатся (возможно в неявной форме) в обучающей выборке, поэтому несущественные, или содержащие ошибки примеры также будут усвоены нейронной сетью, как правильные и эталонные, что также окажет влияние на получаемый результат.

На этапе обучения нейронной сети кроме важности качества подбора репрезентативных данных значимую роль играет время обучения нейронной сети. Длительность обучения может потребовать значительных ресурсов, а недостаточное время обучения не позволит нейронной сети зафиксировать существенные и важные закономерности, содержащиеся в обучающей выборке, пусть даже репрезентативной, с корректным подбором эталонных примеров.

Существуют два фундаментальных принципа обучения (настройки) нейронной сети:

1. Усиление, или ослабление связи между нейронами при помощи изменения весов;

2. Изменение топологии нейронной сети при помощи мультииндексов (конструктивные методы обучения нейронных сетей) ^[7].

От того, насколько качественно будет выполнен этап обучения нейронной сети, зависит способность сети решать поставленные перед ней задачи во время ее непосредственного, целевого (эксплуатационного)функционирования.

Обучение нейронной сети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей так, чтобы эталонные состояния входов соответствовали ожидаемым значениям выходных нейронов. Во втором случае выходы нейронной сети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Поскольку репрезентативная обучающая выборка содержит знания об актуальной предметной области в явном (выбранных экспертом эталонных правил), и неявном (в виде сигналов окружающей среды при обучении без учителя) виде, то существенно важным является вопрос о логической интерпретации решений, получаемых корректно функционирующей нейронной сетью. Наличие таких логических правил позволило бы в явном виде описать закономерности рассматриваемой предметной области.

Одним из подходов к решению данного вопроса являются логические нейронные сети ^[8,9].

Несмотря на перечисленное разнообразие нейросетевых архитектур и способах их обучения, общим принципом является тот факт, что и входные, и выходные данные имеют фиксированный размер входного и выходного векторов.

Это, в свою очередь, накладывает известные ограничения на число классов и, например, разрешающую способность анализируемых изображений.

С другой стороны, обязательным требованием эффективности работы алгоритма обучения, например, алгоритма обратного распространения ошибки является условие организации случайной последовательности эталонных векторов, подаваемых во время очередной эпохи обучения.

Когда требуется проанализировать процесс последовательного получения данных, для которого существенным условием является порядок размещения этих данных в рассматриваемой последовательности, целесообразным решением является применение рекуррентных нейронных сетей ^[10,11].

В этом случае на вход нейронной сети подаются не только текущие (анализируемые) данные, но и данные о состоянии самой нейронной сети, полученные на предыдущем шаге функционирования.

Последнее условие позволяет организовать учет эффекта памяти, или контекста информации, что имеет огромное значение для анализа временных последовательностей.

Первой подобной сетью была сеть Хопфилда, которая позволяла организовать ассоциативную ячейку памяти ^[11].

Такая сеть обучалась методом обратного распространения ошибки и позволяла по зашумленным данным, подаваемым на вход, получать значение эталонного образца.

Дальнейшим шагом явилось появление сетей Элмана, которые могли классифицировать сдвиги данных во времени, относя подобные образцы к одному классу эталонных объектов.

Практика показала ^{[10, 11]}, что рекуррентные нейронные сети хорошо справляются с обработкой данных, представимых в виде некоторого временного ряда (временной последовательности) x(t), t: 0,…, T, с учетом важности выделения контекста.

Такое свойство позволяет решать следующие интеллектуальные задачи:

1. Построение языковой модели;

2. Частотный анализ данных;

3. Модели акцентирования внимания;

4. Распознавание деталей на изображении с опорой на контекст и окружение;

5. Решение задачи управления для построения системы оптимальных реакций на события окружающей среды.

Построение языковой модели основано на анализе (в простейшем виде) парных сочетаний слов.

Построение частотной модели позволяет распространить принцип Марковских цепей на более сложные случаи.

Построение модели внимания позволяет отыскивать в структуре временных рядов наиболее важные (значимые) данные, Относя остальные к категории второстепенных.

Классификация деталей на изображении с учетом контекста и окружения позволяет выстраивать более точные модели распознавания.

Решение задачи управления с привлечением контекста связано с тем, что в сходных ситуациях, как правило, требуется подавать сходные управляющие команды на исполнительные механизмы, что существенно облегчает процесс обучения. Наличие контекста позволяет маркировать ситуации по степени их сходства.

Последний аспект делает предпочтительным применение рекуррентных нейронных сетей в задачах управления, что выделяет этот тип нейронных сетей большей скоростью обучения и лучшей выразительностью получаемого результата.

В настоящей работе предлагается решение задачи управления при помощи рекуррентной нейронной сети.

Основой для ее конструирования в обученном состоянии является стохастический автомат с переменной структурой.

Представление рекуррентной нейронной сети в виде стохастического автомата и использование в качестве процедуры обучения, применяемого для настройки этого автомата алгоритма обучения с подкреплением позволяет:

1. Минимизировать структуру рекуррентной нейронной сети;

2. Устранить, в случае необходимости, избыточные нейроны;

3. Сформировать структуру рекуррентной нейронной сети, наиболее полно отвечающей структуре временной последовательности данных.

Задача о формализации целенаправленного поведения

Нейронные сети и рассмотренные ниже линейные и стохастические автоматы имеют много общего: биологические прототипы, математически обоснованную общность, экспериментально подтвержденные положительные результаты функционирования.

Это позволит перенести результаты работы алгоритма настройки стохастического автомата для построения оптимальной конфигурации (в рамках заданной предметной области) рекуррентной нейронной сети.

Приведем формальное описание автомата:

X = x1, …, xk – множество сигналов, поступающих от окружающей среды на входы автомата (входной алфавит).

D = d1, …,dm – совокупность действий автомата, которые он способен выполнить при помощи своих исполнительных механизмов (выходной алфавит).

S = s1,…, sn, 2 <= m <= n- конечное множество внутренних состояний автомата (внутренний алфавит).

В общем случае количество внутренних состояний автомата и потенциально возможных действий, оказывающих влияние на окружающую среду могут не совпадать, тогда несколько состояний могут соответствовать одному действию.

Правила функционирования автомата в дискретные моменты времени однозначным образом задаются двумя функциями:

Функцией переходов внутренних состояний: st+1 = F(st,xt), и начальным внутренним состоянием в нулевой момент времени: s0 = S(t0).

Функцией зависимости выходных сигналов (действий) от внутренних состояний: dt = G(st). При этом, совершенно не обязательно, чтобы различным состояниям соответствовали различные действия.

При n = 1 -это будет тривиальный автомат с единственным не переключаемым внутренним состоянием s = s1, осуществляющем единственное действие d = d1 вне зависимости от сигнала на его рецепторах.

Мы будем рассматривать автоматы, как кибернетические устройства, способные реализовывать ту, или иную стратегию поведения. Анализ поведения автоматов успешно формализуется при помощи аппарата теории игр ^[12]. Этот выбор обуславливается тем, что теория игр позволяет легко создавать формальные системы правил (конструируемые окружающие среды с предсказуемой ответной реакцией) и последствия выборов в терминах выигрыша и проигрыша, что на язык автоматов легко переносится как «Поощрение» и «Наказание» за выбранные действия.

В отличие от игрока-человека автоматы не располагают эмпирическими знаниями о правилах той, или иной игры (законах выбранной «окружающей среды»).

Это свойство позволяет проводить сравнение степени целесообразности поведения автоматов различных в рамках единой шкалы оценок, как более, или менее результативных игроков.

Простейшей игровой системой, хорошо исследованной в биологических опытах, является модель Т-образного лабиринта.

Стратегии поведения в модели Т-образного лабиринта описываются двумя возможными действиями автомата, или животного в эксперименте Торндайка:

D = d1– «Левое ответвление»

d2– «Правое ответвление».

Результат сделанного выбора воспринимается животным, или фиксируется автоматом одним из двух возможных проявлений окружающей среды:

X = x1– «Штраф»

x2– «вознаграждение».

С каждым из указанных действий сопряжена своя, заданная вероятность наказания (поощрения) изначально автомату неизвестная.

Требуется найти конструкцию автомата, обеспечивающую нахождение наиболее целесообразного действия, т. е. связанного с минимальной величиной штрафа (или максимальной величиной поощрения).

Такие конструкции автоматов были найдены М. Л. Цетлиным и его последователями ^[13-16].

Модели среды и конструкции автоматов

Окружающая среда E, в которой с течением времени вероятности получения поощрения и наказания за выбранные действия остаются постоянными, называется стационарной.

Для описания стационарной окружающей среды, для каждого из m действий задается пара значений вероятностей: поощрения p и наказания 1 – p.

Таким образом, для формального задания стационарной окружающей среды достаточно задать m-компонентный вектор вероятностей:

E= e1, …, em = p1, …, pm.

Для нахождения оптимального действия в такой стационарной среде E М. Л. Цетлиным была предложена конструкция автомата с линейной тактикой.

Такой автомат в соответствии с доказанной им теоремой почти никогда не покидает найденного оптимального действия, выбирая его так, как если бы он знал о соответствующей этому действию максимальной вероятности поощрения.

Количество q последовательных состояний, закрепленных за определенным действием называется глубиной памяти автомата. Чем больше q, тем более инерционен автомат, а значит, тем большая суммарная величина (последовательность) штрафов вынуждает его к смене действий.

Большинство моделей окружающей среды E по необходимости должны включать в себя фактор времени.

Для этих целей конструируется динамическая окружающая среда в общем случае представляющая собой Марковскую цепь стационарных сред.

Динамическая среда формируется из множества стационарных сред e1, e2, .. el, состоящих из m действий d1, d2, …, dm каждая, характеризующиеся своими собственными вероятностями штрафов (поощрений).

Переключение между l стационарными средами осуществляется в соответствии с матрицей вероятностей, задающих соответствующую Цепь Маркова: P = pijразмерности l*l, i = 1,…, l, j = 1,…, l.

В данном случае, элемент матрицы pij равен вероятности переключения среды eiна среду ej в текущий момент времени t.

Очевидно, что в этих условиях действие, оптимальное в рамках одной стационарной среды, например, e1 окажется неоптимальным в среде e2, в результате чего автомат должен будет переключиться на другое оптимальное в новой среде e2 действие. Факт переключения с одной стационарной среды на другую для автомата также остается неизвестным.

Теорема о том, что для стационарной среды E увеличение глубины памяти q автомата с линейной тактикой асимптотически приближает его к величине min(p) минимуму величины штрафа ^[13], в условиях динамической среды не верен.

Оптимальное значение q не может быть получено аналитически ^[16], и отыскивается только путем выполнения вычислительных экспериментов. В этом случае по оси X откладываются значения глубины памяти q автомата с линейной тактикой, а по оси Y – соответствующие значения математического ожидания ошибки за фиксированное число итераций, например, 10000. Качественный результат состоит в том, что при малых значениях q автомат переключается с одного действия на другое слишком часто, не успевая «зафиксировать» оптимальное действие. Рост глубины памяти q приводит к уменьшению величины ошибки, затем с ростом q это значение падает: автомат становится инертным для данной динамической среды, «все время опаздывая», слишком долго задерживаясь на выполнении действия, которое при переключении сред перестает быть эффективным.

Закономерно возник вопрос о существовании автомата, который, функционируя в динамической среде самостоятельно подстраивался бы под ее условия, без необходимости прибегать к процедуре подбора глубины памяти q для каждого случая динамической среды, порожденной соответствующей Цепью Маркова. Такой вероятностный автомат был предложен В.И. Варшавским ^[15].

Автомат с переменной структурой

Автомат с переменной структурой задается в матричной форме.

Число матриц равно количеству входных сигналов p = P1,…,Pk, каждая из которых определяет вероятность перехода из состояния i в состояние j при наличии на входе автомата сигнала x1,…,xk.

Размерность каждой матрицы P=P(n,n)=n2, где n- число внутренних состояний автомата. Элементы матриц P1,…,Pk удовлетворяют следующим условиям:

• Значение любого элемента матрицы P заключено в сегменте значений ^{[0, 1]}.

2. Сумма строк (или столбцов) любой из матриц P1,…,Pkравна единицы.

В исходном состоянии и на любом шаге алгоритма все матрицы автомата должны соответствовать указанным условиям стохастичности.

Направленность действий алгоритма состоит в том, чтобы в процессе функционирования автомата с переменной структурой понижать вероятности переходов, приносящие автомату штраф и повышать вероятности переходов, приносящие ему поощрения.

Пусть множество входных сигналов X состоит из двух элементов x1 и x2 равных соответственно «Штраф» и «Вознаграждение», поэтому такой автомат будет определятся двумя матрицами P- и P+. В качестве примера рассмотрим случай, когда автомат, состоит из 4 состояний s1, s2, s3, s4 и двух действий, каждое из которых закреплено за своим, отличным от другого, подмножеством состояний: d1(s1, s2) и d2(s3, s4).

В начальный момент времени матрицы P+ и P- содержат равновероятные значения переходов между любыми двумя парами состояний.

Начальное состояние равно s1, начальный сигнал на входе +1 т. е. текущая обрабатываемая матрица автомата - P+ .

В начальный момент времени матрицы P+ P- имеют следующий вид, характеризуя равновероятные переходы:

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

В начальный момент времени выбор будет сделан по первой строке матрицы P+, Так как начальное состояние автомата равно s1. Пусть при помощи генератора случайных чисел был определен переход s1 s4. Состоянию s4 соответствует действие d2. Действие d2 определило реакцию окружающей среды «Штраф»=-1. Следовательно переход s1s4 и связанное с ним действие d2 для автомата являются неблагоприятными. Поэтому значение вероятности p+14должно быть понижено, например, на величину 0.03.

Для сохранения условий стохастичности матрицы P+, остальные значения вероятностей в первой строке должны быть увеличены на соответствующие значения.

Матрица P+ примет следующий вид:

0.26, 0.26, 0.26, 0.22

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

Поскольку автомат получил на вход сигнал штрафа, то следующий переход он будет выполнять в соответствии с текущим состоянием s4, пользуясь значениями четвертой строки матрицы P-. Пусть был сделан переход s4 s2. При этом было выполнено соответствующее действие d1. При этом автомат получил поощрение +1.

Такой переход расценивается автоматом, как положительный, следовательно, вероятность перехода p-42 будет увеличена, а прочие элементы четвертой строки матрицы P- соответствующим образом уменьшены.

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.24, 0.28, 0.24, 0.24

Аналогично выполняются последующие шаги по настройке стохастического автомата.

Скорость обучения автомата естественным образом зависит от величины изменения весов указанных матриц, определяя эту скорость.

Линейные законы, т. е. константное значение изменения вероятностей переходов в матрицах П+ и П-, не всегда приводит к оптимальным конструкциям, подобным автоматам В. И. Кринского или Г. Роббинса ^[16].

Если ввести нелинейное изменение элементов указанных матриц, то исходные матрицы с равными вероятностями переходов постепенно сходятся к матрицам из нулей и единиц, соответствующих автомату с линейной тактикой и оптимальной глубиной памяти q* для заданной динамической среды.

Приведем ^[16] имеющий важное значение вывод о сравнении функционирования автомата с линейной тактикой и автомата с изменяющейся структурой:

• Автоматы одинаковых конструкций в парных матричных играх в основном играют вничью, причем каждый из них, как правило, добивается максимально возможного в данных конкретных условиях выигрыша.
• При игре двух отличающихся друг от друга стохастических автоматов с переменной структурой небольшими преимуществами обладает тот, у которого меньше величина коэффициента обучения и относительно меньшее число состояний.
• В игре двух автоматов, один из которых стохастический с переменной структурой, а второй — с линейной тактикой, «переигрывает», как правило, стохастический автомат с переменной структурой независимо от емкости памяти автомата с линейной тактикой.

Последнее обстоятельство позволяет сделать вывод о том, что в стационарных случайных средах автомат с изменяющейся структурой функционирует не хуже автомата с линейной тактикой, асимптотически приближаясь к группе состояний, сопряженных с наилучшим действием в рамках данной стационарной среды E.

Так как в случае игры двух автоматов: автомата с линейной тактикой и автомата с переменной структурой, переигрывает автомат с переменной структурой, то этот факт свидетельствует о более высоких адаптивных качествах последнего, по сравнению с автоматом, характеризующимся фиксированной глубиной памяти.

Построение рекуррентной нейронной сети

Для того, чтобы воспользоваться приведенными выше результатами, необходимо построить рекуррентную нейронную сеть, являющуюся эквивалентом автомата с переменной структурой.

Для этого докажем следующее утверждение:

Утверждение. Существует взаимно однозначное соответствие между Рекуррентной нейронной сетью и структурой соответствующего вероятностного автомата, предназначенного для организации целесообразного поведения в заданной динамической стационарной среде, соответствующей некоторой Цепи Маркова.

Доказательство проводится конструктивным методом основой которого является взаимно однозначное соответствие между нейронами конструируемой рекуррентной нейронной сети и заданными состояниями автомата с переменной структурой. В этом случае, вероятности переходов между состояниями автомата являются весами связей между нейронами искомой рекуррентной нейронной сети.

Из способа доказательства вытекает и алгоритм конструирования рекуррентной нейронной сети по исходной совокупности внутренних состояний и матриц переходов автомата с переменной структурой.

Следствие 1. Положительные качества и преимущества стохастического автомата по сравнению с автоматом с линейной тактикой автоматически переносятся на соответствующую ему рекуррентную нейронную сеть.

Следствие 2. Опираясь на доказанное утверждение и на тот факт, что автомат с линейной тактикой соответствует некоторой заранее обученной нейронной сети, можно видеть, что рекуррентная нейронная сеть, соответствующая автомату с переменной структурой будет иметь преимущество перед нейронной сетью с фиксированной структурой при работе с временными рядами (временными последовательностями), так как фиксированная нейронная сеть обучалась на конечном отрезке временного ряда, а рекуррентная нейронная сеть с переменной структурой всякий раз подстраивается под локальные показатели временного ряда, которые могли не попасть в исходную обучающую выборку.

Заключение

Основными выводами проведенного исследования являются:

Рекуррентные нейронные сети являются эффективным методом анализа контекстно зависимых данных основой для которых выступают временные последовательности.

Формализация контекста в виде некоторого внутреннего состояния позволяет сопоставить функционирование такой нейронной сети с соответствующим этой сети вероятностным автоматом с переменной структурой и текущей совокупностью связей между его состояниями;

Это позволяет воспользоваться преимуществами автомата с переменной структурой для решения задачи целесообразного поведения в динамических средах и построить на его основе рекуррентную нейронную сеть.

Соответствие внутренней структуры рекуррентной нейронной сети и автомата с переменной структурой позволяет уже на этапе обучения высвобождать обучаемую рекуррентную нейронную сеть от избыточных нейронов и связей в ее структуре.

Так как автомат с переменной структурой приближается в процессе настройки к оптимальному для данных условий автомату с линейной тактикой при нелинейных значениях скорости обучения, то это позволяет провести логический анализ структуры итоговой рекуррентной нейронной сети.