Рекуррентная сеть Эльмана

Данная рекуррентная сеть представляет собой развитие сетей персептронного типа за счет добавления в них обратных связей. Сеть Эльиана является одним из представителей типа сетей, названных рекуррентными многослойными персептронами (RMLP) [7].

Сеть Эльмана характеризуется частичной рекуррентностью в форме обратной связи между входным и скрытым слоем, реализуемой с помощью единичных элементов запаздывания . Обобщенная структура этой сети представлена на рис. 6.4. Каждый скрытый нейрон имеет свой аналог в контекстном слое, образующем совместно с внешними входами сети входной слой. Выходной слой состоит из нейронов, однонаправлено связанных только с нейронами скрытого слоя. Обозначим внутренний вектор возбуждения сети (в его состав входит пороговый элемент), состояния скрытых нейронов - , а выходные сигналы сети - . Тогда входной вектор сети в момент времени имеет форму:

(6.21)

Веса синаптических связей первого (скрытого) слоя сети обозначим , а второго (выходного) слоя . Если взвешенную сумму i-го нейрона скрытого слоя обозначить , а его выходной сигнал - , то

; (6.22)

; (6.23)

Веса образуют матрицу синаптических связей скрытого слоя, а - функция активации i-го нейрона скрытого слоя. Аналогично можно обозначить взвешенную сумму s-го нейрона выходного слоя , а соответствующий ему выходной сигнал сети - . Эти сигналы описываются формулами:

; (6.24)

. (6.25)

Рис. 6.3 Структура сети Эльмана

Рис. 6.3 Обобщенная структура сети Эльмана

В свою очередь, веса образуют матрицу , описывающую синаптические связи нейронов выходного слоя, а - функция активации s-го нейрона выходного слоя.