Предназначены для решения задач классификации и представляют собой параллельную реализацию известных статических методов. В основу классификации в вершина-х сетях положены формулы методов базиса. Идея состоит в том, что для каждого образца можно принять решение на основе выбора наиболее вероятного класса из тех, к которым мог бы принадлежать этот образец. Такое решение требует оценки функции плотности вероятности для каждого класса.
Все выходные нейронные сети можно интерпретировать как оценки вероятности принадлежности элементов к каждому классу. При решении зада классификации можно оценить плотность вероятности каждого класса, сравнить вероятности принадлежности к каждому классу и выбрать наиболее вероятный.
Рисунок 26 Вероятностная нейронная сеть
Вероятностная нейронная сеть имеет 3 слоя: входной, радиальный и выходной. Радиальные элементы берутся по одному на каждое обучающее наблюдение. Каждый из них представляет Гауссову функцию с центров в этом наблюдение. Каждому классу соответствует 1 выходной элемент. Каждый такой элемент соединен со всеми радиальными элементами, относящимися к его классу, а со всеми остальными радиальными элементами имеет нулевое соединение. Таким образом выходной элемент складывает отклики всех элементов, принадлежащих его классу.
Обобщенно-регрессионные сети – самостоятельно
Рисунок 27 Линейная нейронная сеть
Рисунок 28 График линейной сети
Линейные сети по своей структуре аналогичны персептроным и отличаются лишь функцией активации.
Для заданной линейной сети и соответствующим множествам вектором входа и целей можно вычислить вектор выхода сети и сформировать разность между векторами выхода и целевым вектором, который определяет некоторую погрешность обучения. Функция среднеквадратичной ошибки имеет вид:
, где
Для линейной нейронной сети используется правило обучения Видроу-Хоффа. Процесс обучения состоит в следующем. Сформируем частную производную по весам и смещением от квадрата погрешности на k-ой итерации.
Основу самоорганизации нейронных сетей составляет закономерность, что глобальной упорядочение сети становится возможным в результате самоорганизации операций, независимо происходящих в различных локальных сегментах сети. В соответствии с поданными на вход сигналами осуществляется активация нейрона, который вследствие изменения значений синоптических весов адаптируется к поступающим обучающим выборкам.
Среди механизмов самоорганизации выделим 2:
1. Самоорганизация, основанная на ассоциативном правиле Хэбба;
2. Самоорганизация, основанная на конкуренции между нейронами на базе обобщенном правила Кохонена;
Рисунок 29 правило Кохонена
Для сетей с самоорганизацией, основу обучения которых составляет конкуренция между нейронами, обязательным является наличие связей для каждого нейрона со всеми компонентами входного вектора. При активации сети вектором X в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора.
Для j-того нейрона-победителя соотношение:
d- расстояние между вектором X и . Вокруг нейрона-победителя образуется топологическая окрестность. Все нейроны в пределах этой окрестности подвергаются адаптации по правилу Хопфилда:
Алгоритм Кохоненапредполагает приписывание нейронам определенных позиций в произведении и связывание их с соседями на постоянной основе. В момент выбора победителя уточняются не только его веса, но и все его соседей, находящихся в ближайшей окрестности. В классическом алгоритме Кохонена функция соседства определяется так:
Рисунок 30 АЛгоритм Кохонена
В этом выражении (расстояние между i-ым нейроном и нейроном-победителем) – расстояние, измеряемое в количестве нейронов. Коэффициент 1 выступает в качестве уровня соседства. Соседство такого рода называется прямоугольным. Другой тип соседства – соседства гауссовского типа, где:
, где - определяет уровень соседства.
Степень адаптации нейронов-соседей определяется не только , но и уровнем соседства. В отличии от соседства прямоугольного типа, где каждый нейрон, находящийся в окрестности победителя, адаптируется в равной степени, при соседстве гаусовского типа уровень адаптации отличается.
Процесс самоорганизации предполагает определение победителя каждого этапа. При инициализации весов сети случайным образом, часть нейронов может оказаться в области правила, в котором отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Для активации всех нейронов сети в алгоритме обучения необходимо предусмотреть учет побед каждого нейрона с использование либо соседства гауссовского типа, либо так называемого механизма утомления. Также используется механизм штрафов для самых активных нейронов.
