русс | укр

Языки программирования

ПаскальСиАссемблерJavaMatlabPhpHtmlJavaScriptCSSC#DelphiТурбо Пролог

Компьютерные сетиСистемное программное обеспечениеИнформационные технологииПрограммирование

Все о программировании


Linux Unix Алгоритмические языки Аналоговые и гибридные вычислительные устройства Архитектура микроконтроллеров Введение в разработку распределенных информационных систем Введение в численные методы Дискретная математика Информационное обслуживание пользователей Информация и моделирование в управлении производством Компьютерная графика Математическое и компьютерное моделирование Моделирование Нейрокомпьютеры Проектирование программ диагностики компьютерных систем и сетей Проектирование системных программ Системы счисления Теория статистики Теория оптимизации Уроки AutoCAD 3D Уроки базы данных Access Уроки Orcad Цифровые автоматы Шпаргалки по компьютеру Шпаргалки по программированию Экспертные системы Элементы теории информации

Сети с самоорганизацией на основе конкуренции


Дата добавления: 2013-12-23; просмотров: 616; Нарушение авторских прав


Обучение

Линейные нейронные сети

Вероятностные нейронные сети

Предназначены для решения задач классификации и представляют собой параллельную реализацию известных статических методов. В основу классификации в вершина-х сетях положены формулы методов базиса. Идея состоит в том, что для каждого образца можно принять решение на основе выбора наиболее вероятного класса из тех, к которым мог бы принадлежать этот образец. Такое решение требует оценки функции плотности вероятности для каждого класса.

Все выходные нейронные сети можно интерпретировать как оценки вероятности принадлежности элементов к каждому классу. При решении зада классификации можно оценить плотность вероятности каждого класса, сравнить вероятности принадлежности к каждому классу и выбрать наиболее вероятный.

 

Рисунок 26 Вероятностная нейронная сеть

Вероятностная нейронная сеть имеет 3 слоя: входной, радиальный и выходной. Радиальные элементы берутся по одному на каждое обучающее наблюдение. Каждый из них представляет Гауссову функцию с центров в этом наблюдение. Каждому классу соответствует 1 выходной элемент. Каждый такой элемент соединен со всеми радиальными элементами, относящимися к его классу, а со всеми остальными радиальными элементами имеет нулевое соединение. Таким образом выходной элемент складывает отклики всех элементов, принадлежащих его классу.

Обобщенно-регрессионные сети – самостоятельно

 

Рисунок 27 Линейная нейронная сеть

 

 

Рисунок 28 График линейной сети

Линейные сети по своей структуре аналогичны персептроным и отличаются лишь функцией активации.

Для заданной линейной сети и соответствующим множествам вектором входа и целей можно вычислить вектор выхода сети и сформировать разность между векторами выхода и целевым вектором, который определяет некоторую погрешность обучения. Функция среднеквадратичной ошибки имеет вид:



, где

Для линейной нейронной сети используется правило обучения Видроу-Хоффа. Процесс обучения состоит в следующем. Сформируем частную производную по весам и смещением от квадрата погрешности на k-ой итерации.

 

Основу самоорганизации нейронных сетей составляет закономерность, что глобальной упорядочение сети становится возможным в результате самоорганизации операций, независимо происходящих в различных локальных сегментах сети. В соответствии с поданными на вход сигналами осуществляется активация нейрона, который вследствие изменения значений синоптических весов адаптируется к поступающим обучающим выборкам.

Среди механизмов самоорганизации выделим 2:

1. Самоорганизация, основанная на ассоциативном правиле Хэбба;

2. Самоорганизация, основанная на конкуренции между нейронами на базе обобщенном правила Кохонена;

 

Рисунок 29 правило Кохонена

 

Для сетей с самоорганизацией, основу обучения которых составляет конкуренция между нейронами, обязательным является наличие связей для каждого нейрона со всеми компонентами входного вектора. При активации сети вектором X в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора.

Для j-того нейрона-победителя соотношение:

 

d- расстояние между вектором X и . Вокруг нейрона-победителя образуется топологическая окрестность. Все нейроны в пределах этой окрестности подвергаются адаптации по правилу Хопфилда:

 

Алгоритм Кохоненапредполагает приписывание нейронам определенных позиций в произведении и связывание их с соседями на постоянной основе. В момент выбора победителя уточняются не только его веса, но и все его соседей, находящихся в ближайшей окрестности. В классическом алгоритме Кохонена функция соседства определяется так:

 

 

Рисунок 30 АЛгоритм Кохонена

В этом выражении (расстояние между i-ым нейроном и нейроном-победителем) – расстояние, измеряемое в количестве нейронов. Коэффициент 1 выступает в качестве уровня соседства. Соседство такого рода называется прямоугольным. Другой тип соседства – соседства гауссовского типа, где:

, где - определяет уровень соседства.

Степень адаптации нейронов-соседей определяется не только , но и уровнем соседства. В отличии от соседства прямоугольного типа, где каждый нейрон, находящийся в окрестности победителя, адаптируется в равной степени, при соседстве гаусовского типа уровень адаптации отличается.

Процесс самоорганизации предполагает определение победителя каждого этапа. При инициализации весов сети случайным образом, часть нейронов может оказаться в области правила, в котором отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Для активации всех нейронов сети в алгоритме обучения необходимо предусмотреть учет побед каждого нейрона с использование либо соседства гауссовского типа, либо так называемого механизма утомления. Также используется механизм штрафов для самых активных нейронов.




<== предыдущая лекция | следующая лекция ==>
Радиальная базисная сеть | Модели ассоциативной памяти. Сети Хопфилда


Карта сайта Карта сайта укр


Уроки php mysql Программирование

Онлайн система счисления Калькулятор онлайн обычный Инженерный калькулятор онлайн Замена русских букв на английские для вебмастеров Замена русских букв на английские

Аппаратное и программное обеспечение Графика и компьютерная сфера Интегрированная геоинформационная система Интернет Компьютер Комплектующие компьютера Лекции Методы и средства измерений неэлектрических величин Обслуживание компьютерных и периферийных устройств Операционные системы Параллельное программирование Проектирование электронных средств Периферийные устройства Полезные ресурсы для программистов Программы для программистов Статьи для программистов Cтруктура и организация данных


 


Полезен материал? Поделись:

Не нашли то, что искали? Google вам в помощь!

 
 

© life-prog.ru При использовании материалов прямая ссылка на сайт обязательна.

Генерация страницы за: 0.004 сек.