русс | укр

Языки программирования

ПаскальСиАссемблерJavaMatlabPhpHtmlJavaScriptCSSC#DelphiТурбо Пролог

Компьютерные сетиСистемное программное обеспечениеИнформационные технологииПрограммирование

Все о программировании


Linux Unix Алгоритмические языки Аналоговые и гибридные вычислительные устройства Архитектура микроконтроллеров Введение в разработку распределенных информационных систем Введение в численные методы Дискретная математика Информационное обслуживание пользователей Информация и моделирование в управлении производством Компьютерная графика Математическое и компьютерное моделирование Моделирование Нейрокомпьютеры Проектирование программ диагностики компьютерных систем и сетей Проектирование системных программ Системы счисления Теория статистики Теория оптимизации Уроки AutoCAD 3D Уроки базы данных Access Уроки Orcad Цифровые автоматы Шпаргалки по компьютеру Шпаргалки по программированию Экспертные системы Элементы теории информации

Алгоритм обратного распространения ошибки


Дата добавления: 2013-12-23; просмотров: 417; Нарушение авторских прав


Персептрон

 

Рисунок 11 Схема персептрона

 

Простой персептрон – обычная модель МакКоллока-Питса с соответствующей стратегией обучения. Нелинейная функция активации персептрона представляет собой дискретную функцию ступенчатого типа, где выходной сигнал принимает значения 0 либо 1.

Обучение персептрона требует наличие учителя и состоит в таком подборе весов, чтобы выходной сигнал был наиболее близок к целевому значения .

Обучение персептрона осуществляется по следующему алгоритму:

1) При первоначальных наборах значений весов (случайных) на вход подаётся обучающий вектор x и рассчитывается значение выходного сигнала ;

2) По результатам сравнения с заданным значением уточняется значения весов. Если =0, а , ;

3) Если , а , то , - общий случай корректирующего значения;

Персептрон – линейно разделяющая функция.

Персептрон с одним слоем нейронов способен представлять ограниченный класс линейно разделимых образов. Рассмотрим пример применения персептрона для решения задач дихотомии. Предположим, что входные сигналы принимают двоичные значения (0 или 1). В этом случае производство входных признаков состоит из 4-х возможных комбинация.

   

 

 

Рисунок 12 Возможные комбинации

 

И может быть представлена на плоскости. В зависимости от конкретных значений весов и , а так же от значения порога уравнение будет определять прямую на плоскости, разбивающую плоскость признаков на две части, соответствующие двум классам выходных образов.

Отсюда следует, что возможности персептрона ограничены классом линейно разделимых образов. Так, персептрон не может реализовать функцию исключающего или, т.к. (0,0) и (1,1) не могут находиться по одну сторону прямой.

Многослойный персептрон:



 

Рисунок 13 Схема многослойного персептрона

24.09.2011

0. Начальные значения весов всей нейронов всех слоев полагаются случайными величинами;

1. На вход подается вх. образ . На выходе формируются . Нейроны последовательно от слоя к слою функционируют по следующим формулам:

- выходной сигнал скрытого слоя

- выходной сигнал, - сигмоидальная функция.

2. - функция ошибки;

Градиентный метод оптимизации состоит в итерационном уточнении аргумента согласно формуле:

 

Функция ошибки Е в явном виде не содержит зависимости от . Поэтому воспользуемся формулой неявного дифференцирования сложной функции:

 

 

3. Выполняется подстройка весов открытого слоя:

 

 

 

 

При вычислении был применен принцип обратного распространения ошибки, т.е. частные производные берутся только по переменным последующего слоя. По полученным формулами модифицируется веса нейронов скрытого слоя. Если скрытых слоев несколько, то процедура обратного распространения последовательно применяется для каждого из них, начиная со слоя, предшествующего выходному до слоя, стоящего за входным.

4. Шаги 1-3 повторяются для всех обучающих векторов. Общение завершается по достижении малой полной ошибки или максимально допустимого числа итераций.



<== предыдущая лекция | следующая лекция ==>
Переобучение и обобщение | Инстар и оутстар Гроссберга


Карта сайта Карта сайта укр


Уроки php mysql Программирование

Онлайн система счисления Калькулятор онлайн обычный Инженерный калькулятор онлайн Замена русских букв на английские для вебмастеров Замена русских букв на английские

Аппаратное и программное обеспечение Графика и компьютерная сфера Интегрированная геоинформационная система Интернет Компьютер Комплектующие компьютера Лекции Методы и средства измерений неэлектрических величин Обслуживание компьютерных и периферийных устройств Операционные системы Параллельное программирование Проектирование электронных средств Периферийные устройства Полезные ресурсы для программистов Программы для программистов Статьи для программистов Cтруктура и организация данных


 


Полезен материал? Поделись:

Не нашли то, что искали? Google вам в помощь!

 
 

© life-prog.ru При использовании материалов прямая ссылка на сайт обязательна.

Генерация страницы за: 0.002 сек.