русс | укр

Языки программирования

ПаскальСиАссемблерJavaMatlabPhpHtmlJavaScriptCSSC#DelphiТурбо Пролог

Компьютерные сетиСистемное программное обеспечениеИнформационные технологииПрограммирование

Все о программировании


Linux Unix Алгоритмические языки Аналоговые и гибридные вычислительные устройства Архитектура микроконтроллеров Введение в разработку распределенных информационных систем Введение в численные методы Дискретная математика Информационное обслуживание пользователей Информация и моделирование в управлении производством Компьютерная графика Математическое и компьютерное моделирование Моделирование Нейрокомпьютеры Проектирование программ диагностики компьютерных систем и сетей Проектирование системных программ Системы счисления Теория статистики Теория оптимизации Уроки AutoCAD 3D Уроки базы данных Access Уроки Orcad Цифровые автоматы Шпаргалки по компьютеру Шпаргалки по программированию Экспертные системы Элементы теории информации

Элементарный перцептрон Розенблатта

1. Перцептроны – класс моделей мозга  

Перцептроны или персептроны (от perceptio – восприятие) были первыми искусственными нейронными сетями, появившимися в результате многолетних исследований мозга животных и человека. Автор первого перцептрона – американский ученый Френк Розенблатт, впервые опубликовавший свои исследования в этой области в 1957 году. По мнению Ф. Розенблатта, перцептроны, прежде всего, являются классом моделей мозга, объясняющих некоторые его характерные функции. В частности, перцептроны, пусть и в самой элементарной форме, объясняют некоторые проблемы организации памяти биологических систем, демонстрируют механизм приобретения знаний «познающих (cognitive) систем» об окружающем их мире и показывают, что эти знания зависят как от когнитивной системы, так и от окружающей среды. По Розенблатту, для различных видов животных простейшее представление об анатомической структуре нервной системы может быть получено с помощью схемы, представленной на рис. 2.1.

Каждый из пяти видов информации о внешней среде воспринимается своими специализированными сенсорными нейронами и передается по своим отдельным сенсорным трактам в центральную нервную систему. Через моторные нейроны центральная нервная система связана с мышцами и железами организма. В своих первых работах Розенблатт рассматривал модель только зрительной системы. В наиболее простом виде эта модель включает в себя три последовательно соединенных множества нейронов: чувствительных (S-элемен-тов), ассоциирующих (A-элементов) и реагирующих (R-элементов). S-элементам в нервной системе животного или человека соответствуют сенсорные или рецепторные нейроны, генерирующие сигналы на поступающие внешние раздражения (изображения) и передающие их A-нейронам. A-элементы аналогичны в нервной системе живого организма нейронам, образующим локальный специализированный зрительный центр в коре головного мозга и связывающим рецепторные нейроны с моторными. R-элементам в нервной системе соответствуют эффекторные (моторные) нейроны, упорядоченные в ограниченные топологические структуры и передающие сигналы управления центральной нервной системы к мышцам и железам организма.
Определение 2.1. S-элемент называется простым, если он выдает единичный выходной сигнал при входном сигнале, превышающем некоторый заданный порог , и нулевой сигнал – в противном случае.
Определение 2.2. Простым ассоциативным элементом называется A-эле-мент, который выдает единичный выходной сигнал, если алгебраическая сумма его входных сигналов превышает некоторый заданный порог  > 0, иначе – выходной сигнал ассоциативного нейрона равен нулю.

 

 

Определение 2.3. Простым биполярным (бинарным) реагирующим элементом называется R-элемент, выдающий единичный выходной сигнал, если алгебраическая сумма его входных сигналов больше или равна пороговому значению, и отрицательный единичный (нулевой) сигнал, если сумма его входных сигналов меньше заданного порога.

Чувствительные S-элементы живого организма (рис. 2.2) возбуждаются от воздействия энергии света, если величины их входных сигналов превышают некоторый порог i. Рецепторные нейроны случайным образом связаны с A-эле-ментами, выходные сигналы которых отличны от нуля только в том случае, когда возбуждено достаточно большое число сенсорных нейронов, воздей-ствующих на входы одного ассоциирующего элемента. Простой A-элемент, аналогично простому S-элементу, является активным и выдает единичный выходной сигнал, если алгебраическая сумма сигналов на его входе превышает заданную пороговую величину, в противном случае нейрон находится в невозбужденном состоянии. Коэффициенты (веса) связей между S- и A-элемен-тами постоянны.


Комбинация выходов всех A-элементов представляет собой реакцию двух первых слоев перцептрона на предъявленное входное изображение, которая с помощью выходного слоя нейронов преобразуется в необходимую комбинацию выходных сигналов системы. Часто требуют, чтобы каждому классу входных изображений соответствовал только один определенный активный R-нейрон. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между A- и R-элементами.
Разделение множества G изображений на два класса G1 и G2 можно выполнить с помощью одного выходного элемента. В этом случае изображениям первого класса может соответствовать  положительный  выходной сигнал  (+1) R-элемента, а второго класса – отрицательный (–1). На примере простейшего (элементарного) перцептрона рассмотрим различные способы обучения этих нейросетей, впервые предложенные и исследованные Розенблаттом.

Определение 2.4. Простым перцептроном называется нейронная сеть, состоящая из S-, A- и R-элементов и удовлетворяющая следующим пяти условиям:
1. В сети имеется только один R-нейрон, который соединен связями с переменными весами со всеми A-нейронами.
2. В сети имеются только последовательные связи от S- к A-элементам и от A-элементов к R-элементу.
3. Веса связей между S- и A-элементами являются фиксированными.
4. Время передачи сигналов каждой связью равно нулю (либо фикси-рованной постоянной величине).
5. Выходные сигналы всех нейронов сети формируются в виде:

    
где  – алгебраическая сумма сигналов, поступающих одновременно на вход нейрона.
Определение 2.5. Простой перцептрон с простыми A- и R-элементами и передающими функциями связей вида:

где wij(t) – вес связи между i-м и j-м нейронами в момент времени t;  – выходной сигнал i-го нейрона в момент времени ; – время передачи сигнала  с выхода i-го нейрона на вход j-го элемента, называется элементарным перцептроном.
Элементарный перцептрон обучается или настраивается на распознавание двух классов изображений G1, G2 путем предъявления ему некоторых последовательностей изображений из этих классов. Учитель (человек или вычислительная машина), наблюдающий реакцию перцептрона на каждое входное изображение, при наличии ошибочных решений сети должен корректировать веса связей между R- и A-элементами в соответствии с некоторой системой правил.
Определение 2.6. Матрицей взаимодействия перцептрона называется матрица, элементами которой являются веса связей wij для всех пар нейронов Ui, Uj сети.
Если связь между нейронами Ui, Uj отсутствует (например, в простом перцептроне нет связей между R- и S-нейронами), то принимают wij = 0.
Матрица взаимодействия фактически отображает состояние памяти перцептрона. Множество всех возможных состояний памяти сети образует фазовое пространство сети, которое может быть представлено в виде области в n-мерном евклидовом пространстве, каждая координатная ось которого соответствует одной связи сети.

 

2. Обучение перцептронов с помощью a- и g-систем подкрепления

Определение 2.7. Системой подкрепления нейронной сети называется любой набор правил, с помощью которых можно изменять во времени состояние памяти сети (или матрицу взаимодействия).

Определение 2.8. Положительным (отрицательным) подкреплением назы-вается такой процесс коррекции весов связей, при котором вес связи wij(t), начи-нающейся на выходе активного i-го элемента и оканчивающейся на входе j-го элемента, изменяется на величину ?wij(t), знак которой совпадает со знаком выходного сигнала j-го нейрона (знак которой противоположен знаку выходного сигнала j-го нейрона).
Существует большое число различных систем подкрепления, большая часть из которых представляет лишь исторический интерес. Поэтому остановимся только на системе подкрепления с коррекцией ошибок, которая является основной в настоящее время.
В системе подкрепления с коррекцией ошибок прежде всего необходимо определить, является ли реакция перцептрона правильной. До тех пор, пока выходной сигнал R-элемента принимает желанное значение, величина сигнала подкрепления ? равна нулю. При появлении неправильной реакции перцептрона используется подкрепление, величина и знак которого в общем случае определяется монотонно возрастающей функцией f:

                                                 (2.1)

где R* – желаемая реакция; R – полученная реакция; f(0) = 0.
Таким образом, при появлении ошибки для коррекции весов связей используется сигнал, знак которого противоположен знаку выходного  сигнала R-элемента. В связи с этим рассмотренный метод коррекции весов получил название системы с отрицательным подкреплением.

Конкретным примером системы подкрепления с коррекцией ошибок является альфа-система подкрепления. В этой системе при наличии ошибок веса всех активных связей, которые оканчиваются на R-элементе, изменяют на одинаковую величину ?, а веса всех неактивных связей оставляют без изменений. Перцептроны, в которых применяется альфа-система подкрепления, называются альфа-перцептронами.

При использовании альфа-системы подкрепления сумма весов всех связей между R- и A-нейронами может возрастать (или убывать) от шага к шагу, что должно приводить к нежелательным ситуациям, когда многие связи имеют максимальные (или минимальные) веса и не могут использоваться в дальнейшем процессе обучения нейронной сети. Для устранения этого недостатка ?-системы подкрепления была предложена гамма-система подкрепления, которая обладает свойством консервативности относительно суммы ?1 весов всех связей между нейронами, т.е. сумма ?1 остается постоянной в процессе обучения перцептрона. Это достигается за счет того, что при наличии ошибочной реакции перцептрона сначала веса всех активных связей изменяются на одинаковое значение ?, а вслед за этим из весов всех активных и пассивных связей вычитается величина, равная отношению суммы изменения весов всех активных связей к числу всех связей. Изменение весов отдельных связей при этом определяется соотношением:

                                       (2.2)

где ?wij – в общем случае приращение веса связи между i-м  A-нейроном и  jR-нейроном, для элементарного перцептрона j = const = 1; ? – величина сигнала подкрепления; Nак – число активных связей; N – число связей, оканчивающихся на входе j-го элемента.
При такой системе коррекции весов связей выполняется равенство:

                                           

из которого и следует консервативность гамма-системы подкрепления относи-тельно суммы весов всех обучаемых связей.
Замечание 2.1. Отметим, что соотношение (2.2) в неявной форме предпо-лагает, что корректируемые веса wij связей достаточно далеки от своих граничных значений wij min= 0 и wij max =1, т.е.

                                    (2.3)

Если неравенства (2.3) нарушаются, а требование консервативности относительно суммы ?1 весов связей остается неизменным, то соотношение (2.2) необходимо уточнить. Пусть, например, среди активных связей Nа гр. связей имеют граничные значения весов или  и для них выполняются условия
                     (2.4)

Пусть также Nа бгр. активных связей имеют веса, близкие к граничным, для которых справедливы неравенства

                            (2.5)

В этом случае общая сумма Sa первоначальных изменений весов активных связей будет равна:

,    (2.6)
где  – граничное значение веса связи между k-м и j-м нейронами, ;  – приращения веса связи, определяемое по соотношению (2.2) без учета наличия множества  – знаковая функция.

Если предположить, что для всех пассивных связей выполняются соотношения (2.3), тогда из весов пассивных связей и весов активных связей, для которых не выполняется соотношение (2.4) или (2.5), вычитается величина . С учетом этих замечаний соотношение (2.2) принимает вид:

Примером еще одного общего способа обучения перцептронов является метод коррекции ошибок случайными возмущениями. Он предусматривает, как и альфа-система подкрепления, при появлении ошибок – коррекцию весов активных связей, но знак и величина коррекции для каждой связи выбирается случайно в соответствии с некоторым заданным распределением вероятностей.

Пример 2.1. Выполним обучение элементарного перцептрона с бинарными S- и A-нейронами и биполярным R-нейроном (рис. 2.3) распознаванию изображений букв Н и П (рис. 2.4 а, б) на рецепторном поле из девяти элементов (рис 2.4 в).
 

При этом потребуем, чтобы при предъявлении изображения буквы Н на выходе R-элемента был сигнал “–1”, при появлении второго изображения – сигнал “+1”.

 

 

 

 

 

 

 

 

1

2

3

 

 

 

 

 

 

4

5

6

 

 

 

 

 

 

7

8

9

    а                           б                          в    

Рис 2.4. Изображения букв Н и П

Зададим в таблицах 2.1 и 2.2 веса связей (),  () соответственно между бинарными S- и A-нейронами и между A-нейронами и биполярным нейроном R с помощью генератора случайных чисел, генерирующего их из конечного множества {0,1; 0,2; …; 0,9}.

          Таблица 2.1. Веса  связей перцептрона между S- и A-элементами  

S1

S2

S3

S4

S5

S6

S7

S8

S9

A1

0,3

0,2

0,1

0,6

0,5

0,4

0,9

0,6

0,7

A2

0,2

0,1

0,3

0,4

0,5

0,6

0,7

0,1

0,9

A3

0,3

0,5

0,1

0,6

0,5

0,4

0,9

0,4

0,7

A4

0,4

0,3

0,2

0,1

0,8

0,7

0,6

0,6

0,9

A5

0,5

0,3

0,3

0,6

0,1

0,2

0,9

0,2

0,7

A6

0,6

0,5

0,4

0,1

0,2

0,3

0,8

0,5

0,8

          Таблица 2.2. Веса  связей перцептрона между R- и A-элементами

A1

A2

A3

A4

A5

A6

R

0,2

0,8

0,6

0,9

0,8

0,1

 

Подадим на вход перцептрона изображение буквы Н (рис 2.4 а). Это изображение возбуждает все S-нейроны, кроме второго и восьмого. Единичные сигналы с выходов возбужденных бинарных S-нейронов через связи, весовые коэффициенты которых заданы табл. 2.1, поступают на входы А-нейронов. Суммарный входной сигнал на входе i-го А-элемента определяется соотно-шением:
,                                         (2.8)

где  – сигнал на входе i-го А-нейрона;  – сигнал на выходе j-го S-ней-рона; wji – вес связи между jS-нейроном и iА-элементом.
Для первого А-нейрона имеем

Аналогично вычисляются сигналы на входах остальных А-элементов. Результаты этих вычислений приведены во второй строке табл. 2.3. В третьей  строке этой таблицы – результаты расчетов сигналов на входах А-элементов при предъявлении перцептрону изображения буквы П.

          Таблица 2.3. Величины сигналов на входах A-элементов 


Изображе-ние

Сигналы на входах A-элементов

Uвх.A1

Uвх.A2

Uвх.A3

Uвх.A41

Uвх.A5

Uвх.A6

Буква Н

3,5

3,6

3,5

3,7

3,3

3,2

Буква П

3,2

3,2

3,4

3,2

3,6

3,5

 

Для упрощения расчетов положим, что пороги  всех А-нейро-нов одинаковы

                                          

Если величина порога  выбрана меньше 3,2, то при предъявлении любого изображения будут возбуждены все А-нейроны, а если выбрать  > 3,7, то на выходах всех нейронов будут нулевые сигналы. В обоих этих случаях перцептрон не может выполнять распознавание предъявляемых изображений.
Очевидно, что для обеспечения работоспособности нейронной сети порог  необходимо выбрать между 3,2 и 3,7 и таким образом, чтобы при предъявлении разных изображений возбуждались различные множества M1, M2 А-элементов, причем желательно, чтобы эти множества не пересекались, т.е.

               .                                                       (2.9)

Пусть выходной сигнал А-элементов определяется соотношением

                                   
тогда условие (2.9) выполняется при  = 3,5 и при предъявлении изображения буквы Н будут возбуждены элементы А1, А2, А А4, а при предъявлении буквы П – нейроны А5 и А6. Рассчитаем с учетом данных табл. 2.2 сигналы  на входе R-нейрона при предъявлении изображений букв Н и П:

 

При величине порога R-элемента  и предъявлении изображения буквы Н на выходе перцептрона будет сигнал “+1”, а при предъявлении второго изображения – сигнал “–1”, что не соответствует исходным требованиям к выходным сигналам нейронной сети. Используем для настройки  перцептрона  ?-систему подкрепления при величине сигнала подкрепления ? равном 0,1 и при предъявлении последовательности изображений Н, П, Н, П, … в моменты времени t1, t2, t3, … . Процесс адаптации весов связей между R- и A-нейронами иллюстрируется в табл. 2.4.

Таблица 2.4. Адаптация весов связей перцептрона с помощью -системы
подкрепления

Весовые коэффи-циенты и входные сигналы

 

                                      Моменты времени

0,2

0,1

0

0

0

0

0

0

0

0

0,8

0,7

0

0,6

0

0,5

0

0

0

0

0,6

0,5

0

0,4

0

0,3

0

0

0

0

0,9

0,8

0

0,7

0

0,6

0

0

0

0

0,8

0

0,9

0

1

0

1

1

1

1

0,1

0

0,2

0

0,3

0

0,4

0,5

0,6

0,7

2,5

2,1

1,7

1,4

0,9

1,1

1,3

1,4

1,5

1,6

1,7

 

Во втором столбце таблицы при t=t0 приведены значения исходных весов связей и величины сигналов ,  на входе R-элемента при предъявлении соответственно изображений букв Н и П. При первом предъявлении изображения буквы Н в момент времени t1 (обозначено ) в силу наличия ошибочного сигнала на выходе перцептрона корректируются веса активных связей  на величину ? = 0,1. Эта коррекция уменьшает суммарный входной сигнал  до величины 2,1.
Пусть функционирование  R-элемента описывается соотношением:

где  – порог R-элемента, тогда для достижения правильной реакции R?элемента на изображение буквы Н необходимы две повторные коррекции весов связей . Результаты этих коррекций приведены в табл. 2.4 соответственно в пятом и седьмом столбцах при  и . После момента времени , так как выполняется соотношение (2.9), из входной последовательности могут быть исключены изображения буквы Н и предъявляться только изображения буквы П. Результаты коррекции весов связей , определяющих сигнал на входе R-элемента при предъявлении изображения буквы П, приведены в последней строке таблицы. Поскольку в рассматриваемом примере коррекция входного сигнала R-элемента при предъявлении изображения буквы П осуществляется только с помощью весов двух связей, причем, после второй коррекции вес связи  принимает максимальное значение и в дальнейшем возрастать не может, то процесс обучения нейронной сети правильной реакции на второе изображение более длительный и заканчивается только при .
В табл. 2.5 приведены результаты настройки элементарного перцептрона при тех же исходных данных, но с помощью ?-системы подкрепления. Во втором столбце табл. 2.5 при t=t0 приведены исходные веса связей и величины сигналов на входе R-элемента при предъявлении изображений букв Н и П, а также сумма  весов всех связей между R- и А-нейронами. Значения весов связей в третьем столбце таблицы получены после предъявления изображения буквы Н в момент времени . Так как  то, используя соотношение (2.2) для расчета приращения весов активных связей, получим:

,      (2.10)

а для приращений весов пассивных связей имеем:

.                   (2.11)

Зная приращения весов связей и используя соотношение:


нетрудно получить и численные значения, приведенные в третьем столбце табл. 2.5.

 Таблица 2.5. Адаптация весов связей перцептрона с помощью -системы
подкрепления

Весовые коэффи-циенты и входные сигналы

 

                                      Моменты времени

0,2

0,1666

0,1333

0,1000

0,0800

0,0600

0,0400

0,0200

0,0000

0,0000

0,8

0,7666

0,7333

0,7000

0,6800

0,6600

0,6400

0,6200

0,6000

0,5750

0,6

0,5666

0,5333

0,5000

0,4800

0,4600

0,4400

0,4200

0,4000

0,3750

0,9

0,8666

0,8333

0,8000

0,7800

0,7600

0,7400

0,7200

0,7000

0,6750

0,8

0,8667

0,9341

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

0,1

0,1667

0,2341

0,3004

0,1380

0,4604

0,5404

0,6204

0,7004

0,7754

2,5

2,3664

2,1000

1,9400

1,7800

1,6250

0,9

1,1682

1,3800

1,5404

1,7004

1,7754

3,4

3,3998

3,4004

3,4004

3,4000

3,4004

3,4004

3,4004

3,4004

3,4004

 

При предъявлении изображения буквы П в момент времени  актив-ными являются только нейроны A5 и A6, поэтому Na

Просмотров: 9867

Вернуться в оглавление:Нейрокомпьютеры




Карта сайта Карта сайта укр


Уроки php mysql Программирование

Онлайн система счисления Калькулятор онлайн обычный Инженерный калькулятор онлайн Замена русских букв на английские для вебмастеров Замена русских букв на английские

Аппаратное и программное обеспечение Графика и компьютерная сфера Интегрированная геоинформационная система Интернет Компьютер Комплектующие компьютера Лекции Методы и средства измерений неэлектрических величин Обслуживание компьютерных и периферийных устройств Операционные системы Параллельное программирование Проектирование электронных средств Периферийные устройства Полезные ресурсы для программистов Программы для программистов Статьи для программистов Cтруктура и организация данных


 


Не нашли то, что искали? Google вам в помощь!

 
 

© life-prog.ru При использовании материалов прямая ссылка на сайт обязательна.