Персептрон | Перцептрон | Теоремы Розенблатта

2.1. Персептрон (Перцептроны) – класс моделей мозга  

Перцептроны или персептроны (от perceptio – восприятие) были первыми искусственными нейронными сетями, появившимися в результате многолетних исследований мозга животных и человека. Автор первого перцептрона – американский ученый Френк Розенблатт, впервые опубликовавший свои исследования в этой области в 1957 году. По мнению Ф. Розенблатта, перцептроны, прежде всего, являются классом моделей мозга, объясняющих некоторые его характерные функции. В частности, перцептроны, пусть и в самой элементарной форме, объясняют некоторые проблемы организации памяти биологических систем, демонстрируют механизм приобретения знаний «познающих (cognitive) систем» об окружающем их мире и показывают, что эти знания зависят как от когнитивной системы, так и от окружающей среды. По Розенблатту, для различных видов животных простейшее представление об анатомической структуре нервной системы может быть получено с помощью схемы, представленной на рис. 2.1.

Каждый из пяти видов информации о внешней среде воспринимается своими специализированными сенсорными нейронами и передается по своим отдельным сенсорным трактам в центральную нервную систему. Через моторные нейроны центральная нервная система связана с мышцами и железами организма. В своих первых работах Розенблатт рассматривал модель только зрительной системы. В наиболее простом виде эта модель включает в себя три последовательно соединенных множества нейронов: чувствительных (S-элементов), ассоциирующих (A-элементов) и реагирующих (R-элементов). S-элементам в нервной системе животного или человека соответствуют сенсорные или рецепторные нейроны, генерирующие сигналы на поступающие внешние раздражения (изображения) и передающие их A-нейронам. A-элементы аналогичны в нервной системе живого организма нейронам, образующим локальный специализированный зрительный центр в коре головного мозга и связывающим рецепторные нейроны с моторными. R-элементам в нервной системе соответствуют эффекторные (моторные) нейроны, упорядоченные в ограниченные топологические структуры и передающие сигналы управления центральной нервной системы к мышцам и железам организма.
Определение 2.1. S-элемент называется простым, если он выдает единичный выходной сигнал при входном сигнале, превышающем некоторый заданный порог , и нулевой сигнал – в противном случае.
Определение 2.2. Простым ассоциативным элементом называется A-элемент, который выдает единичный выходной сигнал, если алгебраическая сумма его входных сигналов превышает некоторый заданный порог  > 0, иначе – выходной сигнал ассоциативного нейрона равен нулю.

Рис. 2.1  Структура нервной системы

Определение 2.3. Простым биполярным (бинарным) реагирующим элементом называется R-элемент, выдающий единичный выходной сигнал, если алгебраическая сумма его входных сигналов больше или равна пороговому значению, и отрицательный единичный (нулевой) сигнал, если сумма его входных сигналов меньше заданного порога.
Чувствительные S-элементы живого организма (рис. 2.2) возбуждаются от воздействия энергии света, если величины их входных сигналов превышают некоторый порог i. Рецепторные нейроны случайным образом связаны с A-элементами, выходные сигналы которых отличны от нуля только в том случае, когда возбуждено достаточно большое число сенсорных нейронов, воздействующих на входы одного ассоциирующего элемента. Простой A-элемент, аналогично простому S-элементу, является активным и выдает единичный выходной сигнал, если алгебраическая сумма сигналов на его входе превышает заданную пороговую величину, в противном случае нейрон находится в невозбужденном состоянии. Коэффициенты (веса) связей между S- и A-элементами постоянны.

Комбинация выходов всех A-элементов представляет собой реакцию двух первых слоев перцептрона на предъявленное входное изображение, которая с помощью выходного слоя нейронов преобразуется в необходимую комбинацию выходных сигналов системы. Часто требуют, чтобы каждому классу входных изображений соответствовал только один определенный активный R-нейрон. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между A- и R-элементами.

Разделение множества G изображений на два класса G1 и G2 можно выполнить с помощью одного выходного элемента. В этом случае изображениям первого класса может соответствовать  положительный  выходной сигнал  (+1) R-элемента, а второго класса – отрицательный (–1). На примере простейшего (элементарного) перцептрона рассмотрим различные способы обучения этих нейросетей, впервые предложенные и исследованные Розенблаттом.

Определение 2.4. Простым перцептроном называется нейронная сеть, состоящая из S-, A- и R-элементов и удовлетворяющая следующим пяти условиям:

1. В сети имеется только один R-нейрон, который соединен связями с переменными весами со всеми A-нейронами.
2. В сети имеются только последовательные связи от S- к A-элементам и от A-элементов к R-элементу.
3. Веса связей между S- и A-элементами являются фиксированными.
4. Время передачи сигналов каждой связью равно нулю (либо фиксированной постоянной величине).
5. Выходные сигналы всех нейронов сети формируются в виде:

    
где  – алгебраическая сумма сигналов, поступающих одновременно на вход нейрона.

Определение 2.5. Простой перцептрон с простыми A- и R-элементами и передающими функциями связей вида:

где wij(t) – вес связи между i-м и j-м нейронами в момент времени t;  – выходной сигнал i-го нейрона в момент времени ; – время передачи сигнала  с выхода i-го нейрона на вход j-го элемента, называется элементарным перцептроном.

Элементарный перцептрон обучается или настраивается на распознавание двух классов изображений G1, G2 путем предъявления ему некоторых последовательностей изображений из этих классов. Учитель (человек или вычислительная машина), наблюдающий реакцию перцептрона на каждое входное изображение, при наличии ошибочных решений сети должен корректировать веса связей между R- и A-элементами в соответствии с некоторой системой правил.

Определение 2.6. Матрицей взаимодействия перцептрона называется матрица, элементами которой являются веса связей wij для всех пар нейронов Ui, Uj сети.
Если связь между нейронами Ui, Uj отсутствует (например, в простом перцептроне нет связей между R- и S-нейронами), то принимают wij = 0.
Матрица взаимодействия фактически отображает состояние памяти перцептрона. Множество всех возможных состояний памяти сети образует фазовое пространство сети, которое может быть представлено в виде области в n-мерном евклидовом пространстве, каждая координатная ось которого соответствует одной связи сети.

2.2. Обучение перцептронов с помощью a- и g-систем подкрепления

Определение 2.7. Системой подкрепления нейронной сети называется любой набор правил, с помощью которых можно изменять во времени состояние памяти сети (или матрицу взаимодействия).

Определение 2.8. Положительным (отрицательным) подкреплением называется такой процесс коррекции весов связей, при котором вес связи wij(t), начинающейся на выходе активного i-го элемента и оканчивающейся на входе j-го элемента, изменяется на величину wij(t), знак которой совпадает со знаком выходного сигнала j-го нейрона (знак которой противоположен знаку выходного сигнала j-го нейрона).

Существует большое число различных систем подкрепления, большая часть из которых представляет лишь исторический интерес. Поэтому остановимся только на системе подкрепления с коррекцией ошибок, которая является основной в настоящее время.
В системе подкрепления с коррекцией ошибок прежде всего необходимо определить, является ли реакция перцептрона правильной. До тех пор, пока выходной сигнал R-элемента принимает желанное значение, величина сигнала подкрепления равна нулю. При появлении неправильной реакции перцептрона используется подкрепление, величина и знак которого в общем случае определяется монотонно возрастающей функцией f:

                                                 (2.1)

где R* – желаемая реакция; R – полученная реакция; f(0) = 0.

Таким образом, при появлении ошибки для коррекции весов связей используется сигнал, знак которого противоположен знаку выходного  сигнала R-элемента. В связи с этим рассмотренный метод коррекции весов получил название системы с отрицательным подкреплением.
Конкретным примером системы подкрепления с коррекцией ошибок является альфа-система подкрепления. В этой системе при наличии ошибок веса всех активных связей, которые оканчиваются на R-элементе, изменяют на одинаковую величину , а веса всех неактивных связей оставляют без изменений. Перцептроны, в которых применяется альфа-система подкрепления, называются альфа-перцептронами.

При использовании альфа-системы подкрепления сумма весов всех связей между R- и A-нейронами может возрастать (или убывать) от шага к шагу, что должно приводить к нежелательным ситуациям, когда многие связи имеют максимальные (или минимальные) веса и не могут использоваться в дальнейшем процессе обучения нейронной сети. Для устранения этого недостатка системы подкрепления была предложена гамма-система подкрепления, которая обладает свойством консервативности относительно суммы 1 весов всех связей между нейронами, т.е. сумма 1 остается постоянной в процессе обучения перцептрона. Это достигается за счет того, что при наличии ошибочной реакции перцептрона сначала веса всех активных связей изменяются на одинаковое значение , а вслед за этим из весов всех активных и пассивных связей вычитается величина, равная отношению суммы изменения весов всех активных связей к числу всех связей. Изменение весов отдельных связей при этом определяется соотношением:

                                       (2.2)

где wij – в общем случае приращение веса связи между i-м  A-нейроном и  j-м R-нейроном, для элементарного перцептрона j = const = 1; ? – величина сигнала подкрепления; Nак – число активных связей; N – число связей, оканчивающихся на входе j-го элемента.
При такой системе коррекции весов связей выполняется равенство:

из которого и следует консервативность гамма-системы подкрепления относительно суммы весов всех обучаемых связей.
Замечание 2.1. Отметим, что соотношение (2.2) в неявной форме предполагает, что корректируемые веса wij связей достаточно далеки от своих граничных значений wij min= 0 и wij max =1, т.е.

                                    (2.3)

Если неравенства (2.3) нарушаются, а требование консервативности относительно суммы 1 весов связей остается неизменным, то соотношение (2.2) необходимо уточнить. Пусть, например, среди активных связей Nа гр. связей имеют граничные значения весов или  и для них выполняются условия

                     (2.4)

Пусть также Nа бгр. активных связей имеют веса, близкие к граничным, для которых справедливы неравенства

                            (2.5)

В этом случае общая сумма Sa первоначальных изменений весов активных связей будет равна:

,    (2.6)
где  – граничное значение веса связи между k-м и j-м нейронами, ;  – приращения веса связи, определяемое по соотношению (2.2) без учета наличия множества  – знаковая функция.
Если предположить, что для всех пассивных связей выполняются соотношения (2.3), тогда из весов пассивных связей и весов активных связей, для которых не выполняется соотношение (2.4) или (2.5), вычитается величина . С учетом этих замечаний соотношение (2.2) принимает вид:

Примером еще одного общего способа обучения перцептронов является метод коррекции ошибок случайными возмущениями. Он предусматривает, как и альфа-система подкрепления, при появлении ошибок – коррекцию весов активных связей, но знак и величина коррекции для каждой связи выбирается случайно в соответствии с некоторым заданным распределением вероятностей.

Пример 2.1. Выполним обучение элементарного перцептрона с бинарными S- и A-нейронами и биполярным R-нейроном (рис. 2.3) распознаванию изображений букв Н и П (рис. 2.4 а, б) на рецепторном поле из девяти элементов (рис 2.4 в).

При этом потребуем, чтобы при предъявлении изображения буквы Н на выходе R-элемента был сигнал “–1”, при появлении второго изображения – сигнал “+1”.

а                            б                           в    

Рис 2.4. Изображения букв Н и П

Зададим в таблицах 2.1 и 2.2 веса связей (),  () соответственно между бинарными S- и A-нейронами и между A-нейронами и биполярным нейроном R с помощью генератора случайных чисел, генерирующего их из конечного множества {0,1; 0,2; …; 0,9}.

          Таблица 2.1. Веса  связей перцептрона между S- и A-элементами  

          Таблица 2.2. Веса  связей перцептрона между R- и A-элементами

Подадим на вход перцептрона изображение буквы Н (рис 2.4 а). Это изображение возбуждает все S-нейроны, кроме второго и восьмого. Единичные сигналы с выходов возбужденных бинарных S-нейронов через связи, весовые коэффициенты которых заданы табл. 2.1, поступают на входы А-нейронов. Суммарный входной сигнал на входе i-го А-элемента определяется соотношением:

,                                         (2.8)

где  – сигнал на входе i-го А-нейрона;  – сигнал на выходе j-го S-нейрона; wji – вес связи между j-м S-нейроном и i-м А-элементом.
Для первого А-нейрона имеем

Аналогично вычисляются сигналы на входах остальных А-элементов. Результаты этих вычислений приведены во второй строке табл. 2.3. В третьей  строке этой таблицы – результаты расчетов сигналов на входах А-элементов при предъявлении перцептрону изображения буквы П.

          Таблица 2.3. Величины сигналов на входах A-элементов 

Для упрощения расчетов положим, что пороги  всех А-нейронов одинаковы

Если величина порога  выбрана меньше 3,2, то при предъявлении любого изображения будут возбуждены все А-нейроны, а если выбрать  > 3,7, то на выходах всех нейронов будут нулевые сигналы. В обоих этих случаях перцептрон не может выполнять распознавание предъявляемых изображений.
Очевидно, что для обеспечения работоспособности нейронной сети порог  необходимо выбрать между 3,2 и 3,7 и таким образом, чтобы при предъявлении разных изображений возбуждались различные множества M1, M2 А-элементов, причем желательно, чтобы эти множества не пересекались, т.е.

               .                                                       (2.9)

Пусть выходной сигнал А-элементов определяется соотношением

                                   
тогда условие (2.9) выполняется при  = 3,5 и при предъявлении изображения буквы Н будут возбуждены элементы А1, А2, А3и А4, а при предъявлении буквы П – нейроны А5 и А6. Рассчитаем с учетом данных табл. 2.2 сигналы  на входе R-нейрона при предъявлении изображений букв Н и П:

При величине порога R-элемента  и предъявлении изображения буквы Н на выходе перцептрона будет сигнал “+1”, а при предъявлении второго изображения – сигнал “–1”, что не соответствует исходным требованиям к выходным сигналам нейронной сети. Используем для настройки  перцептрона  систему подкрепления при величине сигнала подкрепления равном 0,1 и при предъявлении последовательности изображений Н, П, Н, П, … в моменты времени t1, t2, t3, … . Процесс адаптации весов связей между R- и A-нейронами иллюстрируется в табл. 2.4.

Таблица 2.4. Адаптация весов связей перцептрона с помощью -системы
подкрепления

Во втором столбце таблицы при t=t0 приведены значения исходных весов связей и величины сигналов ,  на входе R-элемента при предъявлении соответственно изображений букв Н и П. При первом предъявлении изображения буквы Н в момент времени t1 (обозначено ) в силу наличия ошибочного сигнала на выходе перцептрона корректируются веса активных связей  на величину = 0,1. Эта коррекция уменьшает суммарный входной сигнал  до величины 2,1.
Пусть функционирование  R-элемента описывается соотношением:

где  – порог R-элемента, тогда для достижения правильной реакции R элемента на изображение буквы Н необходимы две повторные коррекции весов связей . Результаты этих коррекций приведены в табл. 2.4 соответственно в пятом и седьмом столбцах при  и . После момента времени , так как выполняется соотношение (2.9), из входной последовательности могут быть исключены изображения буквы Н и предъявляться только изображения буквы П. Результаты коррекции весов связей , определяющих сигнал на входе R-элемента при предъявлении изображения буквы П, приведены в последней строке таблицы. Поскольку в рассматриваемом примере коррекция входного сигнала R-элемента при предъявлении изображения буквы П осуществляется только с помощью весов двух связей, причем, после второй коррекции вес связи  принимает максимальное значение и в дальнейшем возрастать не может, то процесс обучения нейронной сети правильной реакции на второе изображение более длительный и заканчивается только при .

В табл. 2.5 приведены результаты настройки элементарного перцептрона при тех же исходных данных, но с помощью системы подкрепления. Во втором столбце табл. 2.5 при t=t0 приведены исходные веса связей и величины сигналов на входе R-элемента при предъявлении изображений букв Н и П, а также сумма  весов всех связей между R- и А-нейронами. Значения весов связей в третьем столбце таблицы получены после предъявления изображения буквы Н в момент времени . Так как  то, используя соотношение (2.2) для расчета приращения весов активных связей, получим:

,      (2.10)

а для приращений весов пассивных связей имеем:

.                   (2.11)

Зная приращения весов связей и используя соотношение:

нетрудно получить и численные значения, приведенные в третьем столбце табл. 2.5.

 Таблица 2.5. Адаптация весов связей перцептрона с помощью -системы
подкрепления

Весовые коэффи-циенты и входные сигналы	Моменты времени
	0,2	0,1666	0,1333	0,1000	0,0800	0,0600	0,0400	0,0200	0,0000	0,0000
	0,8	0,7666	0,7333	0,7000	0,6800	0,6600	0,6400	0,6200	0,6000	0,5750
	0,6	0,5666	0,5333	0,5000	0,4800	0,4600	0,4400	0,4200	0,4000	0,3750
	0,9	0,8666	0,8333	0,8000	0,7800	0,7600	0,7400	0,7200	0,7000	0,6750
	0,8	0,8667	0,9341	1,0000	1,0000	1,0000	1,0000	1,0000	1,0000	1,0000
	0,1	0,1667	0,2341	0,3004	0,1380	0,4604	0,5404	0,6204	0,7004	0,7754
	2,5	2,3664	–	2,1000	–	1,9400	–	1,7800	–	1,6250
	0,9	–	1,1682	–	1,3800	–	1,5404	–	1,7004	1,7754
	3,4	3,3998	3,4004	3,4004	3,4000	3,4004	3,4004	3,4004	3,4004	3,4004

При предъявлении изображения буквы П в момент времени  активными являются только нейроны A5 и A6, поэтому Naк = 2 и соотношение (2.2) дает следующие численные значения приращений весов связей:

                 (2.12)

                   (2.13)

Зная приращения  и используя выражение:

несложно получить данные четвертого столбца табл. 2.5.
При расчете приращений весов связей при  по соотношениям (2.10), (2.11) оказывается, что приращение w5 больше, чем возможно изменение веса связи :

.

Поэтому для выполнения условия консервативности относительно суммы  весов связей необходимо величину разности

использовать для изменения весов связей, которые не приняли граничных значений. Один из возможных способов использования разности  – изменить каждую из таких (N – 1) активных и пассивных связей на величину:

Численные значения весов связей при  приведены в пятом столбце табл. 2.5.
При расчете весов связей с помощью выражений (2.12), (2.13) для , необходимо учитывать, что изменяться может вес только одной активной связи:

                                                    (2.14)

                                                       (2.15)

                                           (2.16)

Аналогично при  имеем:

                      (2.17)

                                                      (2.18)

                                                   (2.19)

Используя соотношения (2.14) – (2.19), аналогичным образом рассчитываются веса связей при  При  число активных А-нейронов при предъявлении изображения буквы Н будет равно четырем, но в выражении (2.17) необходимо использовать Naк=3, поскольку весовой коэффициент =0. Уменьшается до четырех и число весов связей, которые используются для обеспечения постоянства суммы  весов всех изменяемых связей перцептрона.
В результате получаем:

Таким образом, при предъявлении буквы Н на входе R-элемента сигнал меньше величины порога  и, следовательно, на выходе R-нейрона будет требуемый сигнал “-1”, а при предъявлении изображения буквы П на выходном нейроне появится заданный сигнал “+1”.
Как следует из соотношения (2.2) в системе подкрепления при одной и той же величине сигнала подкрепления , что и в системе, приращение  веса корректируемой активной связи меньше, чем в системе. В связи с этим можно ожидать, что в общем случае процесс настройки нейронной сети вторым методом требует большего числа итераций. Однако анализ данных таблиц 2.4 и 2.5 рассматриваемого примера показывает, что число итераций при использовании g-системы подкрепления не больше, чем при применении системы. Это объясняется следующим. Если веса всех связей далеки от граничных значений, то общая сумма  изменения весов в системе связана только с активными связями:

.

В системе аналогичная сумма  может быть равна, меньше или больше , так как на каждой итерации корректируются веса всех связей:

.

С помощью первого слагаемого в этом выражении подсчитывается сумма изменения весов активных связей, а с помощью второго – сумма изменения весов пассивных связей. После преобразований имеем:

                        .                                     (2.20)

Из анализа выражения (2.20) следует, что в зависимости от соотношения величин Nак и N возможны три выражения:

                                                  (2.21)

                                                  (2.22)

         .                                        (2.23)

Из соотношений (2.21) – (2.23) можно сделать вывод, что в общем случае по числу итераций в процессе обучения элементарного перцептрона ни одна из рассматриваемых систем подкрепления не имеет заметного преимущества.

2.3. Теоремы Розенблатта об элементарных перцептронах

Первая теорема Розенблатта доказывает существование элементарного перцептрона, способного выполнить любую классификацию заданного множества черно-белых изображений, т.е. она показывает, что перцептрон является универсальным устройством для решения любой задачи классификации  изображений.

Теорема 2.1. Пусть дано множество  черно-белых изображений на некоторой сетчатке , тогда для любой классификации C(W) множества W черно-белых изображений на два подмножества W 1, W 2 существует не пустой класс элементарных перцептронов с сетчаткой S, способных выполнить эту классификацию.

Доказательство. Для доказательства достаточно показать существование хотя бы одного элементарного перцептрона, способного выполнить произвольную классификацию C(W). Рассмотрим перцептрон, каждому изображению  на сетчатке S которого соответствует один А-элемент – нейрон Ak, функционирование которого определяется выражением:

                                           (2.24)

где  – выходной сигнал нейрона Аk;  – сигнал на входе нейрона Аk,

;                                           (2.25)

 - выходной сигнал j-го S-элемента,

                                   (2.26)

wjk – вес связи между j-м S-элементом и k-м А-нейроном;  – порог срабатывания k-го А-элемента; .
Для каждого изображения Wk зададим веса wjk соотношением:

                (2.27)

При предъявлении любого изображения  перцептрону, удовлетворяющему соотношениям (2.24) – (2.27), только на входе одного k-го А-нейрона, будет сигнал, равный в соответствии с соотношением (2.25) числу m, и только на выходе этого нейрона в соответствии с выражением (2.24) будет единичный выходной сигнал. Теперь для правильного выполнения разделение исходного множества W на два подмножества W 1, W 2 с помощью элементарного перцептрона необходимо только всем весам связей между R- и A-нейронами, которые соответствуют A-элементам, возбуждаемым изображениями подмножества W 1, придать положительные значения, а всем весам связей А-нейронов, которые возбуждаются изображениями подмножества W 2, - отрицательные значения, а затем задать выходной сигнал R-нейрона  выражением вида:

где  – входной сигнал R-элемента.
В этом случае все изображения подмножества W 1 будут кодироваться положительным единичным выходным сигналом нейронной сети, а подмножества W 2 – отрицательным, т.е. будет правильно выполняться классификация C(W) исходного множества W изображений.

Хотя построенная таким образом нейронная сеть не имеет существенного практического значения, однако ее наличие показывает, что элементарный перцептрон является универсальным устройством классификации любого множества изображений на два класса. В том случае, когда число изображений множества W превышает число А-нейронов, элементарный перцептрон теряет свою универсальную способность классифицировать изображения.

Теорема 2.2. Если число  n  изображений  в множестве  W  больше числа А-элементов элементарного перцептрона, то существует некоторая классификация С(W) множества W черно-белых изображений на два подмножества W 1, W 2, которая не может быть выполнена перцептроном.

Теорема 2.3. Для любого элементарного перцептрона с конечным числом А-нейронов вероятность выполнения классификации С(W), которая выбирается из равномерного распределения по всем возможным классификациям множества  изображений на два класса, стремится к нулю при n, стремящемся к бесконечности.

Теорема 2.1 доказывает существование элементарного перцептрона, способного выполнять любую заданную классификацию С(W) изображений некоторого множества W на два класса, однако она не указывает алгоритмов достижения этой способности в процессе обучения нейронной сети. Розенблаттом была доказана важная для теории элементарных перцептронов теорема о наличии таких алгоритмов для перцептронов.
Рассмотрим некоторую классификацию С(W) множества W изображений на два подмножества  W 1, W 2, которая  может осуществляться перцептроном с R-элементом, выходной сигнал которого удовлетворяет условиям:

                                   (2.28)

Положим также, что:
                                 (2.29)

Определение 2.9. Метод коррекции ошибок без квантования – этот метод системы подкрепления с коррекцией  ошибок, когда  при  ошибочной реакции  R-элемента с порогом q на некоторое изображение  к весу каждой из связей, соединяющих активные А-нейроны с R-элементом, прибавляется величина , где коэффициент  выбирается из условия, что после коррекции весов связей выполняется соотношение (2.28), т.е. перцептрон правильно классифицирует предъявленное изображение. В методе коррекции ошибок с квантованием применяется это же правило коррекции весов связей, но величина  в общем  случае гораздо  меньше и правильный сигнал на выходе R-нейрона, как правило, достигается не за одну итерацию.
Теорема 2.4. Пусть дан элементарный перцептрон, множество черно-белых изображений , некоторая классификация С(W) этих изображений на два подмножества, которая может быть выполнена перцептроном. Изображения  подаются на вход перцептрона в произвольной последовательности, в которой каждое из них появляется неоднократно, через конечное число предъявлений других изображений. Тогда процесс обучения перцептрона методом коррекции ошибок ( с квантованием или без квантования подкрепления) независимо от начальных значений весов связей между R- и А-элементами всегда приводит за конечное число итераций к множеству весов связей, с помощью которых перцептрон может выполнить заданную классификацию изображений.

Теорема 2.4 доказывает наличие сходящегося детерминированного метода обучения с коррекцией ошибок для элементарного перцептрона с квантованием или без квантования подкрепления. Следующая теорема доказывает, что обучение элементарного перцептрона может быть выполнено и при менее жестких требованиях к виду коррекции – методом коррекции ошибок со случайным законом подкрепления, когда при появлении ошибки сигнал подкрепления формируется как в системе, но знак подкрепления с вероятностью 0,5 может быть положительным или отрицательным.

Теорема 2.5. Пусть дан элементарный перцептрон с конечным числом значений весов связей между R- и А-нейронами, множество черно-белых изображений , некоторая классификация C(W) этих изображений на два подмножества, которая может быть выполнена перцептроном при некотором наборе весов связей между R- и А-нейронами, изображения  подаются на вход перцептрона в произвольной последовательности, в которой каждое из них появляется неоднократно через конечное число предъявлений других изображений. Тогда процесс обучения перцептрона, величина сигналов подкрепления которого формируется как и в системе с квантованием подкрепления, а знак подкрепления выбирается с вероятностью 0,5 положительным или отрицательным, может быть выполнен за конечное время с вероятностью, равной единице, независимо от начальных значений весов связей между R и А нейронами.
Естественно, что метод со случайным знаком подкрепления требует большего объема вычислений при обучении перцептрона, чем прямая коррекция ошибок с квантованием или без квантования подкрепления. Еще большего объема вычислений требует метод, в котором производится случайный выбор не только знака, но и величины подкрепления. Розенблаттом доказана теорема о том, что с вероятностью, равной единице, обучение перцептрона может быть выполнено за конечное время и методом коррекции случайными возмущениями, когда подкрепление формируется как в системе, но при этом величина и знак подкрепления для каждого веса связи выбираются отдельно и независимо в соответствии с некоторым заданным законом распределения вероятностей.
Менее универсальной системой подкрепления, чем система и системы со случайным формированием подкрепления, является система. Это доказывает следующая теорема Розенблатта.

Теорема 2.6. Пусть дан элементарный перцептрон, подмножество  черно-белых изображений и некоторая классификация C(W) этих изображений на два класса W 1, W 2. Тогда для выполнения классификации C(W) может существовать набор весов связей, недостижимый для системы подкреплений.
Доказательство. Пусть функционирование А-нейронов определяется выражением:

где  – соответственно выходной и входной сигналы k-го A-нейрона;  – порог срабатывания А-нейронов.
Пусть также каждый А-нейрон возбуждается только одним изображением из множества W, а классификация C(W) осуществляется с помощью R-элемента, функционирование которого описывается соотношением:

где  – соответственно выходной и входной сигналы R-нейрона. Выберем классификацию C(W), которая относит все изображения к классу  или к классу . Очевидно, что в первом случае решение существует только  тогда, когда  веса всех связей  между  R- и  А-элементами положительны (или отрицательны, если все изображения относятся к классу ). Если для первого случая начальные веса всех связей между R- и А-нейронами отрицательны, а для второго – положительны, то в силу свойства консервативности системы подкрепления относительно суммы всех весов связей между R- и А-нейронами, она не сможет выполнить правильную настройку весов связей перцептрона для рассматриваемой классификации C(W).