Нейронная сеть Хемминга

1.  Сеть Хемминга

Сеть Хемминга – это одна из наиболее многообещающих распознающих и классифицирующих нейронных сетей. В этой сети черно-белые изображения представляются в виде m-мерных биполярных векторов. Свое название она получила от расстояния Хемминга, которое используется в сети в мере сходства R изображений входного и эталонных, хранимых с помощью весов связей сети. Мера сходства определяется соотношением
R = m – Rx,                                                    (1)

где m – число компонент входного и эталонных векторов; Rx - расстояние Хемминга между векторами.

Определение 1. Расстоянием Хемминга между двумя двоичными векторами называется число компонент, в  которых векторы различны.
В силу определения расстояния Хемминга мера сходства изображений(1) может быть задана и как число  a компонент двоичных векторов, в которых они совпадают:  R = a.
Запишем для биполярных векторов    и   их скалярное произведение через число совпадающих и отличающихся компонент:

                                              (2)
где а – число одинаковых компонент векторов; d – число различных компонент векторов S и Z.
Поскольку т – размерность векторов, то m = a + d,следовательно, скалярное произведение (2) можно записать в виде

SZ = 2a – m.

Отсюда несложно получить:

(3)

Правую часть выражения (3) можно рассматривать как входной сигнал нейрона, имеющего m синапсов с весовыми коэффициентами  и  смещением . Синапсы нейрона  воспринимают m  компонент  входного вектора  S = (s1, …, sm). Такая интерпретация правой части выражения (3) приводит к архитектуре нейронной  подсети,  изображенной  в нижней части  рис. 1. Одни авторы сеть, изображенную на рис 1, называют сетью Хемминга, другие  сетью Хемминга  называют только ее нижнюю часть, считая, что приведенная сеть состоит из двух подсетей –Хемминга и Maxnet.Мы будем придерживаться первой точки зрения.

Сеть Хемминга имеет m входных нейронов S1, …, Sm?, воспринимающих биполярные компоненты  входных изображений  Выходные сигналы S-элементов определяются соотношением

                                          (4)

т. е. выходной сигнал S-элемента повторяет его входной сигнал:

Каждый нейрон Sj (j =) связан со входом каждого элемента Zk (k = ). Веса этих связей w1k, …, wmk содержат информацию о k-м эталонном изображении  :

.                                   (5)

Функции активации Z-элементов описывается соотношением

                       (6)

где Uвх. – входной сигнал нейрона; k1, Un  – константы.
При предъявлении входного изображения  каждый Z-ней-рон рассчитывает свой входной сигнал в соответствии с выражением вида (3):

                                                              (7)

и с помощью функций активации, определяет выходной сигнал . Выходные сигналы  Z-элементов являются входными сигналами a1, …, an верхней подсети, которой является сеть Maxnet. Функции активации нейронов Ap (p = ) и веса их связей задаются соотношениями

где – константа, удовлетворяющая неравенствам 0 <   .
Сеть функционирует циклически, динамика нейронов описывается итера-ционным выражением

при начальных условиях

                                       (8)
Если среди входных сигналов a1, …, an нейронов A1, …, An имеется один наибольший сигнал ap (p  {1, 2, …, n}), то в результате итерационного процесса в подсети Maxnetтолько один нейрон  Ap останется c выходным сигналом, большим нуля, т.е. станет "победителем". Поскольку выходные сигналы U1, …, Up , …, Un A-элементов поступают на входы Y-нейронов, которые имеют функцию активации вида

                                    (9)

то в результате на выходе сети Хемминга только один нейрон Yp окажется с единичным выходным сигналом. Единичный выход этого нейрона и нулевые всех  остальных и будут указывать на то, что предъявленное изображение  наиболее близко, в смысле заданной меры близости (1), к эталонному изображению .
Существенное достоинство сети Хемминга заключается в том, что она не требует трудоемких вычислительных процедур для своего обучения. Заметный недостаток сети: она не выделяет два и более эталонных изображений, имеющих с предъявленным одинаковые максимальные меры близости.
Пример 1. Разработать сеть Хемминга, имеющую в качестве эталонных пять черно-белых изображений V 1, …, V 5, приведенных на рис. 2. Определить реакцию сети на изображения, приведенные на рис. 3.

Поскольку задано всего пять эталонных изображений, то сеть должна иметь по пять  Z-,  A- и Y-нейронов. Наличие девяти черно-белых элементов в изображениях рис. 2 и рис. 3 определяют девять  S-нейронов, воспринимающих элементы входных изображений.
Пронумеруем элементы изображений рис. 2 и 3 в соответствии с рис. 4 и представим изображения  в векторной форме, используя биполярное представление векторов:

V 1 = (–1, 1, –1, –1, 1, –1, –1, 1, –1),
V 2 = (1, 1, 1, 1, –1, 1, 1, –1, 1),
V 3 = (1, –1, 1, 1, 1, 1, 1, –1, 1),
V 4 = (1, 1, 1, 1, –1, –1, 1, –1, –1),
V 5 = ( –1, –1, –1, –1, 1, –1, –1, –1, –1).

Зная вектора эталонных изображений и их число по соотношению (5), рассчитаем матрицу  весов связей нижней подсети сети Хемминга:

               (10)

где для наглядности строки и столбцы матрицы пронумерованы соответственно с помощью S-элементов и эталонных изображений  или нейронов Zp, взятых в круглые скобки.
Смещения  Z-нейронов рассчитываются с помощью выражения (11):
.                                   (11)

Функции активации Z-нейронов зададим соотношением (6) при  k1 = 0,1и . Функции активации Y-нейронов определим как функции (9). Константу , определяющую веса отрицательных связей в подсети Maxnet, найдем из равенства  , а так как n = 5, то  = 0,2.
Зная все параметры сети Хемминга, рассмотрим её функционирование при предъявлении изображения  S1 = (–1, –1, 1, 1, 1, 1, 1, –1, 1) рис. 3.
После предъявления изображения S1 на выходах S-нейронов в силу того, что их выходные сигналы повторяют входные (соотношения (4)), появится вектор сигналов . Используя выходные сигналы S-элементов, каждый Z-нейрон рассчитывает свой входной сигнал в соответствии с выражением (7), матрицей весов (10) и смещением   (11):

По входному сигналу , используя свою функцию активации (6) при  ,  каждый  Z-нейрон рассчитывает свой выходной сигнал:

Вектор
                                   (12)

является входным вектором подсети Maxnet, которая начинает итерационный процесс выделения максимального выходного сигнала при начальных условиях (12). Для t= 1 имеем

Используя вектор  выходных сигналов А-элементов при t = 1, аналогичным образом рассчитывают выходные сигналы А-нейронов при t = = 2, 3и 4. Результаты расчетов приведены в табл. 1.

Таблица 1. Результаты расчетов итерационного процесса в подсети Maxnet

Итерационный процесс в подсети Maxnetзаканчивается при  t = 5, поскольку на этом шаге функционирование подсети не изменяется ни один выходной сигнал А-элементов. Вектор выходных сигналов А-элементов, записанный в последней строке табл. 1, поступает на входы Y-элементов. Так как Y-нейроны имеют функцию активации вида (9), то на выходе только одного элемента Y3 появится единичный сигнал. Появление этого сигнала говорит о том, что предъявленное изображение S1 наиболее близко к эталонному изображению V 3. Визуальное сопоставление рис. 2 и 3 подтверждает правильность работы сети.
Определим теперь реакцию сети при предъявлении изображения  S 2= (–1, –1, 1, –1, 1, –1, –1, –1, –1).Поскольку расчеты аналогичны, то приведем только основные промежуточные результаты:

Поскольку входной вектор (0,6; 0,2; 0,4; 0,4; 0,8) подсетиMaxnet содер-жит единственный максимальный элемент а5 = 0,8, то в результате итерационного процесса на выходе только элемента А5 окажется положительный выходной сигнал, который вызовет единичный сигнал на выходе нейрона Y5. Следовательно, предъявленное изображение наиболее близко к эталонному изображению V 5, что подтверждает и визуальное сопоставление рис. 2 и 3.
Определим  теперь реакцию сети Хемминга на  входное  изображение  S3 = = (–1, –1, –1, –1, 1, –1, –1, 1, –1) (рис. 3). При предъявлении изображения S3  имеем:
Поскольку сигналы  являются одинаковыми максимальными входными сигналами, то одинаковыми будут и максимальные сигналы  на  выходах  Z-элементов ()  и  на  входах А-нейронов  Следовательно, подсеть Maxnetне сможет выделить единственного максимального сигнала и в результате ее функционирования на всех выходах А- и Y-нейронов появятся нулевые сигналы.
Таким образом, сеть Хемминга не может определить, к какому из эталонных изображений наиболее близко предъявленное изображение S³.

Вернуться в оглавление:Нейрокомпьютеры