русс | укр

Языки программирования

ПаскальСиАссемблерJavaMatlabPhpHtmlJavaScriptCSSC#DelphiТурбо Пролог

Компьютерные сетиСистемное программное обеспечениеИнформационные технологииПрограммирование

Все о программировании


Linux Unix Алгоритмические языки Аналоговые и гибридные вычислительные устройства Архитектура микроконтроллеров Введение в разработку распределенных информационных систем Введение в численные методы Дискретная математика Информационное обслуживание пользователей Информация и моделирование в управлении производством Компьютерная графика Математическое и компьютерное моделирование Моделирование Нейрокомпьютеры Проектирование программ диагностики компьютерных систем и сетей Проектирование системных программ Системы счисления Теория статистики Теория оптимизации Уроки AutoCAD 3D Уроки базы данных Access Уроки Orcad Цифровые автоматы Шпаргалки по компьютеру Шпаргалки по программированию Экспертные системы Элементы теории информации

Нейронная сеть Хемминга

1.  Сеть Хемминга

Сеть Хемминга – это одна из наиболее многообещающих распознающих и классифицирующих нейронных сетей. В этой сети черно-белые изображения представляются в виде m-мерных биполярных векторов. Свое название она получила от расстояния Хемминга, которое используется в сети в мере сходства R изображений входного и эталонных, хранимых с помощью весов связей сети. Мера сходства определяется соотношением
R = m – Rx,                                                    (1)

где m – число компонент входного и эталонных векторов; Rx - расстояние Хемминга между векторами.

Определение 1. Расстоянием Хемминга между двумя двоичными векторами называется число компонент, в  которых векторы различны.
В силу определения расстояния Хемминга мера сходства изображений(1) может быть задана и как число  a компонент двоичных векторов, в которых они совпадают:  R = a.
Запишем для биполярных векторов    и   их скалярное произведение через число совпадающих и отличающихся компонент:

                                              (2)
где а – число одинаковых компонент векторов; d – число различных компонент векторов S и Z.
Поскольку т – размерность векторов, то m = a + d,следовательно, скалярное произведение (2) можно записать в виде

SZ = 2a – m.

Отсюда несложно получить:

 

(3)

Правую часть выражения (3) можно рассматривать как входной сигнал нейрона, имеющего m синапсов с весовыми коэффициентами  и  смещением . Синапсы нейрона  воспринимают компонент  входного вектора  S = (s1, …, sm). Такая интерпретация правой части выражения (3) приводит к архитектуре нейронной  подсети,  изображенной  в нижней части  рис. 1. Одни авторы сеть, изображенную на рис 1, называют сетью Хемминга, другие  сетью Хемминга  называют только ее нижнюю часть, считая, что приведенная сеть состоит из двух подсетей –Хемминга и Maxnet.Мы будем придерживаться первой точки зрения.

 

 

Сеть Хемминга имеет m входных нейронов S1, …, Sm?, воспринимающих биполярные компоненты  входных изображений  Выходные сигналы S-элементов определяются соотношением

                                          (4)

т. е. выходной сигнал S-элемента повторяет его входной сигнал:

 

Каждый нейрон Sj (j =) связан со входом каждого элемента Zk (k = ). Веса этих связей w1k, …, wmk содержат информацию о k-м эталонном изображении  :

.                                   (5)

Функции активации Z-элементов описывается соотношением

                       (6)

где Uвх. – входной сигнал нейрона; k1, Un  – константы.
При предъявлении входного изображения  каждый Z-ней-рон рассчитывает свой входной сигнал в соответствии с выражением вида (3):

                                                              (7)

и с помощью функций активации, определяет выходной сигнал . Выходные сигналы  Z-элементов являются входными сигналами a1,, an верхней подсети, которой является сеть Maxnet. Функции активации нейронов Ap (p = ) и веса их связей задаются соотношениями

                                       

                                   

где – константа, удовлетворяющая неравенствам 0 <   .
Сеть функционирует циклически, динамика нейронов описывается итера-ционным выражением

 

                  

 

при начальных условиях

                                       (8)
Если среди входных сигналов a1, …, an нейронов A1, …, An имеется один наибольший сигнал ap (p  {1, 2, …, n}), то в результате итерационного процесса в подсети Maxnetтолько один нейрон  Ap останется c выходным сигналом, большим нуля, т.е. станет "победителем". Поскольку выходные сигналы U1, …, Up , …, Un A-элементов поступают на входы Y-нейронов, которые имеют функцию активации вида

                                    (9)

то в результате на выходе сети Хемминга только один нейрон Yp окажется с единичным выходным сигналом. Единичный выход этого нейрона и нулевые всех  остальных и будут указывать на то, что предъявленное изображение  наиболее близко, в смысле заданной меры близости (1), к эталонному изображению .
Существенное достоинство сети Хемминга заключается в том, что она не требует трудоемких вычислительных процедур для своего обучения. Заметный недостаток сети: она не выделяет два и более эталонных изображений, имеющих с предъявленным одинаковые максимальные меры близости.
Пример 1. Разработать сеть Хемминга, имеющую в качестве эталонных пять черно-белых изображений V 1, …, V 5, приведенных на рис. 2. Определить реакцию сети на изображения, приведенные на рис. 3.

 

Поскольку задано всего пять эталонных изображений, то сеть должна иметь по пять  Z-,  A- и Y-нейронов. Наличие девяти черно-белых элементов в изображениях рис. 2 и рис. 3 определяют девять  S-нейронов, воспринимающих элементы входных изображений.
Пронумеруем элементы изображений рис. 2 и 3 в соответствии с рис. 4 и представим изображения  в векторной форме, используя биполярное представление векторов:

V 1 = (–1, 1, –1, –1, 1, –1, –1, 1, –1),
2 = (1, 1, 1, 1, –1, 1, 1, –1, 1),
3 = (1, –1, 1, 1, 1, 1, 1, –1, 1),
V 4 = (1, 1, 1, 1, –1, –1, 1, –1, –1),
V 5 = ( –1, –1, –1, –1, 1, –1, –1, –1, –1).

Зная вектора эталонных изображений и их число по соотношению (5), рассчитаем матрицу  весов связей нижней подсети сети Хемминга:

               (10)

где для наглядности строки и столбцы матрицы пронумерованы соответственно с помощью S-элементов и эталонных изображений  или нейронов Zp, взятых в круглые скобки.
Смещения  Z-нейронов рассчитываются с помощью выражения (11):
.                                   (11)

Функции активации Z-нейронов зададим соотношением (6) при  k1 = 0,1и . Функции активации Y-нейронов определим как функции (9). Константу , определяющую веса отрицательных связей в подсети Maxnet, найдем из равенства  , а так как n = 5, то  = 0,2.
Зная все параметры сети Хемминга, рассмотрим её функционирование при предъявлении изображения  S1 = (–1, –1, 1, 1, 1, 1, 1, –1, 1) рис. 3.
После предъявления изображения S1 на выходах S-нейронов в силу того, что их выходные сигналы повторяют входные (соотношения (4)), появится вектор сигналов . Используя выходные сигналы S-элементов, каждый Z-нейрон рассчитывает свой входной сигнал в соответствии с выражением (7), матрицей весов (10) и смещением   (11):

По входному сигналу , используя свою функцию активации (6) при  ,  каждый  Z-нейрон рассчитывает свой выходной сигнал:

 






Вектор
                                   (12)

является входным вектором подсети Maxnet, которая начинает итерационный процесс выделения максимального выходного сигнала при начальных условиях (12). Для t= 1 имеем





Используя вектор  выходных сигналов А-элементов при t = 1, аналогичным образом рассчитывают выходные сигналы А-нейронов при t = = 2, 3и 4. Результаты расчетов приведены в табл. 1.

 

Таблица 1. Результаты расчетов итерационного процесса в подсети Maxnet

Время

Величина выходных сигналов нейронов

0

0,200

0,600

0,800

0,400

0,400

1

0,000

0,240

0,480

0,000

0,000

2

0,000

0,144

0,432

0,000

0,000

3

0,000

0,058

0,403

0,000

0,000

4

0,000

0,000

0,402

0,000

0,000

Итерационный процесс в подсети Maxnetзаканчивается при  t = 5, поскольку на этом шаге функционирование подсети не изменяется ни один выходной сигнал А-элементов. Вектор выходных сигналов А-элементов, записанный в последней строке табл. 1, поступает на входы Y-элементов. Так как Y-нейроны имеют функцию активации вида (9), то на выходе только одного элемента Y3 появится единичный сигнал. Появление этого сигнала говорит о том, что предъявленное изображение S1 наиболее близко к эталонному изображению V 3. Визуальное сопоставление рис. 2 и 3 подтверждает правильность работы сети.
Определим теперь реакцию сети при предъявлении изображения  S 2= (–1, –1, 1, –1, 1, –1, –1, –1, –1).Поскольку расчеты аналогичны, то приведем только основные промежуточные результаты:


Поскольку входной вектор (0,6; 0,2; 0,4; 0,4; 0,8) подсетиMaxnet содер-жит единственный максимальный элемент а5 = 0,8, то в результате итерационного процесса на выходе только элемента А5 окажется положительный выходной сигнал, который вызовет единичный сигнал на выходе нейрона Y5. Следовательно, предъявленное изображение наиболее близко к эталонному изображению 5, что подтверждает и визуальное сопоставление рис. 2 и 3.
Определим  теперь реакцию сети Хемминга на  входное  изображение  S3 = = (–1, –1, –1, –1, 1, –1, –1, 1, –1) (рис. 3). При предъявлении изображения S3  имеем:
Поскольку сигналы  являются одинаковыми максимальными входными сигналами, то одинаковыми будут и максимальные сигналы  на  выходах  Z-элементов ()  и  на  входах А-нейронов  Следовательно, подсеть Maxnetне сможет выделить единственного максимального сигнала и в результате ее функционирования на всех выходах А- и Y-нейронов появятся нулевые сигналы.
Таким образом, сеть Хемминга не может определить, к какому из эталонных изображений наиболее близко предъявленное изображение S3.

Просмотров: 6749

Вернуться в оглавление:Нейрокомпьютеры




Карта сайта Карта сайта укр


Уроки php mysql Программирование

Онлайн система счисления Калькулятор онлайн обычный Инженерный калькулятор онлайн Замена русских букв на английские для вебмастеров Замена русских букв на английские

Аппаратное и программное обеспечение Графика и компьютерная сфера Интегрированная геоинформационная система Интернет Компьютер Комплектующие компьютера Лекции Методы и средства измерений неэлектрических величин Обслуживание компьютерных и периферийных устройств Операционные системы Параллельное программирование Проектирование электронных средств Периферийные устройства Полезные ресурсы для программистов Программы для программистов Статьи для программистов Cтруктура и организация данных


 


Полезен материал? Поделись:

Не нашли то, что искали? Google вам в помощь!

 
 

© life-prog.ru При использовании материалов прямая ссылка на сайт обязательна.