Принцип обучения искусственных нейронных сетей

Формализация нейронных сетей

Рисунок 1 Формализация нейронных сетей

На входы нейрона поступает номер сигнала a_i с выходом других нейронов, образуют вектор входных сигналов. Все сигналы, умноженные на соответствующие весовые коэффициенты суммируются. Коэффициенты образуют весовой вектор, где коэффициент вес связи от i-ого нейрона к j-ому нейрону. Результат суммирования поступает на пороговый элемент, характеризуемый величиной порога и некоторой функции активации. Таким образом сигнал bj на выходе нейрона j может быть представлен в следующем виде:

В качестве функции активации могут использоваться следующие:

1) Ступенчатая (пороговая) функция ;

Рисунок 2 Ступенчатая (пороговая) функция активации

2) Линейная функция активации ;

Рисунок 3 Линейная функция активации

3) Кусочно-линейная функция;

Рисунок 4 Кусочно-линейная функция активации

4) Сигмоидальная функция:

Рисунок 5 Сигмоидальная функция активации

5) Гиперболический тангенс

Рисунок 6 Гиперболический тангенс

Существует множество способов организации искусственных нейронных сетей, которые могут содержать различное число слоев нейронов. Нейроны могут быть связаны как внутри отдельных слоев, так и между слоями. В зависимости от направления связи могут быть прямыми или обратными.

Слой нейронов непосредственно принимающий информацию из окружающей среды называется входным слоем, передающей информацию во внешнюю среду – выходным слоем. Любой слой, лежащий между ними – промежуточный.

1) Однослойная структура с обратной связью;

Рисунок 7 Однослойная структура с обратной связью

2) Двуслойная структура с прямыми связями;

Рисунок 8 Двуслойная структура с прямыми связями

3) Двуслойная структура с обратной связью;

Рисунок 9 Двуслойная структура с обратной связью

4) Трехслойная структура с линейной связью;

Рисунок 10 Трехслойная структура с линейной связью

Цель обучения нейронной сети – состоит в её настройке на заданное поведение. Один из подходов к получению сети … он предусматривает обучение сети путем настройки значений весовых коэффициентов. Матрица весовых коэффициентов сети называется синоптической картой. Существует 2 вида обучения, обучение с учителем и без него.

Обучение с учителем предполагает наличие обучающих пар и образов, называемых обучающей последовательностью. При этом для каждого входного образа a_i вычисляется реакция сети b_i и сравнивается с соответствующим целевым образом d_i. Полученное рассогласование используется алгоритмом обучения для корректировки синоптической карты таким образом, чтобы уменьшить ошибку рассогласования.

Процесс обучения без учителя широко используется во многих приложениях нейронных сетей, но он не полностью соответствует реальным процессам. Мост использует поступающую информацию, сам осуществляет её обобщение и коррекцию своей деятельности путем анализа ошибок. В случае обучения без учителя обучающая последовательность состоит лишь из входных образов a_i. Алгоритм обучения настраивает веса так, что близким входным векторам соответствовали одинаковые выходные, т.е. фактически осуществляется разбиение пространства входных образов на классы.

Метод обучения, предложенный Розенблаттом

Шаг 0: начальное значение весов всех нейронов случайно;

Шаг 1: сети предъявляется входной образ a_i в результате формируется выходной образ d_i=b_i;

Шаг 2: вычисляется вектор ошибки, в дальнейшем изменение вектора весовых коэффициентов должно быть пропорционально ошибке на выходе и равно 0 если ошибка равно 0;

В дальнейшем изменение вектора весовых коэффициентов должно быть пропорционально ошибке на выходе и равно нулю, если ошибка равна нулю соответственно

, где - тем обучения.