Нейрон сигмоидального типа имеет структуру, подобную модели МаКаллека-Питса с той разницей, что функция активации может быть выражена сигмоидальной, униполярной и биполярной функциями.
- унимодальная функция
- биполярная функция
Рисунок 15 Униполярная функция
Рисунок 16 Биполярная функция
Параметр выбирается пользователем. Его значения влияет на форму функции активации. При функция превращается в ступенчатую функцию, идентичную функции активации персептрона. Чаще всего используется .
Важным свойством сигмоидальной функции является её дифференцируемость:
- униполярная
- биполярная
Рисунок 17 График производной
Сигмоидальный нейрон обучается с учителем по принципу минимизации целевой функции.
Нейрон типа «адалайн»
Адалайн – адаптивный линейный нейрон, со следующей структурной схемой:
Рисунок 18 нейрон типа Адалайн
Алгоритм подбора весов:
Квадратичная ошибка:
Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки.
Несмотря на нелинейный характер модели, в целевой функции присутствуют только линейные элементы, представляющие собой сумму взвешенных входных сигналов. В связи с выполнением условия непрерывности целевой функции, стало возможно применение алгоритма градиентного обучения. Значения весовых коэффициентов могут утоняться либо дискретным способом: , либо непрерывным:
В практических приложениях нейроны типа «адалайн» всегда используется группами, образуя слои, называемые «мадалайн». Каждый входящий в слой нейрон обучается по правилу адалайн.
Существует три базовых схемы межнейронных соединений:
Рисунок 19 Межнейронные соединения
Сигналы суммируются с учетом порогового значения, установленного раздельно для каждого типа связи. Для схемы OR порог имеет значение (n-1), для AND – (1-n), для мажориторной схемы – нулевое значение.
В связи с используемой функцией активации выходных сигналов y принимает значение +1, когда хотя бы один из входных сигналов имеет значение +1, когда все входные сигналы имеют значение +1, либо когда большинство сигналов имеет значение +1.
1.10.2011
Нейроны типа «инстар» и «оутстар» - взаимодополняющие эоементы. Инстра адаптирует веса связей поступающих на сумматор нейрона к входным сигналам, а оутстар согласовывает веса выходящих из нейронов связей, с узлами, в которых формируются значения выходных сигналов. Позволяет обучаться без учителя.
Рисунок 20 Инстар Гроссберга
- правило Гроссберга (правило подстройки весов при обучении без учителя), - коэффициент обучения
В соответствии с функцией активации, на выходе нейрона вырабатывается выходной сигнал , равный . В инстаре применяется линейная функция активации, и тогда . Обучение инстара производится по правилу Гроссберга, где - коэффициент обучения, значение которого выбирается в интервале от 0 до 1. Входные данные, представляемые в виде вектора x, должны быть выражены в нормализованной форме. Нормализация выполняется по следующей формуле:
Результаты обучения по методуГроссберга в значительной степени зависят от коэффициента обучения . При выборе веса становятся равными значениям уже после первой итерации. Ввод очередного входного вектора x вызовет адаптацию весов к новому вектору и абсолютное забывание предыдущих значений. Выбор приводит к тому, что в результате обучения весовые коэффициенты принимают усредненное значение обучающих векторов x.
Пример:
Натренированный инстар функционирует как векторный классификатор, сопоставляющих очередной поданный на его вход вектор с вектором, сформированным в процессе обучения. В случае максимального совпадения этих вектором реакция инстара будет максимальной.
Если инстар обучался на группе достаточно похожих векторов с , то его весовые коэффициенты примут значение, усредненное по этим векторам, и в режиме классификации он будет лучше всего реагировать на входные векторы, значения которых наиболее близки ксредним значениям векторов, входящих в обучающую группу.
Инстар может обучаться как с учителем, так и без него. При обучение без учителя в качестве значения принимается фактически значение выходного сигнала.
Рисунок 21 Оутстар Гроссберга
Оутстар представляет собой комплементарное дополнение инстара. Если инстар обучается с целью распознавать вектор, подаваемый на его вход, то оутстар должен генерировать вектор, необходимый связанным с ним нейроном.
Оутстар является линейным нейроном. Обучение состоит в таком подборе весов, чтобы выходные сигналы оутстара были равны ожидаемым значениям взаимодействующих с ними нейронов.
В режиме распознавания в моменты активации нейрона-источника оутстар будет генерировать сигналы, соответствующие ожидаемым значениям .
