Алгоритм обратного распространения ошибки для сети TSK

Нечеткая нейронная сеть TSK имеет многослойную структуру с прямым распространением сигнала, значение выхода которой можно изменять, корректируя параметры элементов слоев, что позволяет для обучения этой сети использовать алгоритм обратного распространения ошибки [6]. Для этого потребуется обучающая выборка в виде пар (x, d), где x=[x₁, …, x_N]^T – это входной вектор, а d – эталонный сигнал. Задача заключается в такой коррекции параметров сети, описанной выражением 8.44 чтобы мера погрешности, задаваемая выражением:

(8.60)

была минимальной.

Если применяется простейший метод наискорейшего спуска, то соответствующие формулы адаптации принимают форму:

(8.61)

Параметры корректируются в соответствии с формулами (8.51)-(8.53).

Формулы (8.51-8.53 и 8.61) требуют расчета градиента целевой функции относительно параметров функции принадлежности. Окончательный вид этих формул зависит от используемого определения функции погрешности на выходе сети, так и от формы функции принадлежности. Например, при использовании функции Гаусса

(8.62)

Соответствующие формулы градиента целевой функции для одной пары обучающих данных (x, d) принимают вид [6]:

	(8.63)

где (8.64)

Если использовать функцию Гаусса, представленную формулой (8.40), то корректировку следует проводить по формулам (8.57-8.59).

Несмотря на сложную структуру приведенных формул, выражающих компоненты вектора градиента, они позволяют аналитически определить величины, необходимые для уточнения параметров нечеткой сети.

Метод наискорейшего спуска имеет линейную сходимость, поскольку в нем используются только слагаемые первого порядка при разложении целевой функции в ряд Тейлора. Указанный недостаток, а также резкое замедление минимизации в ближайшей окрестности точки оптимального решения, когда градиент принимает очень малые значения, делают алгоритм наискорейшего спуска низкоэффективным. Повысить эффективность удается путем эвристической модификации выражения, определяющего направление градиента.

Одна из модификаций получила название алгоритма обучения с моментом. При этом подходе уточнение параметров сети производится по формуле:

(8.65)

где a - это коэффициент момента, принимающий значения в интервале [0, 1].