Применение метода обратного распространения ошибки для гипер радиально-базисных сетей

Обособленный класс алгоритмов обучения радиальных сетей составляют градиентные алгоритмы обучения с учителем, в которых используется алгоритм обратного распространения ошибки. Их основу составляет целевая функция, которая для одного обучающего примера имеет вид:

(4.35)

Предположим, что применяется самая общая форма гауссовской радиальной функции , соответствующей сети HRBF, в которой

, (4.36)

а матрица имеет произвольную структуру.

Обучение сети с использованием алгоритма обратного распространения ошибки проводится в два этапа. На первом этапе предъявляется обучающий вектор и рассчитываются значения сигналов выходных нейронов сети и фактическое значение целевой функции, заданной выражением (4.35). На втором этапе минимизируется значение этой функции.

Подбор значений параметров можно осуществлять, используя градиентные методы оптимизации независимо от объекта обучения – будь то вес или центр. Независимо от выбираемого метода градиентной оптимизации, необходимо, прежде всего, получить вектор градиента целевой функции относительно всех параметров сети. Для этого необходимо решить систему дифференциальных уравнений, представленную формулами:

(4.37)

Для расчета градиента целевой функции по параметрам сети целесообразно использовать метод потоковых графов, описанный в [6]. Граф сети HRBF представлен на рис.4.4. Сопряжённая сеть, используемая для расчёта градиента, представлена на рис.4.5.

. . . . . . . . . . . .

Рис. 4.5. Структура сопряженной HRBF-сети, используемая для расчета градиента

Тогда аналитические выражения для частных производных можно записать в более простом виде:

(4.38)

(4.39)

(4.40)

(4.41)

где (4.42)

i- индекс нейрона скрытого слоя, i=1,2,…,K;

(4.43)

j- индекс компонента входного вектора x, j=1,2,…,N;

r- индекс переменной в компоненте входного вектора , r=1,2,…,N;

– элементы масштабирующей матрицы Q.