Метод ортогонализации Грэма-Шмидта

Ортогонализация матрицы Q, описанная выражением (4.47), может быть проведена различными методами, наиболее эффективным из которых является алгоритм Грэма-Шмидта. В соответствии с этим методом матрица А формируется последовательно, столбец за столбцом с одновременным формированием очередных столбцов ортогональной матрицы Q. На r-м шаге создается столбец , ортогональный ко всем созданным ранее (r-1) столбцам (i =1,2,…,r-1). Процедура повторяется для значений r=2,3,…,K. Математическая модель этой операции имеет вид:

, (4.52)

, (4.53)

, (4.54)

для , r=2,3,…,K. Многократно повторенная процедура ортогонализации позволяет сформировать все ортогональные векторы и матрицу А, на основе которых можно найти вектор весов .

Однако важнейшим достоинством описываемого метода ортогонализации считается возможность селекции векторов с учетом их важности для отображения обучающих данных. В случае априорно определенного количества К радиальных функций, задача заключается в такой расстановке векторов , чтобы отобрать из них первые наиболее значимые в энергетическом плане, при этом, как правило, . Использование в дальнейших вычислениях только радиальных функций означает сокращение количества скрытых нейронов с начального их числа K до .

В качестве начального значения берется K=p.

Алгоритм отбора наиболее значимых базисных функций выглядит следующим образом:

1. На первом этапе (r=1) для 1£ i £ K рассчитать

, (4.55)

(4.56)

Предполагается, что для 1£ i £ K, а вектор .

2. На следующих этапах (r ³ 2) для 1£ i £ K, следует провести очередные циклы ортогонализации:

, (4.57)

, (4.58)

а также оценить влияние очередных радиальных функций на суммарное значение энергетической функции путем расчета:

(4.59)

Если наибольший вклад радиальной функции в общую энергию обозначить , т.е. для 1£ i £ K, , тогда очередной выделенный вектор будет соответствовать радиальной функции со следующим по важности вкладом в общую энергию. Этот вектор определяется выражением:

, (4.60)

в котором коэффициент для 1£ i£ r-1.

3. Процедура выявления наиболее значимых для отображения радиальных функций завершается на этапе r = , в момент выполнения условия

, (4.61)

где 0 <r < 1 – это заранее установленный порог толерантности.

В результате выполнения процедуры в сети остается только наиболее значимых радиальных функций, расположенных в ранее определенных центрах. Одновременно вычисляются конкретные составляющие вектора b, на основе которых по формуле (4.28) находятся значения весов w выходного слоя сети.

Еще одно достоинство процесса ортогонализации – возможность избежать неудачной комбинации параметров процесса обучения. Выполнение условия , означает, что соответствующий вектор является линейной комбинацией векторов . Поэтому если в процессе ортогонализации произведение меньше, чем заданное значение, то функцию можно не включать во множество базисных функций.