Метод наискорейшего спуска.

Метод градиента.

Общий подход к нелинейным методам оптимизации.

Все нелинейные методы оптимизации относятся к так называемым последовательным методам улучшения состояния. Переход из предыдущей в последующую точку возможен только в том случае если критерий качества в данной точке меньше чем в предыдущей. Найти шаг (∆Х) и направление шага. Один метод оптимизации будет отличаться от другого только тем, как выбирается ∆Х. при выборе ∆Х существуют методы, которые ставят ∆Х как функцию от предыдущей точки ∆Х^m. Существует группа методов где ∆Х является функцией предыдущих точек. Эффективность метода определяется затратами машинного времени на решение поставленной задачи. Наиболее эффективным считается тот метод который достигнет наилучших результатов за минимальное число шагов. В зависимости от того как выбирается ∆Х все методы оптимизации делятся: 1без градиентные методы детерменированного поиска(не применяется вычисление градиента) 2методы случайного поиска 3градиентные методы 4комбинированные методы.

Заключается в следующем: вычисляются значения частных производных по всем направлениям. Затем делается шаг с точки 1 в точку 2.

в этом методе величина шага ΔХ будет пропорциональна ДК по ДХ. В дали от точки минимума ДК по ДХ довольно большие. При приближении к точке оптимума (где ДК по ДХ=0) величина градиента постепенно уменьшается, в результате чего ΔХ постепенно уменьшается. Это означает что данный метод более плавно приближается к оптимуму, то есть уменьшается вероятность образования рыскания.

Относится к градиентным методам. Суть: как и в методе градиента в начальной точке вычисляется градиент критерия качества. На входе выбирается направление, а затем вдоль него каким либо методом делается серия шагов, до тех пор пока критерий качества не станет увеличиваться(пока выбранное направление не станет касательной к какой либо поверхности уровня). В той точке, в которой произошел рост критерия качества градиент не вычисляется а осуществляется возврат в предыдущую точку. И в ней вычисляется значение градиента(то есть тем самым определяется новое направление). Новое направление будет всегда перпендикулярно предыдущему. Довольно часто в этом алгоритме используется метод параболической аппроксимации.

;

Условия окончания: чаще всего делают комбинированным в данном методе в качестве такого условия принимается длинна шага между двумя точками, в которых вычисляется градиент- заранее заданная точность. Критерий качества в точке b меньше чем в точке a.