Существует приближенная точка минимума. Минимизируя функцию по направлению к х1, на прямой используется любой метод одномерной минимизируют, х2 – фиксируют. Далее выполняют одномерную оптимизацию по х2, фиксируя х1.
Этот процесс повторяют до тех пор пока следующая точка не окажется близка к точке приближения.
Рассмотрим grad целевой функции.
Движение по направлению вектора под острым углом будет приводить к уменьшению целевой функции, а движение против направления функции к увеличению целевой функции. Разумно за направление движения принять сам вектор – grad f.
Для выбора расстояния нужно применить метод одномерной оптимизации. Прекратить поиск, когда величина grad f станет достаточно малой. Этот метод гарантирует, что найдена либо точка локального минимума, либо седловая точка.
Рассмотрим целевую функцию, которая является квадратичной функцией, точка локального минимума совпадает с точкой начала координат.
Пусть мы выбрали начальное приближение.
Отыскивая наименьшее значение по направлению траектории (наименьшее значение там где происходит касание grad f линии уровня).
В случае когда масштаб выбирается следующим образом (линии уровня вытянуты).
Траектория
Если линии уровня - окружности, то приходим сразу в точку локального минимума.
- окружности, то приходим сразу в точку локального минимума.
