Метод наискорейшего спуска.
Если на каждой итерации выбирать 
, то получим метод наискорейшего спуска. Таким образом, на каждой итерации необходимо находить оптимальное значение шага, минимизирующее целевую функцию. Такую задачу называют задачей одномерной оптимизации.
Оптимальное значение шага определяется из уравнения 
.
Определим выражение для оптимального шага в случае квадратичной целевой функции вида 
.
.
или
или
, откуда
или окончательно
.
В общем случае получить аналитическое выражение для шага в явном виде удается крайне редко, поэтому используются численные методы одномерной оптимизации.
