Алгоритм QuickProp содержит элементы, предотвращающие зацикливание в точке неглубокого локального минимума, возникающего в результате работы нейрона на фазе насыщения сигмоидальной кривой, где из-за близости к нулю производной функции активации процесс обучения практически прекращается.
Вес wij на k-ом шаге алгоритма изменяется согласно правилу:
(3.52)
Первое слагаемое (3.52) соответствует оригинальному алгоритму наискорейшего спуска, последнее – фактору момента, а средний член предназначен для минимизации абсолютных значений весов. Коэффициент 
, обычно имеющий малую величину (порядка 10-4), приводит к уменьшению весов вплоть до разрыва соответствующих взвешенных связей. Константа 
- это коэффициент обучения, который в данном алгоритме может иметь ненулевое значение 
(как правило, 0,01< 
<0,6) на старте процесса обучения, когда 
или когда 
, либо нулевое значение – в противном случае.
Важную роль в алгоритме QuickProp играет фактор момента, который приспосабливается к текущим результатам процесса обучения. Этот коэффициент подбирается индивидуально для каждого веса по правилу:
причем:
Константа 
- это максимальное значение коэффициента момента, которое принимается равным 1,75.
Также известна упрощенная версия алгоритма QuickProp, в которой значения весов изменяются в соответствии с правилом:
где 
.
В нем уменьшено количество управляющих параметров и упрощена формула уточнения значений весов.
