Для сведения задач условной оптимизации к безусловной используют метод штрафных функций.
Например, имеем ограничения типа неравенств φ(X) < 0
Ф(Х) = F(X) + Qk(X)
Qk(X) = rk ∑ [max {0; φi(X)}] 2; rk > 0 – функция штрафав методе внешней точки.
Решаем задачу. Найти минимум целевой функции при выполнении ограничений - min F(X)
ХД = {X| φ(X) < 0}
Ищем минимум новой функции
min Ф(Х)
Поиск начинают с небольших значений rk, постепенно его увеличивая до тех пор, пока разница между предыдущим и последующим значением не станет меньше заданной погрешности δ.
ΔХ = Хk+1 – Хk < δ.
Ф(Х) = F(X) – rk ∑ 1/φi(X)
Где функция штрафа имеет вид: Qk(X) = -rk ∑ 1/φi(X)
В большинстве практических задач оптимизации целевая функция имеет сложный профиль. У нее наблюдаются овраги при минимизации или гребни при максимизации. Характерным отличием этих целевых функций является резкое различие значений её градиента вдоль и поперек оврага или гребня. В этой ситуации, рассмотренные ранее методы: покоординатного спуска, градиента, наискорейшего спуска и Ньютона становятся малоэффективными по причине очень медленного поиска или зацикливания и прекращения поиска задолго до точки экстремума. Были предложены методы, которые эффективны в такой ситуации.