Постановка задачи безусловной оптимизации

Нелинейное программирование

Целевая функция задачи оптимизации представляет собой нелинейную функцию действительных переменных . Определить значения переменных, при которых функция принимает минимальное значение при отсутствии ограничений на изменение переменных.

Задачи оптимизации, в которых нет ограничений на оптимизируемые переменные, называются задачами безусловной оптимизации.

Ввиду сложности задачи параметрической оптимизации применения классических метод поиска экстремума оказывается крайне сложным. Поэтому на практике предпочтение отдается поисковым (итерационным) методом оптимизации.

Все поисковые методы выполняются по одному алгоритму. Исходными данными в методах поиска является начальная точка поиска и требуемая точность метода . Затем выбирается величина шага поиска и по правилу метода происходит получение новых точек по предыдущей точке при таких, что . Получение новых точек продолжается до тех пор, пока не будет выполнено условие прекращения поиска. Последняя точка считается решением задачи оптимизации. Все точки поиска составляют траекторию поиска.

Методы поиска могут отличаться процедурой выбора шага (он может быть постоянным на всех итерациях или рассчитываться на каждой итерации), алгоритмом получения новой точки и условием прекращения поиска.

Методы поисковой оптимизации принято классифицировать по порядку производной целевой функции, используемой для получения новых точек. Методы, не использующие производные целевой функции, называются методами нулевого порядка (прямыми), использующие первую производную называются методами первого порядка, вторую – методы второго порядка. Чем выше порядок производной, тем более обоснованным является выбор следующей точки и тем меньше число итераций метода. Эффективность поискового метода определяется по числу итераций и по количеству вычислений целевой функции .