Функционалом можно считать любую функцию, минимум которой необходимо определить. Вся сложность задачи заключается в ограничениях, накладываемых на переменные и их взаимосвязь. Если ограничения отсутствуют, то говорят о задаче безусловной оптимизации (Пример МНК). К последней сводится и система нелинейных алгебраических уравнений, заданных в неявной форме:
если из системы сконструировать квадратичный функционал такого вида
,
где – масштабирующие (весовые) коэффициенты.
Подстановка функционала в покомпонентную систему градиентных уравнений приводит к итерационной процедуре с вычислением на каждом шаге следующих выражений:
Если система уравнений линейная, то частные производные будут константами . Вместе с = они определяют индивидуальный весовой коэффициент каждого уравнения исходной линейной системы в формулах градиентной итерационной процедуры.
Для нелинейной системы, функционал которой в окрестности точки минимума можно аппроксимировать квадратичной функцией с положительно определенной матрицей Гессе, в итерационном выражении
и после приравнивания оставшихся слагаемых нулю и сокращения суммы на вектор несложно получить соотношение
,
которое приводит к итерационной формуле
идентичной формуле Ньютона в применении к решению системы нелинейных уравнений
.
Для строго выпуклой, квадратичной функции решение получается за одну итерацию. Этот момент особенно привлекателен для задач линейного программирования, когда целевая функция линейная или квадратичная, а ограничения представлены системой линейных равенств и неравенств. При этом системы равенств и неравенств вводят в общий функционал в виде суммы квадратов функций невязок (аддитивно).