Оценка параметров производственной функции с помощью метода наименьших квадратов.

Рассмотрим вначале задачу оценивания параметров производственной функции

(7.17)

Пусть, в нашем распоряжении имеются результаты наблюдений относительно факторов L_t и К_t, а также целевой переменной Y_t, полученные в дискретные моменты времени t = 1, 2, …, N (годы, кварталы, месяцы и т.д.). Набор чисел {Y_t, L_t, К_t}, t = 1, 2, …, N, будем называть выборкой объема N. По существу метод наименьших квадратов позволяет, используя данную выборку, построить МНК-оценки для величин а₀, а₁, и а₂. Для этой цели прологарифмируем обе части (7.17) и представим ее в виде

ln Y_t = ln a₀ + a₁ln L_t + a₂ln K_t . (7.18)

Предположим далее, что величины L_t и К_t являются результатами точных измерений, тогда как величина Y_t измеряется с ошибкой. Тогда, обозначая y_t = ln Y_t, х_t1 = ln L_t, x_t2 = ln K_t, β₀ = ln a₀, β₁ = a₁, β₂ = a₂,уравнение (2.2) можно представить в виде стандартной формы линейной статистической модели с двумя факторами (независимыми переменными) х_t1и x_t2

y_t = β₀+ β₁х_t1 + β₂ x_t2 +ε_t, (7.19)

t = 1, 2, …, N

Линейная статистическая связь (7.19) является частным случаем линейной многомерной регрессионной модели

y_t = β₀+ β₁ х_t1 +…+ β_n x_tn +ε_t, (7.20)

t = 1,…, N

которая описывает предполагаемую связь между n независимыми (экзогенными) факторами х₁,…, x_n и зависимой переменной величиной (эндогенной) y_t в моменты времени t = 1,…, N. В (7.20) считается, что значения х_t1,…, x_tn, t = 1,…, N, являются фиксированными (не случайными) величинами, а y_t измеряется с ошибкой. Величина ε_t как раз представляет это случайное отклонение от значения y_t на линии (точнее гиперплоскости)

y_t = β₀ + β₁х_t1 +…+ β_n x_tn, (7.21)

t = 1,…, N

Предполагается также, что различные значения ε_t не коррелированны между собой, имеют нулевое математическое ожидание и заданную дисперсию, то есть,

М {ε_t} = 0, t = 1,…, N, (7.22)

0, если t ≠ q

М {ε_t ε_q} = (7.23)

σ_ε², если t = q

где М – знак математического ожидания.

Приведем общую схему построения так называемых МНК - оценок (МНК - метод наименьших квадратов) неизвестных параметров β₀, β₁,…, β_n модели (2.4), а также проверки значимости каждого из них и построенной зависимости в целом с помощью статистических критериев. Для этой цели весьма удобно ввести в рассмотрение векторы и матрицы, в частности, (N×1) – вектор ошибок ε = (ε₁,…, ε_N)^Т , (N×1) – вектор наблюдений зависимой переменной У = (У₁,…, У_N)^Т, (n + 1)×1 – вектор неизвестных параметров β = (β₀, β₁,…, β_n)^Т , N×(n+1) – матрицу наблюдений независимых факторов

(7.24)

и представить связь (7.20) в виде матричного уравнения

У = Хβ + ε (7.25)

Согласно методу наименьших квадратов вектор β необходимо оценить путем решения задачи

ε ^Т ε = (У – Хβ)^Т (У – Хβ) → min, (7.26)

где Т - знак транспонирования. Условие означает, что оптимизируемый вектор β имеет размерность (n+1)×1, является вещественнозначным и принадлежит евклидовому пространству Еⁿ⁺¹. Если же вектор β удовлетворяет дополнительным условиям, например, типа Аβ = С, где А – некоторая m×(n+1) – матрица, С – (m×1) – вектор с вещественнозначными элементами, тогда задача (7.30) приобретает вид

ε^Т ε = (У – Хβ)^Т (У – Хβ) → min. (7.27)

Аβ = С

Если (7.26) является задачей безусловной оптимизации, то (7.27) уже содержит линейное условие Аβ = С, что существенно осложняет процедуру корректного оценивания из-за не всегда «хороших» свойств матрицы (7.24), но об этом речь пойдет чуть позже, а пока займемся решением задачи (7.26). Представляя ее целевую функцию в виде

ε^Т ε = (У – Хβ)^Т (У – Хβ) = У^Т У – У^Т Хβ – (Хβ)^Т У + (Хβ)^Т Хβ =

= У^Т У - 2(Хβ)^Т У + (Хβ)^Т Хβ, (7.28)

можно заметить, что она является квадратичной формой относительно β, обладает свойствами непрерывности и выпуклости.^* При выводе (7.28) использовано тождество У^ТХβ = (Хβ)^ТУ. Тогда решение задачи (7.26) можно найти, приравнивая к нулю производную целевой функции по β, т.е., решая нормальную систему

(7.29)

Из (7.28) имеем

[У^Т У - 2(Хβ)^Т У + (Хβ)^Т Хβ]= -2 Х^Т У + 2 Х^Т Хβ, (7.30)

так как (У^Т У) = 0,

[2(Хβ)^Т У] = 2 (β^Т Х^Т У) = 2 Х^Т У,

[(Хβ)^Т Хβ] = (β^Т Х^Т Хβ) = 2 Х^Т Хβ

(Хβ)^Т = β^Т Х^Т.

Приравнивая правую часть (7.30) к нулю и обозначая искомое решение системы (7.29) через b, получим

2 Х^ТУ + 2 Х^ТХ b = 0. (7.31)

В предположении, что обратная матрица (Х^Т Х)^-1 существует, из (7.31) следует решение

b = (Х^ТХ)^-1 Х^ТУ. (7.32)

Это и есть МНК - оценка вектора β в модели (7.25).

Легко проверить на основе анализа размерности, что вектор b имеет такую же размерность, (n+1)×1, что и оцениваемый вектор β. Действительно, так как матрица Х имеет размерность N×(n+1), а Х^Т – размерность (n+1)×N, то матрица Х^ТХ и ее обратная матрица (Х^ТХ)^-1 имеют размерность (n+1)×(n+1). И, поскольку вектор Х^ТУ имеет размерность (n+1)×1, размерность вектора (Х^ТХ)^-1 Х^ТУ будет равна (n+1)×1. Другими словами, вектор b имеет структуру b =(b₀, b₁,…, bn)^Tи каждый его компонент b_j является МНК - оценкой β_j, j = 0, 1,…, n.

Таким образом, вычисление вектора b с помощью результатов эксперимента в виде вектора У и матрицы Х можно осуществить на основе следующего простого алгоритма.

Начальный этап: формировать вектор У и матрицу Х.

Основной этап:

шаг 1. Вычислить матрицы Х^Т и Х^ТХ;

шаг 2. Вычислить обратную матрицу (Х^ТХ)^-1;

шаг 3. Построить вектор Х^ТУ;

шаг 4. Построить вектор b = (Х^ТХ)^-1 ∙ Х^ТУ;

шаг 5. Вывести результаты b и (Х^ТХ)^-1 и остановиться.

Пятый шаг этого алгоритма, который легко можно программировать на компьютере, предполагает, кроме вектора b, вывод матрицы (Х^ТХ)^-1, так как диагональные элементы этой матрицы характеризуют дисперсию компонентов вектора b =(b₀, b₁,…, b_n)^T.

После того как МНК - оценка b найдена, построенное регрессионное уравнение

(7.33)

представляющее из себя условное математическое ожидание М{у/х} при фиксированном значении х, может быть проверено на адекватность экспериментальным данным и в случае подтверждения адекватности использовано для целей прогнозирования соответствующих значений

(7.34)

Величины t = 1, …, N, называются остатками. Они являются случайной величиной, характеризующей разность между прогнозирующим00 и экспериментальным значениями зависимой переменной Y_t. Исследование закона распределения вектора остатков е = (е₁,…, е_N)^T позволяет получить ценную информацию о параметрах уравнения (7.14) и степени его близости к результатам наблюдений (Y_t, Х_t1,…, Х_tn), t = 1, …, N.

Прежде чем приступить к проверке значимости b-параметров и регрессионного уравнения в целом, приведем еще один, не менее эффективный путь получения (или построения) МНК - оценок исследуемой модели (7.20) или (7.25). Этот путь связан с использованием выборочной корреляционной матрицы для факторов Х_tк, к = 1,…, n, и целевой переменной у_t, t = 1, …, N.

Введем обозначения

(7.35)

к = 1, …, n; (7.36)

(7.37)

(7.38)

(7.39)

(7.40)

Величины , характеризуют соответствующие выборочные средние; , к = 1,…, п, и - выборочные дисперсии; r_ок = r_ко и r_кq = r_qк, к, q = 1,…, п, - выборочные коэффициенты корреляции между целевой переменной и факторами и между самими факторами, причем r_кк = 1, к = 1,…, п, -1 ≤ r_ок ≤ +1, -1 ≤ r_кq ≤ +1, к, q = 1,…, п.

Матрица

(7.41)

носит название выборочной корреляционной матрицы для независимых факторов х₁,…, х_n.

Можно показать, что решение матричного уравнения

(7.42)

связано покомпонентно с МНК - оценкой b равенством

(7.43)

где - компоненты вектора как решения уравнения (7.42), - матрица, обратная матрице R_x, а r_о = (r_1o, …, r_По)^Т. Если b_к, к = 1,…, п, уже вычислены, значение b₀ можно найти из равенства

(7.44)

Следует отметить, что все оценки b₀, b₁,…, b_п являются случайными величинами. Каждый из коэффициентов b_к, к = 1,…, п, характеризует роль фактора х_к в регрессионном уравнении (7.34). Большой научный и практический интерес представляют свойства этих параметров. В теории оценивания наибольшую роль играют следующие из них […]:

а) несмещенность, означающая, что для каждого конкретного значения N (объем выборки) имеют место

М {b_к} = β_к, к = 1,…, п, (7.45)

б) состоятельность, когда с ростом N имеет место

lim Pr {|b – β| > ε} = 0, (7.46)

N → ∞

где P_r означает вероятность условия, записанного в фигурных скобках (от английского слова Probability – вероятность), ε – сколь угодно малое положительное число;

в) эффективность, когда для любой другой несмещенной оценки d оценка b имеет наименьшую дисперсию, что математически можно записать в виде

М{(b-β)^T(b-β)} ≤ М{(d-β)^T(d-β)}. (7.47)

Если условия а) и в) выполняются лишь при N → ∞, говорят, что несмещенность и эффективность обеспечиваются асимптотически.

Покажем, что при М {ε_t} = 0, t = 1,…, N, оценка (7.32) является несмещенной, действительно,

М{b} = М{(Х^Т Х)^-1 Х^ТУ} = (Х^Т Х)^-1 Х^ТМ{У} =

= (Х^Т Х)^-1 Х^ТМ {Хβ + ε} =

= (Х^Т Х)^-1 Х^Т Хβ = β. (7.48)

При доказательстве (7.48) использовались очевидные связи

М{У} = М {Хβ + ε} = Хβ + М {ε} = Хβ,

(Х^Т Х)^-1 Х^ТХ = I_n+1,

где I_n+1 – единичная матрица размерности (п + 1) × (п + 1).

Предположение относительно независимости ε_t и ε_q (т.е. М{ε_t · ε_q} = 0, t ≠ q) позволяет оценить дисперсию величин b_к, к = 1,…, п. Используя D для обозначения дисперсии вектора b, из (7.32) получим

D{b} = D{(Х^Т Х)^-1 Х^ТУ} = (Х^Т Х)^-1 Х^ТD{У} Х (Х^Т Х)^-1 =

= (Х^Т Х)^-1 (Х^Т Х) (Х^Т Х)^-1 σ_ε² =

= (Х^Т Х)^-1 σ_ε².(7.49)

При выводе (7.49) было использовано тождество

D{У} = D{Хβ + ε} = D{Хβ} + D{ε} =

= 0 + I · σ_ε² = I · σ_ε², (7.50)

в котором D{Хβ} = 0, так как Хβ не является случайной величиной, I – единичная матрица размерности вектора ε.

Матрица F = (Х^ТХ)^-1 известна как информационная матрица Фишера. Ее диагональные элементы f_ii, i = 1,2,…, п + 1, умноженные на величину σ_ε², равны дисперсии оценок b_к, к = 0, 1,…, п, то есть

D{b_к} = f_к+1, _к+1 · σ_ε², к = 0, 1,…, п. (7.51)

Дисперсия оценки b₀обычно не представляет интереса и не вычисляется, тогда как дисперсия других коэффициентов принимает непосредственное участие в оценке значимости модели и в построении доверительных интервалов для самих оценок b_к, к = 1,…, п.

В регрессионном анализе величина

(7.52)

носит название остаточной дисперсии и служит несмежной оценкой для величины σ_ε².

Теперь, имея значения D{b_к}, к = 1,…, п, можно приступить к оценке значимости b_к, к = 1,…, п, и уравнения (7.34) в целом.

Значимость коэффициентов b_к, к = 1,…, п, проверяется с помощью известной t – статистики (критерия) Стьюдента [9], имеющей вид

, к = 1,…, п. (7.53)

Процедура проверки следующая. Выдвигается нулевая гипотеза

Н₀: β_к = 0, к = 1,…, п, (7.54)

и вычисляется расчетное значение t – статистики из (2.37):

к = 1,…, п. (7.55)

При условии гипотезы (7.54) эта величина подчиняется t–распределению Стьюдента с числом степеней свободы υ = N – n –1 и параметром α/2, где α – уровень значимости, который обычно в практических расчетах принимается равным 0.05. Табличное значение этой статистики t_α/2 (υ)сравнивается с расчетным значением t_c. При выполнении условия

| t_c | > t_α/2 (υ) (7.56)

гипотеза (7.54) отвергается. Это означает, что значение оценки b_к, к = 1,…, п, значимо отличается от нуля. Для значимых оценок устанавливаются доверительные интервалы, имеющие вид

(7.57)

к = 1,…, n.

Смысл доверительных интервалов таков: истинные значения оцениваемого параметра β_к с доверительной вероятностью р = 1- α/2 попадают в интервал

, ], (7.58)

изображенный на рис. 7.2.

β_к

b_к -Δ b_к b_к +Δ

рис. 7.2. Доверительный интервал для параметра β_к,

Δ = , к = 1,…, п.

Оценка значимости построенного регрессионного уравнения в целом, то есть с учетом вклада всех факторов в изменении значения целевой переменной, основана на известной формуле дисперсионного анализа

(7.59)

В левой части этого равенства стоит общая сумма квадратов относительно среднего значения. Она имеет число степеней свободы N–1. Первое слагаемое справа есть сумма квадратов относительно регрессии

и, как следует из (7.52), имеет число степеней свободы N – n –1.

Второе слагаемое правой части есть сумма квадратов, обусловленная регрессией и, согласно условию равенства степеней свободы левой и правой частей, имеет число степеней свободы (N – 1) – (N – n –1) = n. Для оценки значимости регрессии применяется F-статистика Фишера, которая определяется как отношение двух дисперсий, одна из которых усредненная сумма квадратов, обусловленная регрессией

(7.60)

а вторая – остаточная дисперсия (см. (7.52))

(7.61)

Процедура проверки следующая. Выдвигается нулевая гипотеза

Н₀: β₁ = β₂ = … = β_п = 0 (7.62)

и вычисляется расчетное значение F-статистики

(7.63)

При выполнении условия гипотезы (7.62) величина F_p подчиняется известному F-распределению Фишера с параметром (доверительной вероятностью) р = 1 – α и двумя числами степеней свободы: υ₁ = п – числителя и υ₂ = N – n – 1 – знаменателя. Табличные значения F_1–α (υ₁, υ₂) находятся из известных таблиц F-распределения. При выполнении условия

F_p > F_1–α (υ₁, υ₂) (7.64)

гипотеза (7.62) опровергается. Это означает, что построенное уравнение (7.34) хорошо согласовывается с экспериментальными данными (y_t, х_t1, x_t2), t = 1,…, N, другими словами, построенное уравнение адекватно результатам наблюдений и правильно описывает изменения y_t, обусловленные совместным влиянием факторов х₁,…, х_П.

В различных приложениях для целей комплексной оценки уравнения регрессии используется коэффициент множественной корреляции, отражающей степень совместного влияния переменных х₁,…, х_n на выход y_t. Квадрат этого коэффициента известен под названием коэффициента детерминации и выражается в виде

(7.65)

Числитель и знаменатель R² присутствуют в разложении (7.58).

Можно показать, что имеют место соотношения

(7.66)

(7.67)

Как следует из этих формул, чем ближе R² к единице, тем меньше S² и больше F, следовательно, тем значимее уравнение регрессии

Возвращаясь к соотношениям (7.17) – (7.19), мы видим, что в них число независимых факторов равно двум, т. е. п = 2, вектор У содержит значения lnY_t, t = 1, …, N, а матрица Х имеет размерность (N×3), причем ее второй столбец содержит значения х_t1 = lnL_t, а третий столбец – значения х_t2 = lnК_t, t = 1, …, N. Из (7.32) получаем вектор b = (b₀, b₁, b₂)^T с координатами b₀ = lnа₀, b₁ = а₁ и b₂ = а₂, так что построенное уравнение имеет вид

lnY_t = b₀ + b₁ lnL_t + b₂ lnК_t, (7.68)

аискомая производственная функция равна

(7.69)

С помощью t-и F-статистики можно проверить значимость параметров b₁ и b₂, а также уравнения (7.68) в целом, как это было показано выше (см. процедуры проверки гипотез (7.54) и (7.62)). Если уравнение (7.68) удовлетворяет критерию Фишера, или R² – статистике, то функция (7.69) пригодна для практических целей, в противном случае ее использование будет связано с определенным риском.

В следующем разделе мы расширим производственную функцию Кобба-Дугласа, учитывая в ней роль научно-технического прогресса.

Учет роли научного прогресса.

Как выше уже отмечалось, при учете роли научно-технического прогресса производственная функция Кобба-Дугласа приобретает вид

(7.70)

После логарифмирования, из этой функции получим

lnY_t = lnа₀ + а₁ lnL_t + а₂ lnК_t + а₃t. (7.71)

Этому уравнению будет соответствовать регрессионная модель

y_t = β₀+ β₁х_t1 + β₂х_t2 + β₃х_t3 + ε_t. (7.72)

В ней новым слагаемым является β₃х_t3, причем фактор х₃ представляет само время t и, следовательно, принимает значения х_t3 = t = 1, 2,…, N. Так что теперь матрица Х имеет вид

поэтому вектор b = (Х^ТХ)^-1 ∙ Х^ТУ будет состоять из четырех координат, т.е. b = (b₀, b₁, b₂, b₃)^T, причем b₃ является оценкой а₃. Весь изложенный выше подход к оцениванию значимости компонентов b - оценок и модели

(7.73)

в целом остается без изменения, только везде нужно положить п = 3, т.к. теперь в модели присутствуют три фактора. В случае значимых коэффициентов b₁, b₂ и b₃ после потенцирования из (3.4) получим функцию

(7.74)

с численными значениями b_к, к = 0, 1, 2, 3.

Предположение относительно условия

а₁ + а₂ = 1 (7.75)

в выражении производственной функции можно рассматривать как первоначальную гипотезу относительно характера взаимосвязи факторов L_t, К_t и Y_t.

После получения оценок b₁ и b₂ для производственных функций (7.69) и (7.74) можно проверить, насколько удовлетворяют этому исходному предположению имеющиеся данные (L_t, К_t, Y_t), t = 1, …, N, и выбранная процедура получения МНК - оценок.

В случае, когда условие а₁ + а₂ = 1 для производственной функции Кобба - Дугласа принимается как заданное ограничение, следует изменить стратегию МНК - оценивания и, вместо задачи безусловной оптимизации (7.26), решить задачу (7.27), т.е. задачу

ε^Тε = (У – Хβ)^Т (У – Хβ) → min, (7.76)

(β₀, β₁, …, β_п)

Аβ = С

в которой матричное условие Аβ = С изображает всевозможные априорные линейные требования относительно коэффициентов многомерной линейной регрессионной модели

y_t = β₀+ β₁х_t1 +…+ β_пх_tп + ε_t.(7.77)

t = 1,…, N

В нашем случае уравнение Аβ = С соответствует связи β₁ + β₂ = 1, т.е. А есть (1×2) – матрица с единицами в качестве элементов, т. е. А = [1, 1], С = 1.

Известно [см., например, …], что решение задачи условной оптимизации (7.76) получается в виде

(7.78)

где b = (Х^ТХ)^-1 ∙ Х^ТУ – прежнее безусловное решение.

Следует отметить, что успех построения оценок (7.78) зависит от свойства матрицы Х^ТХ. Так, если она плохо обусловлена, условная оценка оказывается неустойчивой и будет непригодна для практических целей. Известные и часто применяемые в практике процедуры регуляризации оценок хотя и приводят к устойчивым, но не несмещенным оценкам, однако весьма сложны и требуют большой изобретательности […]. Автором данной работы предложен более конструктивный подход, позволяющий избежать нежелательных эффектов при построении условных оценок для рассмотренных регрессионных схем. Этот подход по существу позволяет аппроксимировать задачу (7.76) эквивалентной ей двухкритериальной задачей безусловной оптимизации […]

(7.79)

в которой Е^п+1 – евклидово пространство векторов типа β = (β₀, β₁,…β_п)^Т, а вторая целевая функция f₂ (β) = (C – Aβ)^T (C – Aβ) изображает ограничение Аβ = С. Решение и интерпретация этой задачи, однако, не входит в задачи настоящей работы.

В заключение этого раздела отметим, что при выполнении условия а₁ + а₂ = 1, построение и исследование производственной функции Кобба-Дугласа можно вести уже в терминах производительности труда и капиталовооруженности. Действительно, пусть, по прежнему,

и а₁ + а₂ = 1. Тогда получаем

Y_t/L_t = a₀ (K_t/L_t)a₂. (7.80)

Величина Z_t = Y_t/L_t характеризует производительность труда, а X_t = K_t/L_t – капиталовооруженность труда. В этих терминах (7.80) приобретает вид

(7.81)

Этой функции соответствует регрессионная модель

y_t = β₀+ β₁х_t + ε_t,(7.82)

существенно простая, чем аналогичные модели (7.19) и (7.72). В случае учета научно-технического прогресса (7.81) приобретает вид

(7.83)

Этой функции уже соответствует модель

y_t = β₀+ β₁х_t1 + β₂х_t2 + ε_t,(7.84)

в которой β₀ заменяет lnа₀, β₁ представляет а₂, а β₂ представляет а₃. Как и раньше, х_t2 = t, t = 1, 2,…, N.