Часто при построении модели приходится учитывать влияние на объект исследования сразу нескольких факторов. Линейная модель множественной регрессии выглядит следующим образом: Y = ?0 + ?1x1 + ?2x2 + …+ ?kxk + ?, где Y – зависимая переменная (результативный признак); x1,…,xk – независимые, или объясняющие переменные; ?0, ?1... ?k – коэффициенты регрессии; е – ошибка регрессии. Общая последовательность построения множественной линейной регрессионной модели следующая: Оценка параметров уравнения; Оценка качества регрессии; Проверка на мультиколлинеарность, ее исключение; Проверка на гетероскедастичность, коррекция на гетероскедастичность; Корректировка вида модели: тест на функциональную форму, тест Вальда Экономическая интерпретация. 1. ОЦЕНКА ПАРАМЕТРОВ УРАВНЕНИЯ Параметры уравнения множественной регрессии оцениваются методом наименьших квадратов (МНК), целью которого является нахождение оценок , минимизирующих сумму квадратов остатков ? где xi=(1,x1,.…,xk), ?=(?0, ?1,…, ?k) или где . При этом должны выполняться условия Гаусса – Маркова. Статистическая независимость (некоррелированность) ошибок для разных наблюдений. ОЦЕНКА КАЧЕСТВА МНОЖЕСТВЕННОЙ ЛИНЕЙНОЙ РЕГРЕССИИ проводится определением следующих величин: 1. Стандартные ошибки оценок 2. Доверительные интервалы коэффициентов , где ? – уровень значимости, n – число наблюдений, - табличное (критическое) значение t-критерия Стьюдента. 3. Значимость коэффициентов регрессии Проверяется по t-критерию Стьюдента: . Если , то коэффициент статистически значим, иначе – незначим. 4. Коэффициент детерминации R2 (см. для парной регрессии) 5. Скорректированный коэффициент детерминации Низкое значение R2 не свидетельствует о плохом качестве модели, и может объясняться наличием существенных факторов, не включенных в модель R2 всегда увеличивается с включением новой переменной. Поэтому рассчитывают скорректированный коэффициент детерминации 6. Стандартная ошибка регрессии Значения Se в однотипных моделях с разным числом наблюдений и (или) переменных сравнимы. 7. Значимость уравнения регрессии Проверяется по F-критерию Фишера . Если F>Fтабл, то уравнение статистически значимо, иначе – незначимо. F-критерии в разных моделях с разным числом наблюдений и (или) переменных несравнимы. 8. Средняя абсолютная процентная ошибка.
После того, как найдено уравнение линейной регрессии, проводится оценка, как уравнения в целом, так и отдельных его параметров.
Оценка значимости уравнения в целом, делается с помощью F-критерия. При этом выдвигается нулевая гипотеза H0, т.е. , и , и следовательно, фактор х не оказывает влияния на у, т.е. они не и взаимодействуют друг с другом.
Сначала проанализируем общую дисперсию, это предшествует определению F- критерия. Центральное место занимает разложение общей суммы квадратов отклонений переменной у от среднего значения на две части.
Общая сумма Объясненная Необъясненная
квадратов регрессия (остаточная)
отклонений регрессия
Общая сумма квадратов отклонений у от вызвана влиянием множества причин. Условно разделим их на две группы: изучаемый фактор х и прочие факторы.
Если фактор не оказывает влияние на результат, то линия регрессии на графике параллельна оси ОХ и . Тогда вся дисперсия результативного признака обусловлена воздействием прочих факторов и общая сумма квадратов отклонений совпадает с остаточной. Если же прочие факторы не влияют на результат, то у связан с х функционально и остаточная сумма квадратов равна нулю. Сумма квадратов отклонений, объясняющей регрессией совпадает с общей суммой квадратов.
Т.к. не все точки поля корреляции лежат на линии регрессии, то всегда имеет место их разброс. Он обусловлен влиянием фактора х, т.е. регрессией у по х, а также вызван действием прочих причин (необъясненная вариация). Пригодность линии регрессии для прогноза зависит от того, какая часть общей вариации признака у, приходится на долю объясненную вариацией. Если сумма квадратов отклонений, обусловленных регрессией, будет больше остаточной суммы квадратов, то уравнение регрессии статистически значимо и фактор х оказывает существенное воздействие на у. Это равносильно тому, что .
Любая сумма квадратных отклонений связана с числом степеней свободы ( ) , т.е. с числом свободы независимого варьирования признака. Число степеней свободы связано с числом единиц совокупности n и с числом, определяемым по ней констант. Т.о. число степеней свободы должно показать, сколько независимых отклонений из n возможных требуется для образования данной суммы квадратов. Так, для общей суммы квадратов требуется независимых отклонений, т. к. по совокупности из n единиц после расчёта среднего уровня свободно варьируется лишь число отклонений.
Например,
, тогда т. к. , то свободно варьируются только 4 отклонения, а пятое отклонение может быть определено, если предыдущие четыре известны.
При расчёте объясненной или факторной суммы квадратов используются теоретические (расчётные) значения результативного признака , найденные из уравнения .
В линейной регрессии
, а
- общая дисперсия признака у;
- дисперсия признака у, обусловленная фактором х.
Поскольку при заданном объёме наблюдений по х и у факторная сумма квадратов при линейной регрессии зависит только от одной константы (коэффициента регрессии b), то данная сумма квадратов имеет одну степень свободы.
К этому же выводу можно прийти по другому.
Отсюда следует, что при заданном наборе переменных у и х расчетное значение является в линейной регрессии функцией только одного параметра - коэффициента регрессии, поэтому факторная сумма квадратов отклонений имеет число степеней свободы, равное 1.
Существует равенство между числом степеней свободы общей, факторной и остаточной суммами квадратов. Число степеней свободы остаточной суммы квадратов при линейной регрессии составляет . Число степеней свободы для общей суммы квадратов определяется числом единиц, и т. к. мы используем среднюю вычисленную по данным выборки, то теряем одну степень свободы, то есть .
Разделив каждую переменную сумму квадратов на соответствующее ей число степеней свободы, получим средний квадрат отклонений, или дисперсию на 1 степень свободы.
; ; .
Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчёте на одну степень свободы, получим величину F-критерия.
F-критерий для проверки нулевой гипотезы.
Н0 : .
Если Н0 справедлива, то фактическая и остаточная дисперсии не отличаются друг от друга. Для Н0 необходимо опровержение, чтобы Дфакт превышала Дост в несколько раз.Английский статистик Снедекор разработал таблицу критических значений F-критерия – это максимальная величина отношения дисперсий, которая может иметь место при случайном их расхождении для данного уровня вероятности наличия нулевой гипотезы.
Вычисленное значение F-отношений признаётся достоверным (отличным от единицы), если оно больше табличного. В этом случае Н0 (отсутствие связи) отклоняется и делается вывод о существенности этой связи: , отклоняется.
Если же , то вероятность Н0 выше заданного уровня (например 0,05) и она не может быть отклонена без серьёзного риска сделать неправильный вывод о наличии связи.
Н0 не отклоняется, а уравнение регрессии становится незначимым.
Величина F-критерия связана с коэффициентом детерминации . Факторную сумму квадратов отклонений можно представить как , ( - общая дисперсия y; - дисперсия y, обусловленая фактором x (факторная)), а остаточную сумму ( , ). Тогда .
Оценка значимости уравнения регрессии даётся в виде таблицы дисперсионного анализа.
Источники вариации Число степеней свободы квадратов отклонений Дисперсия на 1 степень свободы Fотн
Факт. Табл.
Общая Объясняющая Остаточная - - - 6,61 -
В линейной регрессии обычно оценивается значимость не только уравнения в целом, но и отдельных параметров. Поэтому по каждому из параметров определяется его стандартная ошибка: и , .
Стандартная ошибка коэффициента регрессии определяется по формуле: ;
- остаточная дисперсия на одну степень свободы ошибки.
Величина стандартной ошибки совместно с t-распределением Стьюдента при n-2 степенях свободы применяется для проверки существенности коэффициента регрессии и для расчёта его доверительных интервалов.
Для оценки существенности коэффициента регрессии его величина сравнивается со стандартной ошибкой, т.е. определяется фактическое значение t-критерия Стьюдента: , который сравнивается с табличным значением при определённом уровне значимости и числе степеней свободы , .
Если фактическое значение больше табличного, то гипотезу о несущественности коэффициентов отвергаем. Доверительный интервал для коэффициента регрессии b определим по формуле предельная ошибка .
Так как коэффициент регрессии носит в эконометрических исследованиях чётко экономическую интерпретацию, то доверительные интервалы не должны содержать противоречивых результатов, например, . То есть, что истинное значение коэффициента одновременно содержит положительные, отрицательные величины и даже 0, чего не может быть.
Стандартная ошибка параметра a определяется: