Регрессионный анализ и прогнозирование

Парная регрессия

Оценивание параметров

Рассмотрим результаты наблюдений значений переменных у и х. Пусть для большей конкретности последние характеризуют, скажем, производительность труда и фондовооруженность на однородных предприятиях какой-либо отрасли. Через область, занимаемую точками на графике, проведена прямая уˆ = α + bx. Отклонение (возмущение) какой-либо точки с координатами x_iy_i, составит величину e_i :

как и выше, здесь y_i– фактическое, а y^_i – расчетное значение зависимой переменной y.

Как видно из (3.3.), величина e_i (ее часто называют остаточным членом) есть функция параметров α и b. Точно так же функцией этих параметров является обобщенный показатель рассеяния точек вокруг прямой, а именно =f (a, b). Стремление найти прямую, которая наилучшим образом описывала бы расположение точек в пространстве переменных у и х, или, иначе говоря, прямую, к которой в целом наиболее тесно примыкали бы отдельные точки, трансформируется в методе наименьших квадратов в критерий, согласно которому параметры a и b должны быть подобраны так, чтобы сумма квадратов величин e_i была минимальной, т.е. min.

Как известно , необходимым условием существования минимума функции в точках a и b является равенство нулю частных производных по неизвестным параметрам а и b. Итак, найдем для функции

частные производные и приравняем их нулю:

(3.4)

Преобразовав систему (3.4), получим стандартную форму нормальных уравнений.

. (3.5)

Таким образом, определив по наблюдениям суммы решив систему (3.5) относительно неизвестных a и b, получим оценки а и b, отвечающие условию (3.4) и обладающие свойствами несмещенности, состоятельности и эффективности, если выполняются гипотезы 1-4 и независимая переменная не содержит ошибок.

Разделим первое уравнение системы (3.5) на n, получим

Таким образом, метод наименьших квадратов дает такие оценки а и b, при которых найденная прямая проходит через точку с координатами xˉ,yˉ, т.е. точку, соответствующую средним обеих переменных.

Значения переменных x_i и y_i могут быть измерены в отклонениях от средней, т.е. как x_i – x и y_i – y. . Обозначим эти разности как x`<sub>i</sub> и y`_i соответственно. Начало координат при этом переместится в точку х,у, а система нормальных уравнений упростится , так как ` и `, естественно, равны нулю. В этом случае решение второго уравнения системы (3.5) относительно b дает

(3.7)

а из уравнения (3.6) получим

Необходимые для расчета b суммы отклонений могут быть получены по исходным данным следующим путем:

Σ (x`<sub>i</sub>)<sup>2</sup> = Σ x`_i –nx^-2 (3.9)

Σ x_{i ·} y_i = Σ x_i y_i - nˉxˉy (3.10)