Реферат: Линейный множественный регрессионный анализ

МИНИСТЕРСТВООБРАЗОВАНИЯ И НАУКИ УКРАИНЫ

ХЕРСОНСКИЙНАЦИОНАЛЬНЫЙ УНЕВЕРСИТЕТ

КАФЕДРАЭКОНОМИЧЕСКОЙ КИБЕРНЕТИКИ

Реферат

подисциплине: „Методы анализа данных”

натему: „Линейный множественный регрессионный анализ”

Выполнил:

Студентгр. 4ЭК2

ПриходькоЕ.А.

Проверил:

Преподаватель

БольоваГ.А.

Херсон-2008

Содержание

1. Регрессионныйанализ

2. Основы линейногорегрессионного анализа

3. Множественнаялинейная регрессия

4. Линейныймножественный регрессионный анализ

1. Регрессионныйанализ

Если расчёткорреляции характеризует силу связи между двумя переменными, то регрессионныйанализ служит для определения вида этой связи и дает возможность дляпрогнозирования значения одной (зависимой) переменной отталкиваясь от значениядругой (независимой) переменной. Для проведения линейного регрессионногоанализа зависимая переменная должна иметь интервальную (или порядковую) шкалу.В то же время, бинарная логистическая регрессия выявляет зависимостьдихотомической переменной от некой другой переменной, относящейся к любойшкале. Те же условия применения справедливы и для пробит-анализа. Еслизависимая переменная является категориальной, но имеет более двух категорий, тоздесь подходящим методом будет мультиномиальная логистическая регрессия можноанализировать и нелинейные связи между переменными, которые относятся кинтервальной шкале. Для этого предназначен метод нелинейной регрессии.

2.Основы линейного регрессионного анализа

 

Разделмногомерного статистического анализа, посвященный восстановлению зависимостей,называется регрессионным анализом. Термин «линейный регрессионныйанализ» используют, когда рассматриваемая функция линейно зависит отоцениваемых параметров (от независимых переменных зависимость может бытьпроизвольной). Теория оценивания неизвестных параметров хорошо развита именно вслучае линейного регрессионного анализа. Если же линейности нет и нельзя перейтик линейной задаче, то, как правило, хороших свойств от оценок ожидать неприходится. Продемонстрируем подходы в случае зависимостей различного вида.Если зависимость имеет вид многочлена (полинома)

/>

токоэффициенты многочлена могут быть найдены путем минимизации функции

/>

Функция от tне обязательно должна быть многочленом. Можно, например, добавить периодическуюсоставляющую, соответствующую сезонным колебаниям.

Хорошоизвестно, например, что инфляция (рост потребительских цен) имеет четковыраженный годовой цикл — в среднем цены быстрее всего растут зимой, в декабре- январе, а медленнее всего (иногда в среднем даже падают) летом, в июле — августе.

Пусть дляопределенности

/>

тогданеизвестные параметры могут быть найдены путем минимизации функции

/>

Пусть I(t)-индекс инфляции в момент t. Принцип стабильности условий приводит кгипотезе о постоянстве темпов роста средних цен, т.е. индекса инфляции. Такимобразом, естественная модель для индекса инфляции – это

/>

Эта модель неявляется линейной, метод наименьших квадратов непосредственно применять нельзя.Однако если прологарифмировать обе части предыдущего равенства:

/>

то получимлинейную зависимость, рассмотренную в первом пункте настоящей главы.

Независимыхпеременных может быть не одна, а несколько. Пусть, например, по исходным данным/>требуетсяоценить неизвестные параметры a иb в зависимости

/>

где /> -погрешность. Это можно сделать, минимизировав функцию

/>

Зависимостьот х и у не обязательно должна быть линейной. Предположим, что изкаких-то соображений известно, что зависимость должна иметь вид

/>

тогда дляоценки пяти параметров необходимо минимизировать функцию

/>

Болееподробно рассмотрим пример из микроэкономики. В одной из оптимизационныхмоделей поведения фирмы используется т.н. производственная функция f(K,L), задающаяобъем выпуска в зависимости от затрат капитала K и труда L. Вкачестве конкретного вида производственной функции часто используется такназываемая функция Кобба-Дугласа

/>

Однако откудавзять значения параметров /> и />? Естественно предположить, чтоони — одни и те же для предприятий отрасли. Поэтому целесообразно собратьинформацию />гдеfk<sub/>- объем выпуска на k-ом предприятии, Kk — объем затрат капитала на k-ом предприятии, Lk<sub/>-объем затрат труда на k-ом предприятии (в кратком изложении здесь непытаемся дать точных определений используемым понятиям из экономикипредприятия). По собранной информации естественно попытаться оценить параметры /> и />. Но они входятв зависимость нелинейно, поэтому сразу применить метод наименьших квадратовнельзя. Помогает логарифмирование:

/>

Следовательно,целесообразно сделать замену переменных

/>

а затемнаходить оценки параметров /> и />, минимизируя функцию

/>

Найдемчастные производные:

/> />

Приравняемчастные производные к 0, сократим на 2, раскроем скобки, перенесем свободныечлены вправо. Получим систему двух линейных уравнений с двумя неизвестными:

/>

/>

Такимобразом, для вычисления оценок метода наименьших квадратов необходимо найтипять сумм:

/>

Дляупорядочения расчета этих сумм может быть использована таблица типа той, чтоприменялась в первом пункте настоящей главы. Отметим, что рассмотренная тампостановка переходит в разбираемую сейчас при

/>

Подходящаязамена переменных во многих случаях позволяет перейти к линейной зависимости.Например, если

/>

то замена z=1/yприводит к линейной зависимости z = a + bx. Если y=(a+bx)2,то замена /> приводитк линейной зависимости z = a + bx.

3. Множественная линейная регрессия

В общемслучае в регрессионный анализ вовлекаются несколько независимых переменных.Это, конечно же, наносит ущерб наглядности получаемых результатов, так какподобные множественные связи в конце концов становится невозможно представитьграфически.

В случаемножественного регрессионного анализа речь идёт необходимо оценить коэффициентыуравнения

у = b1-х1+b2-х2+…+ bn-хn+а,

где n —количество независимых переменных, обозначенных как х1 и хn,а — некоторая константа.

Переменные,объявленные независимыми, могут сами коррелировать между собой; этот фактнеобходимо обязательно учитывать при определении коэффициентов уравнениярегрессии для того, чтобы избежать ложных корреляций.

 
4. Линейный множественныйрегрессионный анализ

В практикечасто возникают ситуации, когда функция отзыва (цели) Y зависит не отодного, а от многих факторов. Установление формы связи в таких случаяхначинают, как правило с рассмотрения линейной регрессии такого вида:

/>

В такомслучае результаты наблюдений должны быть представлены уравнениями, полученнымив каждом из п опытов:

/> (1)

или в видематрицы результатов наблюдений:

/>

где п –количество опытов; k — количество факторов.

Для решениясистемы уравнений (1) необходимо, чтобы количество опытов было не меньше

k + 1, т.е. п /> k + 1.

Заданиеммножественного регрессионного анализа является построение такого уравнения прямойk-мерном пространстве, отклонение результатов наблюдений /> от которой были быминимальными. Используя для этого метод наименьших квадратов, получаем системунормальных уравнений:

/>

которуюпредставим в матричной форме

(ХТХ)В = XTY,(2)

где В — вектор-столбец коэффициентов уравнения регрессии;

X — матрица значенийфакторов;

Y — вектор-столбец функцииотзыва;

XТ — транспонированная матрицаX.

При /> = 1, />, они соответственно равны:

/> /> />

/>

Перемножив правуюи левую часть уравнения (2) на обратную матрицу (ХТХ)-1,получим при:

/>

/>

/>

Каждый коэффициентуравнения регрессии вычисляется по формуле:

/>

где /> - элементы обратнойматрицы (ХТХ)-1.

Для проверкизначимости уравнения регрессии необходимо при заданных значениях (/>) провести несколькоэкспериментов, чтобы получить некоторое среднее значение функции Y. В этомслучае экспериментальный материал представляется, например, в виде табл. 1.

Таблица 1

№ Уровни факторов

Значения функции Y при параллельных исследованиях

Исследуемое среднее значение />

x1

x2

y1

y2

y3

1 1,0 0,2 18,2 18,6 18,7 18,5 2 2,0 0,4 21,6 23,4 23,7 22,9 3 2,5 0,3 22,0 23,0 22,5 22,5

Число параллельныхисследований должно быть больше трёх />.

Проверказначимости уравнения регрессии проводится по F-критерию. Для этого вычисляетсяостаточная дисперсия

/>

и />-статистика

/>

которая сравниваетсяс табличным значением /> при уровнезначимости α и числе ступеней свободы

k1 = п - 1,k2 = п – k - 1.

Гипотеза прозначимость уравнения регрессии принимается при условии:

/>

Значимость коэффициентоврегрессии проверяется по t-критерию.

Статистика /> сравнивается с табличнымзначением /> при уровне значимостиα и числе степеней свободы

k1 = п – k - 1.

Наклонная коэффициентарегрессии:

/>

где /> - диагональный элементматрицы (ХТХ)-1.

Доверительныйинтервал для коэффициентов регрессии определяется по формуле:

/>

где В — значение коэффициента регрессии в генеральной совокупности.

Списокиспользованной литературы

1. Александров В.В., Алексеев А.И., Горский Н.Д. Анализданных на ЭВМ (на примере системы СИТО). – М.: Финансы и статистика, 1990.

2. Блюмин С.Л., Суханов В.Ф., Чеботарев С.В. Экономическийфакторный анализ: Монография. – Липецк: ЛЭГИ, 2004.

3. Рогальский Ф.Б., Курилович Я.Е., Цокуренко А.А.Математические методы анализа экономических систем. Книга 1. – К.: Наукова думка,2001.

4. Рогальский Ф.Б., Цокуренко А.А. Математические методыанализа экономических систем. Книга 2. – К.: Наукова думка, 2001.