Реферат: Методы дискриминантного анализа

Содержание

Введение

1.               Дискриминантныефункции и их геометрическая интерпретация

2.               Расчеткоэффициентов дискриминантной функции

3.               Классификацияпри наличии двух обучающих выборок

4.               Классификацияпри наличии kобучающихвыборок

5.               Взаимосвязьмежду дискриминантными переменными и дискриминантными функциями

Заключение

Списокиспользованной литературы

Введение

Дuскрuмuнантныйанализ — это раздел математической статистики, содержаниемкоторого является разработка методов решения задач различения (дискриминации)объектов наблюдения по определенным признакам. Например, разбиение совокупностипредприятий на несколько однородных групп по значениям каких-либо показателейпроизводственно-хозяйственной деятельности.

Методыдискриминантного анализа находят применение в различных областях: медицине,социологии, психологии, экономике и т.д. При наблюдении больших статистическихсовокупностей часто появляется необходимость разделить неоднороднуюсовокупность на однородные группы (классы). Такое расчленение в дальнейшем припроведении статистического анализа дает лучшие результаты моделированиязависимостей между отдельными признаками.

Дискриминантныйанализ оказывается очень удобным и при обработке результатов тестированияотдельных лиц. Например, при выборе кандидатов на определенную должность можновсех опрашиваемых претендентов разделить на две группы: «подходит» и «неподходит».

Можнопривести еще один пример применения дискриминантного анализа в экономике. Дляоценки финансового состояния своих клиентов при выдаче им кредита банкклассифицирует их на надежных и не надежных по ряду признаков. Таким образом, втех случаях, когда возникает необходимость отнесения того или иного объекта кодному из реально существующих или выделенных определенным способом классов,можно воспользоваться дискриминантным анализом.

Аппаратдискриминантного анализа разрабатывался многими учеными-специалистами, начинаяс конца 50-х годов ХХ в. Дискриминантным анализом, как и другими методамимногомерной статистики, занимались П.Ч. Махаланобис, Р. Фишер, Г.Хотеллинг идругие видные ученые.

Всепроцедуры дискриминантного анализа можно разбить на две группы и рассматриватьих как совершенно самостоятельные методы. Первая группа процедур позволяетинтерпретировать различия между существующими классами, вторая — проводитьклассификацию новых объектов в тех случаях, когда неизвестно заранее, к какомуиз существующих классов они принадлежат.

Пустьимеется множество единиц наблюдения — генеральная совокупность. Каждая единицанаблюдения характеризуется несколькими признаками (переменными) />  — значение j-й переменнойу i-го объектаi=1,…N;j=1,…p.

Предположим,что все множество объектов разбито на несколько подмножеств (два и более). Изкаждого подмножества взята выборка объемом />, где k — номер подмножества (класса), k=1,…, q.

Признаки,которые используются для того, чтобы отличать один класс (подмножество) отдругого, называются дискриминантными переменными. Каждая из этихпеременных должна измеряться либо по интервальной шкале, либо по шкалеотношений. Интервальная шкала позволяет количественно описать различия междусвойствами объектов. Для задания шкалы устанавливаются произвольная точкаотсчета и единица измерения. Примерами таких шкал являются календарное время,шкалы температур и т. п. В качестве оценки положения центра используютсясредняя величина, мода и медиана.

Шкалаотношений — частный случай интервальной шкалы. Она позволяет соотнестиколичественные характеристики какого-либо свойства у разных объектов, например,стаж работы, заработная плата, величина налога.

Теоретическичисло дискриминантных переменных не ограничено, но на практике их выбор долженосуществляться на основании логического анализа исходной информации и одного изкритериев, о котором речь пойдет немного ниже. Число объектов наблюдения должнопревышать число дискриминантных переменных, как минимум, на два, т. е. р <N. Дискриминантныепеременные должны быть линейно независимыми. Еще одним предположением придискриминантном анализе является нормальность закона распределения многомернойвеличины, т.е. каждая из дискриминантных переменных внутри каждого израссматриваемых классов должна быть подчинена нормальному закону распределения.В случае, когда реальная картина в выборочных совокупностях отличается отвыдвинутых предпосылок, следует решать вопрос о целесообразности использованияпроцедур дискриминантного анализа для классификации новых наблюдений, так как вэтом случае затрудняются расчеты каждого критерия классификации.

1.Дискриминантные функции и их геометрическая интерпретация

Передтем как приступить к рассмотрению алгоритма дискриминантного анализа, обратимсяк его геометрической интерпретации. На рис. 1 изображены объекты, принадлежащиедвум различным множествам М1и М2.

/>

Рис.1Геометрическая интерпретация дискриминантной функции и дискриминантныхпеременных

Каждыйобъект характеризуется в данном случае двумя переменными /> и/>.Еслирассматривать проекции объектов (точек) на каждую ось, то эти множествапересекаются, т.е. по каждой переменной отдельно некоторые объекты обоихмножеств имеют сходные характеристики. Чтобы наилучшим образом разделить дварассматриваемых множества, нужно построить соответствующую линейную комбинациюпеременных /> и/>. Для двумерногопространства эта задача сводится к определению новой системы координат. Причемновые оси LиС должны быть расположены таким образом, чтобы проекции объектов, принадлежащихразным множествам на ось L,былимаксимально разделены. Ось С перпендикулярна оси Lиразделяет два «облака» точек наилучшим образом, Т.е. чтобы множества оказалисьпо разные стороны от этой прямой. При этом вероятность ошибки классификациидолжна быть минимальной. Сформулированные условия должны быть учтены приопределении коэффициентов /> и /> следующей функции:

F(x)= />+/> (1)

ФункцияF(x)называется канонической дискриминантной функцией, а величины /> и/> - дискриминантнымипеременными.

Обозначим/>  — среднее значение j-гопризнакау объектов i-го множества(класса). Тогда для множества М1среднее значение функции />(x)будет равно:

/>(x)= />+/>; (2)

Длямножества М2среднее значение функции /> равно:

/>(x)= />+/>; (3)

Геометрическаяинтерпретация этих функций — две параллельные прямые, проходящие через центрыклассов (множеств) (рис.2).

/>

Рис.2. Центры разделяемых множеств и константа дискриминации

Дискриминантнаяфункция может быть как линейной, так и нелинейной. Выбор ее вида зависит отгеометрического расположения разделяемых классов в пространстве дискриминантныхпеременных. Для упрощения выкладок в дальнейшем рассматривается линейнаядискриминантная функция.

2.Расчет коэффициентов дискриминантной функции

Коэффициентыдискриминантной функции /> определяются такимобразом, чтобы />(x)и />(x)как можно больше различались между собой, т.е. чтобы для двух множеств(классов) было максимальным выражение

/>

 (4)

Тогдаможно записать следующее:

/>(5)

гдеk- номер группы; p– число переменных, характеризующих каждое наблюдение.

Обозначимдискриминантную функцию />(x)как /> (k — номергруппы, t — номер наблюдения в группе). Внутригрупповая вариация может быть измерена суммойквадратов отклонений:

/> (6)

Пообеим группам это будет выглядеть следующим образом:

/> (7)

Вматричной форме это выражение может быть записано так:

/> (8)

гдеА — вектор коэффициентов дискриминантной функции;

/> - транспонированнаяматрица отклонений наблюдаемых значений исходных переменных от их среднихвеличин в первой группе

/> (9)

/> - аналогичная матрицадля второй группы.

Объединеннаяковариационная матрица /> определяется так:

/>(10)

Следовательновыражение (8) дает оценку внутригрупповой вариации и его можно записать в виде:

/>(11)

Межгрупповаявариация может быть измерена как

/> (12)

Принахождении коэффициентов дискриминантной функции /> следуетисходить из того, что для рассматриваемых объектов внутригрупповая вариациядолжна быть минимальной, а межгрупповая вариация — максимальной. В этом случаемы достигнем наилучшего разделения двух групп, т.е. необходимо, чтобы величина Fбыламаксимальной:

/> (13)

Вточке, где функция Fдостигаетмаксимума, частные производные по /> будутравны нулю. Если вычислить частные производные

/> (14)

иприравнять их нулю, то после преобразований получим выражение:

/> (15)

Изэтой формулы и определяется вектор коэффициентов дискриминантной функции (А)

Полученныезначения коэффициентов подставляют в формулу (1) и для каждого объекта в обеихгруппах (множествах) вычисляют дискриминантные функции, затем находят среднеезначение для каждой группы. Таким образом, каждое i-енаблюдение, которое первоначально описывалось mпеременными, будет как бы перемещено в одномерное пространство, т.е. ему будетсоответствовать одно значение дискриминантной функции, следовательно,размерность признакового пространства снижается.

3.Классификация при наличии двух обучающих выборок

Передтем как приступить непосредственно к процедуре классификации, нужно определитьграницу, разделяющую в частном случае две рассматриваемые группы. Такойвеличиной может быть значение функции, равноудаленное от /> и /> , т.е.

/>(16)

ВеличинаС называется константой дискриминации.

Нарис.1 видно, что объекты, расположенные над прямой f(x)=/>+/>+…+ /> =C, находятся ближе к центру множества /> и, следовательно,могут быть отнесены к первой группе, а объекты, расположенные ниже этой прямой,ближе к центру второго множества, т.е. относятся ко второй группе. Если границамежду группами выбрана так, как сказано выше, то суммарная вероятностьошибочной классификации минимальная.

Рассмотримпример использования дискриминантного анализа для проведения многомернойклассификации объектов. При этом в качестве обучающих будем использоватьсначала две выборки, принадлежащие двум классам, а затем обобщим алгоритмклассификации на случай kклассов.

Пример1. Имеются данные по двум группам промышленныхпредприятий машиностроительного комплекса:

/>-фондоотдача основныхпроизводственных фондов, руб.;

/>-затраты на рубльпроизведенной продукции, коп.;

/>-затраты на сырье иматериалов на один рубль продукции, коп.