Реферат: Статистический анализ числовых величин (непараметрическая статистика)

РЕФЕРАТ

Статистический анализ числовыхвеличин (непараметрическая статистика)

В учебных курсах по теории вероятностей и математическойстатистике рассматривают различные параметрические семейства распределенийчисловых случайных величин. А именно, изучают семейства нормальныхраспределений, логарифмически нормальных, экспоненциальных,гамма-распределений, распределений Вейбулла-Гнеденко и др. Все они зависят отодного, двух или трех параметров. Поэтому для полного описания распределениядостаточно знать или оценить одно, два или три числа. Очень удобно. Поэтомушироко развита параметрическая теория математической статистики, в которойпредполагается, что распределения результатов наблюдений принадлежат тем илииным параметрическим семействам.

К сожалению, параметрические семейства существуют лишь вголовах авторов учебников по теории вероятностей и математической статистике. Вреальной жизни их нет. Поэтому эконометрика использует в основномнепараметрические методы, в которых распределения результатов наблюдений могутиметь произвольный вид.

Сначала на примере нормального распределения подробнееобсудим невозможность практического использования параметрических семейств дляописания распределений конкретных экономических данных. Затем разберемпараметрические методы отбраковки резко выделяющихся наблюдений ипродемонстрируем невозможность практического использования ряда методовпараметрической статистики, ошибочность выводов, к которым они приводят. Затемразберем непараметрические методы доверительного оценивания основныххарактеристик числовых случайных величин — математического ожидания, медианы,дисперсии, среднего квадратического отклонения, коэффициента вариации. Завершатглаву методы проверки однородности двух выборок, независимых или связанных.

Распределение результатовнаблюдений

В эконометрических и экономико-математических моделях,применяемых, в частности, при изучении и оптимизации процессов маркетинга именеджмента, управления предприятием и регионом, точности и стабильноститехнологических процессов, в задачах надежности, обеспечения безопасности, втом числе экологической, функционирования технических устройств и объектов, разработкиорганизационных схем часто применяют понятия и результаты теории вероятностей иматематической статистики. При этом зачастую используют те или иныепараметрические семейства распределений вероятностей. Наиболее популярнонормальное распределение. Используют также логарифмически нормальноераспределение, экспоненциальное распределение, гамма-распределение,распределение Вейбулла-Гнеденко и т.д.

Очевидно, всегда необходимо проверять соответствиемоделей реальности. Возникают два вопроса. Отличаются ли реальные распределенияот используемых в модели? Насколько это отличие влияет на выводы?

Ниже на примере нормального распределения и основанныхна нем методов отбраковки резко отличающихся наблюдений (выбросов) показано,что реальные распределения практически всегда отличаются от включенных вклассические параметрические семейства, а имеющиеся отклонения от заданныхсемейств делают неверными выводы, в рассматриваемом случае, об отбраковке,основанные на использовании этих семейств.

Есть ли основания априори предполагать нормальностьрезультатов измерений?

Иногда утверждают, что в случае, когда погрешностьизмерения (или иная случайная величина) определяется в результате совокупногодействия многих малых факторов, то в силу Центральной Предельной Теоремы (ЦПТ)теории вероятностей эта величина хорошо приближается (по распределению)нормальной случайной величиной. Такое утверждение справедливо, если малыефакторы действуют аддитивно и независимо друг от друга. Если же они действуютмультипликативно, то в силу той же ЦПТ аппроксимировать надо логарифмическинормальным распределением. В прикладных задачах обосновать аддитивность, а немультипликативность действия малых факторов обычно не удается. Если жезависимость имеет общий характер, не приводится к аддитивному илимультипликативному виду, а также нет оснований принимать модели, дающиеэкспоненциальное, Вейбулла-Гнеденко, гамма или иные распределения, то ораспределении итоговой случайной величины практически ничего не известно, кромевнутриматематических свойств типа регулярности.

При обработке конкретных данных иногда считают, чтопогрешности измерений имеют нормальное распределение. На предположениинормальности построены классические модели регрессионного, дисперсионного,факторного анализов, метрологические модели, которые еще продолжают встречатьсякак в отечественной ноpмативно-технической документации, так и в международныхстандартах. На то же предположение опираются модели расчетов максимальнодостигаемых уровней тех или иных характеристик, применяемые при проектированиисистем обеспечения безопасности функционирования экономических структур,технических устройств и объектов. Однако теоретических оснований для такогопредположения нет. Необходимо экспериментально изучать распределенияпогрешностей.

Что же показывают результаты экспериментов? Сводка,данная в монографии [1], позволяет утверждать, что в большинстве случаевраспределение погрешностей измерений отличается от нормального. Так, вМашинно-электротехническом институте (г. Варна в Болгарии) было исследованораспределение погрешностей градуировки шкал аналоговых электроизмерительныхприборов. Изучались приборы, изготовленные в Чехословакии, СССР и Болгарии.Закон распределения погрешностей оказался одним и тем же. Он имеет плотность

Были проанализированы данные о параметрах 219фактических распределениях погрешностей, исследованных разными авторами, приизмерении как электрических, так и не электрических величин самымиразнообразными (электрическими) приборами. В результате этого исследованияоказалось, что 111 распределений, т.е. примерно 50%, принадлежат классураспределений с плотностью

где /> - параметр степени; b — параметрсдвига; /> -параметр масштаба; /> - гамма-функция от аргумента /> ;

(см. [1, с. 56]); 63 распределения, т.е. 30%, имеютплотности с плоской вершиной и пологими длинными спадами и не могут бытьописаны как нормальные или, например, экспоненциальные. Оставшиеся 45распределений оказались двухмодальными.

В книге известного метролога проф. П. В. Hовицкого [2]приведены результаты исследования законов распределения различного родапогрешностей измерения. Он изучил распределения погрешностейэлектромеханических приборов на кернах, электронных приборов для измерениятемператур и усилий, цифровых приборов с ручным уpавновешиванием. Объем выборокэкспериментальных данных для каждого экземпляра составлял 100-400 отсчетов.Оказалось, что 46 из 47 распределений значимо отличались от нормального.Исследована форма распределения погрешностей у 25 экземпляров цифровыхвольтметров Щ-1411 в 10 точках диапазона. Результаты аналогичны. Дальнейшиесведения содержатся в монографии [1].

В лаборатории прикладной математики Тартускогогосударственного университета проанализировано 2500 выбоpок из архива реальныхстатистических данных. В 92% гипотезу нормальности пришлось отвергнуть.

Приведенные описания экспеpиментальных данныхпоказывают, что погрешности измерений в большинстве случаев имеютраспределения, отличные от нормальных. Это означает, в частности, чтобольшинство применений критерия Стьюдента, классического регрессионного анализаи других статистических методов, основанных на нормальной теории, строгоговоря, не является обоснованным, поскольку неверна лежащая в их основе аксиоманормальности распределений соответствующих случайных величин.

Очевидно, для оправдания или обоснованного изменениясуществующей практики анализа статистических данных требуется изучить свойствапроцедур анализа данных при «незаконном» применении. Изучениепроцедур отбраковки показало, что они крайне неустойчивы к отклонениям отнормальности, а потому применять их для обработки реальных данныхнецелесообразно (см. ниже); поэтому нельзя утверждать, что произвольно взятаяпроцедура устойчива к отклонениям от нормальности.

Иногда предлагают перед применением, например, критерияСтьюдента однородности двух выбоpок проверять нормальность. Хотя для этогоимеется много критериев, но проверка нормальности — более сложная и трудоемкаястатистическая процедура, чем проверка однородности (как с помощью статистиктипа Стьюдента, так и с помощью непараметрических критериев). Для достаточнонадежного установления нормальности требуется весьма большое число наблюдений.Так, чтобы гарантировать, что функция распределения результатов наблюденийотличается от некоторой нормальной не более, чем на 0,01 (при любом значенииаргумента), требуется порядка 2500 наблюдений. В большинстве экономических,технических, медико-биологических и других прикладных исследований числонаблюдений существенно меньше. Особенно это справедливо для данных,используемых при изучении проблем, связанных с обеспечением безопасностифункционирования экономических структур и технических объектов.

Иногда пытаются использовать ЦПТ для приближенияраспределения погрешности к нормальному, включая в технологическую схемуизмерительного прибора специальные сумматоры. Оценим полезность этой меры.Пусть Z1, Z2 ,…, Zk — независимые одинаковораспределенные случайные величины с функцией распределения H = H(x) такие, что /> Рассмотрим

Показателем обеспечиваемой сумматором близости кнормальности является

Тогда

Правое неравенство в последнем соотношении вытекает изоценок константы в неравенстве Берри-Эссеена, полученном в книге [3, с.172], алевое — из примера в монографии [4, с.140-141]. Для нормального закона /> =1,6, дляравномерного /> = 1,3, для двухточечного /> =1 (это — нижняя граница для />). Следовательно, для обеспечениярасстояния (в метрике Колмогорова) до нормального распределения не более 0,01для «неудачных» распределений необходимо не менее k0слагаемых,где

В обычно используемых сумматорах слагаемых значительноменьше. Сужая класс возможных распределений H, можно получить, как показано вмонографии [5], более быструю сходимость, но теория здесь еще не смыкается спрактикой. Кроме того, не ясно, обеспечивает ли близость распределения кнормальному (в определенной метрике) также и близость распределения статистики,построенной по случайным величинам с этим распределением, к распределениюстатистики, соответствующей нормальным результатам наблюдений. Видимо, длякаждой конкретной статистики необходимы специальные теоретические исследования,Именно к такому выводу приходит автор монографии [5]. В задачах отбраковкивыбросов ответ: «Не обеспечивает» (см. ниже).

Отметим, что результат любого реального измерениязаписывается с помощью конечного числа десятичных знаков, обычно небольшого(2-5), так что любые реальные данные целесообразно моделировать лишь с помощьюдискретных случайных величин, принимающих конечное число значений. Нормальноераспределение — лишь аппроксимация реального распределения. Так, например, данныеконкретного исследования, приведенные в работе [6], принимают значения от 1,0до 2,2, т.е. всего 13 возможных значений. Из принципа Дирихле следует, что вкакой-то точке построенная по данным работы [6] функция распределенияотличается от ближайшей функции нормального распределения не менее чем на 1/26,т.е. на 0,04. Кроме того, очевидно, что для нормального распределения случайнойвеличины вероятность попасть в дискретное множество десятичных чисел с заданнымчислом знаков после запятой равна 0.

Из сказанного выше следует, что результаты измерений ивообще статистические данные имеют свойства, приводящие к тому, чтомоделировать их следует случайными величинами с распределениями, более илименее отличными от нормальных. В большинстве случаев распределения существенноотличаются от нормальных, в других нормальные распределения могут, видимо,рассматриваться как некоторая аппроксимация, но никогда нет полного совпадения.Отсюда вытекает как необходимость изучения свойств классических статистическихпроцедур в неклассических вероятностных моделях (подобно тому, как это сделанониже для критерия Стьюдента), так и необходимость разработки устойчивых(учитывающих наличие отклонений от нормальности) и непараметрических, в томчисле свободных от распределения процедур, их широкого внедрения в практикустатистической обработки данных.

Опущенные здесь рассмотрения для других параметрическихсемейств приводят к аналогичным выводам. Итог можно сформулировать так.Распределения реальных данных практически никогда не входят в какое-либоконкретное параметрическое семейство. Реальные распределения всегда отличаютсяот тех, что включены в параметрические семейства. Отличия могут быть большиеили маленькие, но они всегда есть. Попробуем понять, насколько важны этиразличия для проведения эконометрического анализа.

Неустойчивость параметрических методов отбраковкирезко выделяющихся результатов наблюдений

Приобработки реальных экономических данных, полученных в процессе наблюдений,измерений, расчетов, иногда один или несколько результатов наблюдений резковыделяются, т.е. далеко отстоят от основной массы данных. Такие резковыделяющиеся результаты наблюдений часто считают содержащими грубыепогрешности, соответственно называют промахами или выбросами. В рассматриваемыхслучаях возникает естественная мысль о том, что подобные наблюдения неотносятся к изучаемой совокупности, поскольку содержат грубую погрешность, аполучены в результате ошибки, промаха. В метрологии об этом явлении говоряттак: «Грубые погрешности и промахи возникают из-за ошибок или неправильныхдействий оператора (его психо-физиологического состояния, неверного отсчета,ошибок в записях или вычислениях, неправильного включения приборов и т.п.), атакже при кратковременных резких изменений проведения измерений (вибрации,поступления холодного воздуха, толчка прибора оператором и т.п.). Если грубыепогрешности и промахи обнаруживают в процессе измерений, то результаты,содержащие их, отбрасывают. Однако чаще всего их выявляют только приокончательной обработке результатов измерений с помощью специальных критериевоценки грубых погрешностей» [7, с.46-47].

Естьдва подхода к обработке данных, которые могут быть искажены грубымипогрешностями и промахами:

1)отбраковка резко выделяющихся результатов наблюдений, т.е. обнаружениенаблюдений, искаженных грубыми погрешностями и промахами, и исключение их издальнейшей статистической обработки;

2)применение устойчивых (робастных) методов обработки данных, На результатыработы которых мало влияет наличие небольшого числа грубо искаженных наблюдений(см. ниже соответствующую главу).

Внастоящем пункте обсуждаются методы отбраковки.

Наиболее изучена ситуация, когда результаты наблюдений — числа x1., x2.,…, xn., резко выделяется одинрезультат наблюдения, для определенности, максимальный xmax .

Простейшая вероятностно-статистическая модель такова[8]. При нулевой гипотезе H0результаты наблюдения x1., x2.,…,xn рассматриваются как реализация независимых одинаковораспределенных случайных величин числа X1., X2.,…, Xn.с функцией распределения F(x). При альтернативной гипотезе H1случайные величины X1., X2.,…, Xn. такженезависимы, X1., X2.,…, Xn-1 имеютраспределение F(x), а Xn — распределение G(x), оно «существенносдвинуто вправо» относительно F(x), например, G(x)=F(x — A), где Aдостаточно велико. Если альтернативная гипотеза справедлива, то при />вероятностьравенства

стремится к 1, поэтому естественно применять решающееправило следующего вида:

если xmax.> d, то принять H1.,

если xmax.< d, то принять H0, (1)

где d — параметр решающего правила, который следуетопределять из вероятностно-статистических соображений.

При справедливости нулевой гипотезы

Статистический критерий проверки гипотезы H0,основанный на решающем правиле вида (1), имеет уровень значимости />, если

т.е.

/> (2)

Из соотношения (2) определяют граничное значение d=d(/>, n) в решающемправиле (1).

При больших n и малых />

/> (3)

поэтому в качестве хорошего приближения к d(/>, n)рассматривают (1-/>/n) — квантиль распределения F(x).

Пусть правило отбраковки задано в соответствии свыражениями (1) и (2) с некоторой функцией распределения F, однако выборкаберется из функции распределения G, мало отличающейся от F в смысле расстоянияКолмогорова

/> (4)

С помощью соотношения (3) получаем, что величина />= G(d) для d изуравнения (2) находится между /> и />. Уровень значимости критерия,построенного для F, при применении к наблюдениям из G есть 1-/>и может принимать любыезначения в отрезке [1-/>; 1-/>]. В частности, при />= 0,01, />=0,05, n = 5 возможныезначения уровня значимости заполняют отрезок [0; 0,1], т.е. уровень значимостиможет быть в 2 раза выше номинального, а если n возрастает до 30, томаксимальный уровень значимости есть 0,297, т.е. почти в 6 раз вышеноминального. При дальнейшем росте n верхняя граница для уровня значимости, какнетрудно видеть, приближается к 1.

Рассмотрим и другой вопрос — насколько правилоотбраковки с уровнем значимости /> для G может отличаться оттакового для F при справедливости неравенства (4). С использованием соотношения(3) заключаем, что из

/> (5)

следует, что /> где /> и /> выписаны выше. Решение уравнения(5) может принимать любое значение в отрезке [/>]. В частности, при />=0,05 и n = 5 длястандартного нормального распределения F имеем d(/>, n) = 2,319, при />=0,01 решение уравнения(5) может принимать любое значение в отрезке [2,054; + />], при /> =0,005 — любое значение в [2,170;2,576].

При использовании любого другого расстояния междуфункциями распределения выводы о неустойчивости правил отбраковки такжесправедливы. Отметим, что проведенные рассмотрения выполнены в рамках«общей схемы устойчивости» (см. ниже главу об устойчивости статистическихпроцедур).

Рассмотренные примеры показывают, что при конкретномзначении />=0,01 в неравенстве (4) весьма неустойчивы как уровни значимости прификсированном правиле отбраковки, так и параметр d правила отбраковки прификсированном уровне значимости. Обсудим, насколько реалистично определениефункции распределения с точностью />

Есть два подхода к определению функции распределениярезультатов наблюдений: эвристический подбор с последующей проверкой с помощьюкритериев согласия и вывод из некоторой вероятностной модели.

Пусть с помощью критерия согласия Колмогорова проверяетсягипотеза о том, что выборка взята из распределения F. Пусть функциираспределения F и G удовлетворяют соотношению (4). Пусть на самом деле выборкавзята из распределения G, а не F. При каких /> не удастся различить F и G? Дляопределенности, при каких />гипотеза согласия с F будетприниматься не менее чем в 50% случаев?

Критерий согласия Колмогорова основан на статистике

/> (6)

где расстояние />между функциями распределенияопределено выше в формуле (4); H — та функция распределения, согласие с которойпроверяется, а Fn- эмпирическая функция распределения(т.е. Fn(х) равно доле наблюдений, меньших х, в выборке объема n).Как показал А.Н. Колмогоров в 1933 г., функция распределения случайной величины/> при ростеобъема выборки n сходится к некоторой функции распределения К(х), которую ныненазывают функцией Колмогорова. При этом К(1,36)= 0,95 и К(0,83)=0,50.

Поскольку выборка взята из распределения G, то свероятностью 0,50

/> (7)

(при больших n). Тогда для рассматриваемой выборки сучетом неравенства (4) и неравенства треугольника для расстояния Колмогорова исимметричности этого расстояния имеем

Если

/>/>

т.е.

/> (8)

то, согласно формуле (6), гипотеза согласия принимаетсяпо крайней мере с той же вероятностью, с которой выполнено неравенств (7), т.е.с вероятностью не менее 0,50. Для />= 0,01 это условие выполняется приn < 2809. Таким образом, для определения функции распределения с точностью />с помощьюкритерия согласия Колмогорова необходимо несколько тысяч наблюдений, что длябольшинства эконометрических задач нереально.

При втором из названных выше подходов к определениюфункции распределения ее конкретный вид выводится из некоторой системы аксиом,в частности, из некоторой модели порождения соответствующей случайной величины.Например, из модели суммирования вытекает нормальное распределение, а из мультипликативноймодели перемножения — логарифмически нормальное распределение. Как правило, привыводе используется предельный переход. Так, из Центральной Предельной Теоремытеории вероятностей вытекает, что сумма независимых случайных величин можетбыть приближена нормальным распределением. Однако более детальный анализ, вчастности, с помощью неравенства Берри-Эссеена (см. предыдущий пункт)показывает, что для гарантированного достижения точности />необходимо болееполутора тысяч слагаемых. Такого количества слагаемых реально, конечно, указатьпочти никогда нельзя. Это означает, что при решении практическихэконометрических задач теория дает возможность лишь сформулировать гипотезу овиде функции распределения, а проверять ее надо с помощью анализа реальнойвыборки объема, как показано выше, не менее нескольких тысяч.

Таким образом, в большинстве реальных ситуацийопределить функцию распределения с точностью /> невозможно.

Итак, показано, что правила отбраковки, основанные наиспользовании конкретной функции распределения, являются крайне неустойчивыми котклонениям от нее распределения элементов выборки, а гарантировать отсутствиеподобных отклонений невозможно. Поэтому отбраковка по классическим правиламматематической статистики не является научно обоснованной, особенно при большихобъемах выборок. Указанные правила целесообразно применять лишь для выявления«подозрительных» наблюдений, вопрос об отброаковке которых долженрешаться из соображений соответствующей предметной области, а не изформально-математических соображений.

Выше для простоты изложения рассмотрен лишь случайполностью известного распределения F, для которого изучено правило отбраковки,заданное формулами (1) и (2). Аналогичные выводы о крайней неустойчивостиправил отбраковки справедливы, если «истинное распределение»принадлежит какому-либо параметрическому семейству, например, нормальному,Вейбулла-Гнеденко, гамма.

Параметрическим методам отбраковки, основанным намоделях тех или иных параметрических семейств распределений, посвящены тысячикниг и статей. Приходится признать, что они имеют в основном внутриматематическийинтерес. При обработке реальных данных следует применять устойчивые методы (см.соответствующую главу), в частности, непараметрические.

Пустьисходные данные –это выборка x1,x2,…, xn, где n – объем выборки. Выборочныезначения x1, x2,…, xn рассматриваются как реализациинезависимых одинаково распределенных случайных величин X1, X2,…, Xn с общей функцией распределения F(x) = P (Xi <x), i = 1,2, …, n. Поскольку функция распределения произвольна (с точностью доусловий регулярности типа существования моментов), то рассматриваемые задачидоверительного оценивания характеристик распределения являются непараметрическими.Существование моментов является скорее математическим ограничением, чемреальным, поскольку практически все реальные статистические данные финитны(ограничены сверху и снизу, например, шкалой прибора).

Врасчетах будут использоваться выборочное среднее арифметическое

M= (X1 + X2 +… + X n ) / n,

выборочнаядисперсия

S2= { (X1 – M)2 + (X2 – M)2+… + (X n – M)2 } / (n-1)

инекоторые другие выборочные характеристики, которые мы введем позже.

Точечноеи интервальное оценивание математического ожидания.Точечной оценкой для математического ожидания в силу закона больших чиселявляется выборочное среднее арифметическое М.

M– U(p) S / n1/2 ,

где:

M– выборочное среднее арифметическое,

p– доверительная вероятность (истинное значение математического ожиданиянаходится между нижней доверительной границей и верхней доверительной границейс вероятностью, равной доверительной);

U(p)– число, заданное равенством Ф(U(p)) = (1+ p)/2, где Ф(х) – функциястандартного нормального распределения с математическим ожиданием 0 идисперсией 1. Например, при p = 95% (т.е. при р = 0,95) имеем U(p) = 1,96.Функция U(p) имеется в большинстве литературных источников по теориивероятностей и математической статистике (см., например, [8]);

S– выборочное среднее квадратическое отклонение (квадратный корень из описаннойвыше выборочной дисперсии).

M + U(p) S / n1/2.

С(р)= [n/2 – U(p)n1/2 /2] ,

где[.] – знак целой части числа. Нижняя доверительная граница для медианы имеетвид

Х(С(р)),

гдеХ(i) – член вариационного ряда с номером i, построенного по исходной выборке(т.е. i-я порядковая статистика). Верхняя доверительная граница для медианы имеетвид

Х(n + 1 — С(р)).

d2= (m 4 — ((n – 1) /n )4 S4 ) / n ,

гдеm 4 — выборочный четвертый центральный момент, т.е.

m4 = { (X1 – M) 4 + (X2 – M)4+… + (X n – M) 4 } / n.

Íèæíÿÿäîâåðèòåëüíàÿãðàíèöà äëÿäèñïåðñèèñëó÷àéíîéâåëè÷èíûèìååò âèä

S2 — U(p)d,

гдеS2 – выборочная дисперсия,

U(p)– квантиль нормального распределения порядка (1+р)/2 (как и раньше),

d–положительныйквадратный корень из величины d2,введенной выше.

S2+ U(p)d,

гдевсе составляющие имеют тот же смысл, что и выше.

Привыводе приведенных соотношений используется асимптотическая нормальностьвыборочной дисперсии, установленная, например, в [10, с.419]. Соответственнодоверительный интервал является непараметрическим и асимптотическим. Вклассическом случае точечная оценка имеет тот же вид, а вот доверительныеграницы находят с помощью квантилей распределения хи-квадрат с числом степенейсвободы, на 1 меньшим объема выборки. Отметим, что в случае нормальногораспределения четвертый момент в 3 раза больше квадрата дисперсии, а потомуможно оценить d2 как (2 S4 ) / n. Это дает быстрыйспособ для интервальной оценки дисперсии в нормальном случае.

Точечноеи интервальное оценивание среднего квадратического отклонения. Дисперсиярассматриваемой случайной величины — выборочного среднего квадратическогоотклонения S – оценивается как дробь

d2/ (4 S2 ) .

S- U(p)d / (2S),

гдеS2 – выборочная дисперсия,

U(p)– квантиль нормального распределения порядка (1+р)/2 (как и раньше),

d–положительныйквадратный корень из величины d2,введенной выше.

S+ U(p)d / (2S),

гдевсе составляющие имеют тот же смысл, что и выше.

Правиларасчетов настоящего подпункта получены из правил предыдущего подпункта спомощью метода линеаризации (см., например, [11, п.2.4]). В рассматриваемомслучае доверительный интервал также является непараметрическим иасимптотическим, а классический подход связан с использованием распределенияхи-квадрат.

Точечноеи интервальное оценивание коэффициента вариации. Коэффициентвариации широко используется при анализе конкретных экономических данных(поскольку они, как правило, положительны), но не очень популярен средитеоретиков. Дисперсия выборочного коэффициента вариации

Vn= S / M

D2 = (Vn4 — Vn2 / 4 + m 4 / (4 S 2 M 2) — m 3/M 3 ) / n ,

гдеМ – выборочное среднее арифметическое,

S2– выборочнаядисперсия,

m3- выборочныйтретий центральный момент, т.е.

m3 = { (X1 – M) 3 + (X2 – M)3+… + (X n – M) 3 } / n,

m4- выборочныйчетвертый центральный момент (см. выше),

Vn–выборочный коэффициент вариации,

n- объем выборки.

Vn — U(p) D,

гдеVn– выборочный коэффициент вариации,

U(p)– квантиль нормального распределения порядка (1+р)/2 (как и ранее),

D–положительныйквадратный корень из величины D2,введенной выше.

Vn+ U(p) D,

гдевсе составляющие имеют тот же смысл, что и выше.

Каки в предыдущих случаях, доверительный интервал является непараметрическим иасимптотическим. Он получен в результате применения специальной технологиивывода асимптотических соотношений прикладной статистики. Эта технология вкачестве первого шага использует многомерную центральную предельную теорему,примененную к сумме векторов, координаты которых – степени исходных случайныхвеличин. Второй шаг – преобразование предельного многомерного нормальноговектора с целью получения интересующего исследователя вектора. При этомиспользуются соображения линеаризации и отбрасываются бесконечно малыевеличины. Третий шаг – строгое обоснование полученных результатов настандартном для асимптотических математико-статистических рассуждений уровне. Приэтом обычно оказывается необходимым использовать необходимые и достаточныеусловия наследования сходимости, полученные в монографии [11, п.2.4]. Именнотаким образом были получены приведенные выше результаты для выборочногокоэффициента вариации. Формулы оказались существенно более сложными, чем впредыдущих случаях. Это объясняется тем, что выборочный коэффициент вариации — функция двух выборочных моментов, а ранее рассматривались либо выборочныемоменты поодиночке, либо функция от одного выборочного момента — выборочнойдисперсии.

О проверке однородности двух независимых выборок

Противоположнымпонятием является «различие». Можно переформулировать задачу: требуетсяпроверить, есть ли различие между выборками. Если различия нет, то длядальнейшего изучения часто выборки объединяют.

Например,в маркетинге важно выделить сегменты потребительского рынка. Если установленаоднородность двух выборок, то возможно объединение сегментов, из которых онивзяты, в один. В дальнейшем это позволит осуществлять по отношению к нимодинаковую маркетинговую политику (проводить одни и те же рекламные мероприятияи т.п.). Если же установлено различие, то поведение потребителей в двухсегментах различно, объединять эти сегменты нельзя, и могут понадобитьсяразличные маркетинговые стратегии, своя для каждого из этих сегментов.

Традиционныйметод проверки однородности (критерий Стьюдента). Длядальнейшего критического разбора опишем традиционный статистический методпроверки однородности. Вычисляют средние арифметические в каждой выборке

/> ,

затемвыборочные дисперсии

/> , />

истатистику Стьюдента t, на основе которой принимают решение,

/> . (1)

Позаданному уровню значимости a и числу степеней свободы (m+n _2) из таблиц распределения Стьюдента находят критическое значение tкр.Если |t|>tкр, то гипотезу однородности (отсутствия различия)отклоняют, если же |t|<tкр, то принимают. (При одностороннихальтернативных гипотезах вместо условия |t|>tкрпроверяют,что t>tкр; эту постановку рассматривать не будем, так как в нейнет принципиальных отличий от обсуждаемой здесь.)

Рассмотримусловия применимости традиционного метода проверки однородности, основанного наиспользовании статистики t Стьюдента, а также укажем более современные методы.

Вероятностнаямодель порождения данных. Для обоснованного примененияэконометрических методов необходимо прежде всего построить и обосновать вероятностнуюмодель порождения данных. При проверке однородности двух выборок общепринятамодель, в которой x1, x2,...,xm рассматриваютсякак результаты m независимых наблюдений некоторой случайной величины Х сфункцией распределения F(x), неизвестной статистику, а y1, y2,...,yn — как результаты п независимых наблюдений, вообще говоря, другой случайнойвеличины Y с функцией распределения G(x), также неизвестной статистику.Предполагается также, что наблюдения в одной выборке не зависят от наблюдений вдругой, поэтому выборки и называют независимыми.

Возможностьприменения модели в конкретной реальной ситуации требует обоснования.Независимость и одинаковая распределенность результатов наблюдений, входящих ввыборку, могут быть установлены или исходя из методики проведения конкретныхнаблюдений, или путем проверки статистических гипотез независимости иодинаковой распределенности с помощью соответствующих критериев [8].

Еслипроведено (т+п) измерений объемов продаж в (т+п) торговых точках, то описаннуювыше модель, как правило, можно применять. Если же, например, xi и yi — объемы продаж одного и того же товара до и после определенного рекламноговоздействия, то рассматриваемую модель применять нельзя. (В этом случаеиспользуют модель т.н. связанных выборок, в которой обычно строят новую выборкуzi = xi — yi и используют статистическиеметоды анализа одной выборки, а не двух. Проверка однородности для связанныхвыборок рассматривается ниже.)

Придальнейшем изложении принимаем описанную выше вероятностную модель двухвыборок.

Уточненияпонятия однородности. Понятие «однородность», т. е.«отсутствие различия», может быть формализовано в терминах вероятностной моделиразличными способами.

Наивысшаястепень однородности достигается, если обе выборки взяты из одной и той жегенеральной совокупности, т. е. справедлива нулевая гипотеза

H0: F(x)=G(x) при всех х.

Отсутствиеоднородности означает, что верна альтернативная гипотеза, согласно которой

H1: F(x0)¹G(x0)

хотябы при одном значении аргумента x0. Если гипотеза H0 принята, товыборки можно объединить в одну, если нет — то нельзя.

Внекоторых случаях целесообразно проверять не совпадение функций распределения,а совпадение некоторых характеристик случайных величин Х и Y — математическихожиданий, медиан, дисперсий, коэффициентов вариации и др. Например,однородность математических ожиданий означает, что справедлива гипотеза

H'0: M(X)=M(Y),

гдеM(Х) и M(Y) — математические ожидания случайных величин Х и Y, результатынаблюдений над которыми составляют первую и вторую выборки соответственно.Доказательство различия между выборками в рассматриваемом случае — этодоказательство справедливости альтернативной гипотезы

H'1: M(X) ¹ M(Y) .

Еслигипотеза H0 верна, то и гипотеза H'0верна, но изсправедливости H'0 не следует справедливость H0. В частности, если в результатеобработки выборочных данных принята гипотеза H'0, то отсюда неследует, что две выборки можно объединить в одну. Однако в ряде ситуацийцелесообразна проверка именно гипотезы H'0. Например, пусть функцияспроса на определенный товар или услугу оценивается путем опроса потребителей(первая выборка) или с помощью данных о продажах (вторая выборка). Тогдамаркетологу важно проверить гипотезу об отсутствии систематических расхожденийрезультатов этих двух методов, т.е. гипотезу о равенстве математическихожиданий. Другой пример – из производственного менеджмента. Пусть изучаетсяэффективность управления бригадами рабочих на предприятии с помощью двух организационныхсхем, результаты наблюдения — объем производства на одного члена бригады, апоказатель эффективности организационной схемы — средний (по предприятию) объемпроизводства на одного рабочего. Тогда для сравнения эффективности препаратовдостаточно проверить гипотезу H'0 .

Классическиеусловия применимости критерия Стьюдента. Пусть выполнены дваклассических условия применимости критерия Стьюдента, основанного наиспользовании статистики t, заданной формулой (1):

а)результаты наблюдений имеют нормальные распределения:

F(x)=N(x; m1, s12),G(x)=N(x; m2, s22)

сматематическими ожиданиями m1 и m2 и дисперсиями s12и s22в первой и во второй выборках соответственно;

б)дисперсии результатов наблюдений в первой и второй выборках совпадают:

D(X)=s12=D(Y)=s22.

Еслиусловия а) и б) выполнены, то нормальные распределения F(x) и G(x) отличаютсятолько математическими ожиданиями, а поэтому обе гипотезы H0 и H'0сводятся к гипотезе

H"0: m1=m2, ,

аобе альтернативные гипотезы H1 и H'1 сводятся к гипотезе

H"1: m1¹m2, .

Еслиусловия а) и б) выполнены, то статистика t при справедливости H"0имеет распределение Стьюдента с (т + п — 2) степенями свободы. Только в этомслучае описанный выше традиционный метод обоснован безупречно. Если хотя быодно из условий а) и б) не выполнено, то нет оснований считать, что статистика tимеет распределение Стьюдента, поэтому применение традиционного метода, строгоговоря, не обосновано. Обсудим возможность проверки этих условий и последствияих нарушений.

Опроверке условия нормальности. Априори нет оснований предполагатьнормальность распределения результатов экономических, технико-экономических ииных наблюдений. Следовательно, нормальность надо проверять. Разработано многостатистических критериев для проверки нормальности распределения результатовнаблюдений [8]. Однако проверка нормальности — более сложная и трудоемкаястатистическая процедура, чем проверка однородности (как с помощью статистики tСтьюдента, так и с использованием непараметрических критериев, рассматриваемыхниже).

Длядостаточно надежного установления нормальности требуется весьма большое числонаблюдений. Выше показано, что для того, чтобы гарантировать, что функцияраспределения результатов наблюдений отличается от некоторой нормальной неболее чем на 0,01 (при любом значении аргумента), требуется порядка 2500наблюдений. В большинстве экономических и технико-экономических исследованийчисло наблюдений существенно меньше.

Какуже отмечалось, есть и одна общая причина отклонений от нормальности: любойрезультат наблюдения записывается конечным (обычно 2-5) количеством цифр, а сматематической точки зрения вероятность такого события равна 0. Из сказанноговыше следует, что в эконометрике распределение результатов экономических итехнико-экономических наблюдений практически всегда более или менее отличаетсяот нормального. Более подробно это утверждение выше.

Последствиянарушения условия нормальности. Если условие а) невыполнено, то распределение статистики t не является распределением Стьюдента.Однако при справедливости H'0 и условии б) распределение статистики tпри росте объемов выборок приближается к стандартному нормальному распределениюФ(х)=N(x; 0, 1). К этому же распределению приближается распределение Стьюдентапри возрастании числа степеней свободы. Другими словами, несмотря на нарушениеусловия нормальности традиционный метод (критерий Стьюдента) можно использоватьдля проверки гипотезы H'0при больших объемах выборок. При этомвместо таблиц распределения Стьюдента достаточно пользоваться таблицамистандартного нормального распределения Ф(х).

Сформулированноев предыдущем абзаце утверждение справедливо для любых функций распределения F(x)и G(x) таких, что M(X)=M(Y), D(X)=D(Y) и выполнены некоторыевнутриматематические условия, обычно считающиеся справедливыми в реальныхзадачах. Если же M(X)¹M(Y),то нетрудно вычислить, что при больших объемах выборок

P(t<x)»Ф(x-amn),(2)

где

/>. (3)

Формулы(2) — (3) позволяют приближенно вычислять мощность t-критерия (точностьвозрастает при увеличении т и п).

Опроверке условия равенства дисперсий. Иногда условие б)вытекает из методики получения результатов наблюдений, например, когда спомощью одного и того же прибора или методики m раз измеряют характеристикупервого объекта и п раз-второго, а параметры распределения погрешностейизмерения при этом не меняются. Однако ясно, что в постановках большинстваисследовательских и практических задач нет основании априори предполагатьравенство дисперсий.

Целесообразноли проверять равенство дисперсий статистическими методами, например, как этоиногда предлагают, с помощью F-критерия Фишера? Этот критерий основан нанормальности распределений результатов наблюдений, от которой неизбежныотклонения (см. выше), причем хорошо известно, что в отличие от t-критерия егораспределение сильно меняется при малых отклонениях от нормальности [10]. Крометого, F-критерий отвергает гипотезу D(X)=D(Y) лишь при большом различиивыборочных дисперсий. Так, для данных [8] о двух группах результатов химическиханализов отношение выборочных дисперсий равно 1,95, т.е. существенно отличаетсяот 1. Тем не менее гипотеза о равенстве теоретических дисперсий принимается на1% уровне значимости. Следовательно, при проверке однородности применение F-критериядля предварительной проверки равенства дисперсий нецелесообразно.

Итак,в большинстве экономических и технико-экономических задач условие б) нельзясчитать выполненным, а проверять его нецелесообразно.

Последствиянарушения условия равенства дисперсий. Если объемы выборок т ип велики, то можно показать, что распределение статистики t описывается спомощью только математических ожиданий M(Х) и M(Y), дисперсий D(X), D(Y) иотношения объемов выборок, а именно:

P(t<x)»Ф(bmnx-amn),(4)

гдеamn определено формулой (3),

/>. (5)

Еслиbmn¹1, то распределение статистики tотличается от распределения, заданного формулой (2), полученной в предположенииравенства дисперсий. Когда bmn=1? В двух случаях — при m = n и при D(X)= D(Y). Таким образом, при больших и равных объемах выборок требоватьвыполнения условия б) нет необходимости. Кроме того, ясно, что если объемывыборок мало различаются, то bmn близко к 1. Так, для данных [8]имеем b*mn= 0,987, где b*mn — оценка bmn,полученная заменой в формуле (5) теоретических дисперсий на выборочные.

Областьприменимости традиционного метода проверки однородности с помощью критерияСтьюдента. Подведем итоги рассмотрения t-критерия. Он позволяетпроверять гипотезу H'0о равенстве математических ожиданий, но негипотезу H0о том, что обе выборки взяты из одной и той жегенеральной совокупности. Классические условия применимости критерия Стьюдентав подавляющем большинстве экономических и технико-экономических задач невыполнены. Тем не менее при больших и примерно равных объемах выборок его можноприменять. При конечных объемах выборок традиционный метод носит неустранимоприближенный характер.

Критерий Крамера-Уэлча равенства математическихожиданий

Вместокритерия Стьюдента предлагаем для проверки H'0 использовать критерийКрамера-Уэлча [12], основанный на статистике

/>. (6)

КритерийКрамера-Уэлча имеет прозрачный смысл – разность выборочных среднихарифметических для двух выборок делится на естественную оценку среднегоквадратического отклонения этой разности. Естественность указанной оценкисостоит в том, что неизвестные статистику дисперсии заменены их выборочнымиоценками. Из многомерной центральной предельной теоремы и из теорем онаследовании сходимости [11] вытекает, что при росте объемов выборок распределениестатистики Т Крамера-Уэлча сходится к стандартному нормальному распределению сматематическим ожиданием 0 и дисперсией 1. Итак, при справедливости H'0и больших объемах выборок распределение статистики Т приближается с помощьюстандартного нормального распределения Ф(х), из таблиц которого следует братькритические значения.

Прит=п, как следует из формул (1) и (6), t=T. При т¹пэтого равенства нет. В частности, при sx2 в (1) стоитмножитель (m-1), а в (6)- множитель п.

ЕслиM(X)¹M(Y),то при больших объемах выборок

P(T<X)»Ф(x-cmn),(7)

где

/>. (8)

Прит=п или D(X)=D(Y), согласно формулам (3) и (8), amn=cmn,в остальных случаях равенства нет.

Изасимптотической нормальности статистики Т, формул (7) и (8) следует, чтоправило принятия решения для критерия Крамера-Уэлча выглядит так:

- если|T|</>тогипотеза однородности (равенства) математических ожиданий принимается на уровнезначимости />

- еслиже |T|>/>тогипотеза однородности (равенства) математических ожиданий отклоняется на уровнезначимости />.

Вэконометрике наиболее часто применяется уровень значимости /> Тогда значение модулястатистики Т Крамера-Уэлча надо сравнивать с граничным значением/>

Изсказанного выше следует, что применение критерия Крамера-Уэлча не менееобосновано, чем применение критерия Стьюдента. Дополнительное преимущество — нетребуется равенства дисперсий D(X)=D(Y). Распределение статистики Т не являетсяраспределением Стьюдента, однако и распределение статистики t, как показановыше, не является таковым в реальных ситуациях.

Распределениестатистики Т при объемах выборок т=п=6, 8, 10, 12 и различных функцияхраспределений выборок F(x) и G(x) изучено нами совместно с Ю.Э. Камнем и Я.Э.Камнем методом статистических испытаний (Монте-Карло). Рассмотрены различныеварианты функций распределения F(x) и G(x). Результаты показывают, что даже притаких небольших объемах выборок точность аппроксимации предельным стандартнымнормальным распределением вполне удовлетворительна. Поэтому представляетсяцелесообразным во всех тех случаях, когда в настоящее время используетсякритерий Стьюдента, заменить его на критерий Крамера-Уэлча. Конечно, такаязамена потребует переделки ряда нормативно-технических и методическихдокументов, исправления учебников и учебных пособий для вузов.

Пример.Пусть объем первой выборки />Для второй выборки />Вычислим величинустатистики Крамера-Уэлча

Посколькуполученное значение по абсолютной величине меньше 1,96, то гипотезаоднородности математических ожиданий принимается на уровне значимости 0,05.

Непараметрическиеметоды проверки однородности. В большинстве экономических итехнико-экономических задач представляет интерес не проверка равенстваматематических ожиданий или иных характеристик распределения, а обнаружениеразличия генеральных совокупностей, из которых извлечены выборки, т.е. проверкагипотезы H0. Методы проверки гипотезы H0позволяютобнаружить не только изменение математического ожидания, но и любые иныеизменения функции распределения результатов наблюдений при переходе от однойвыборки к другой (увеличение разброса, появление асимметрии и т. д.). Какустановлено выше, методы, основанные на использовании статистик t Стьюдента и ТКрамера-Уэлча, не позволяют проверять гипотезу H0. Априорноепредположение о принадлежности функций распределения F(x) и G(x) к какому-либоопределенному параметрическому семейству (например, семействам нормальных,логарифмически нормальных, распределений Вейбулла-Гнеденко, гамма-распределенийи др.), как показано выше, обычно нельзя достаточно надежно обосновать. Поэтомудля проверки H0следует использовать методы, пригодные при любомвиде F(x) и G(x), т.е. непараметрические методы. (Термин «непараметрическийметод» означает, что при использовании этого метода нет необходимостипредполагать, что функции распределения результатов наблюдений принадлежаткакому-либо определенному параметрическому семейству.)

Дляпроверки гипотезы H0 разработано много непараметрических методов — критерии Смирнова, типа омега-квадрат (Лемана-Розенблатта), Вилкоксона(Манна-Уитни), Ван-дер-Вардена, Сэвиджа, хи-квадрат и др. [8, 9, 13].Распределения статистик всех этих критериев при справедливости H0независят от конкретного вида совпадающих функций распределения F(x)ºG(x).Следовательно, таблицами точных и предельных (при больших объемах выборок)распределений статистик этих критериев и их процентных точек [8, 9] можнопользоваться при любых непрерывных функциях распределения результатовнаблюдений.

Какимиз непараметрических критериев пользоваться? Как известно[10], для выбора одного из нескольких критериев необходимо сравнить ихмощности, определяемые видом альтернативных гипотез. Сравнению мощностейкритериев посвящена обширная литература.

Хорошоизучены свойства критериев при альтернативной гипотезе сдвига

H1c: G(x)=F(x-d), d¹0.

КритерииВилкоксона, Ван-дер-Вардена и ряд других ориентированы для применения именно вэтой ситуации. Если m раз измеряют характеристику одного объекта и п раз — другого, а функция распределения погрешностей измерения произвольна, но неменяется при переходе от объекта к объекту (это более жесткое требование, чемусловие равенства дисперсий), то рассмотрение гипотезы H1cоправдано. Однако в большинстве экономических и технико-экономическихисследований нет оснований считать, что функции распределения, соответствующиевыборкам, различаются только сдвигом.

Какие гипотезы можно проверять с помощью двухвыборочногокритерия Вилкоксона?

Покажем(и это — основной результат настоящего пункта), что двухвыборочный критерийВилкоксона (в литературе его называют также критерием Манна-Уитни) предназначендля проверки гипотезы

H0: P(X < Y) = 1/2,

гдеX — случайная величина, распределенная как элементы первой выборки, а Y — второй.

Вописанной выше вероятностной модели двух независимых выборок без ограниченияобщности можно считать, что объем первой из них не превосходит объема второй, m< n, в противном случае выборки можно поменять местами. Обычнопредполагается, что функции F(x) и G(x) непрерывны и строго возрастают. Изнепрерывности этих функций следует, что с вероятностью 1 все m + n результатовнаблюдений различны. В реальных эконометрических данных иногда встречаютсясовпадения, но сам факт их наличия — свидетельство нарушений предпосылок толькочто описанной базовой математической модели.

СтатистикаS двухвыборочного критерия Вилкоксона определяется следующим образом. Всеэлементы объединенной выборки X1, X2, ..., Xm, Y1, Y2, ..., Yn упорядочиваютсяв порядке возрастания. Элементы первой выборки X1, X2, ..., Xm занимают в общемвариационном ряду места с номерами R1, R2, ..., Rm, другими словами, имеютранги R1, R2, ..., Rm. Тогда статистика Вилкоксона — это сумма ранговэлементов первой выборки

S= R1 + R2 +… + Rm.

СтатистикаU Манна-Уитни определяется как число пар (Xi, Yj) таких, что Xi < Yj, средивсех mn пар, в которых первый элемент — из первой выборки, а второй — извторой. Как известно [13, с.160],

U= mn + m(m+1)/2 — S .

ПосколькуS и U линейно связаны, то часто говорят не о двух критериях — Вилкоксона иМанна-Уитни, а об одном — критерии Вилкоксона (Манна-Уитни).

КритерийВилкоксона — один из самых известных инструментов непараметрической статистики(наряду со статистиками типа Колмогорова-Смирнова и коэффициентами ранговойкорреляции). Свойствам этого критерия и таблицам его критических значенийуделяется место во многих монографиях по математической и прикладной статистике(см., например, [8, 9, 13]).

Однаков литературе имеются и неточные утверждения относительно возможностей критерияВилкоксона. Так, одни полагают, что с его помощью можно обнаружить любоеразличие между функциями распределения F(x) и G(x). По мнению других, этоткритерий нацелен на проверку равенства медиан распределений, соответствующихвыборкам. И то, и другое, строго говоря, неверно. Это будет ясно из дальнейшегоизложения.

Введемнекоторые обозначения. Пусть F-1(t) — функция, обратная к функции распределенияF(x). Она определена на отрезке [0;1]. Положим L(t) = G(F-1(t)). Поскольку F(x)непрерывна и строго возрастает, то F-1(t) и L(t) обладают теми же свойствами.Важную роль в дальнейшем изложении будет играть величина a = P(X< Y). Какнетрудно показать,

Введемтакже параметры

Тогдаматематические ожидания и дисперсии статистик Вилкоксона и Манна-Уитни согласно[13, с.160] выражаются через введенные величины:

М(U)= mna, М(S)= mn + m(m+1)/2 — М(U)= mn(1- a) + m(m+1)/2,

D(S) = D(U) = mn [ (n — 1) b2 + (m — 1) g2 + a(1 -a)]. (1)

Когдаобъемы обеих выборок безгранично растут, распределения статистик Вилкоксона иМанна-Уитни являются асимптотически нормальными (см., например, [13, гл.5 и 6])с параметрами, задаваемыми формулами (1).

Есливыборки полностью однородны, т.е. их функции распределения совпадают,справедлива гипотеза

H0:F(x) = G(x) при всех x, (2)

тоL(t) = t и a= 1/2. Подставляя в формулы (1), получаем, что

М(S)= m(m+n+1)/2, D(S) = mn(m+n+1)/ 12 (3) .

Следовательно,распределение нормированной и центрированной статистики Вилкоксона

T= ( S — m(m+n+1)/2) (mn(m+n+1)/ 12 ) — 1/2 (4)

приросте объемов выборок приближается к стандартному нормальному распределению (сматематическим ожиданием 0 и дисперсией 1).

Изасимптотической нормальности статистики Т следует, что правило принятия решениядля критерия Вилкоксона выглядит так:

- если|T|</>тогипотеза (2) однородности (тождества) функций распределений принимается науровне значимости />

- еслиже |T|>/>тогипотеза (2) однородности (тождества) функций распределений отклоняется науровне значимости />.

Вэконометрике наиболее часто применяется уровень значимости /> Тогда значение модулястатистики Т Вилкоксона надо сравнивать с граничным значением/>

Пример1.Пусть даны две выборки. Первая содержит m= 12 элементов 17; 22; 3; 5; 15; 2; 0;7; 13; 97; 66; 14. Вторая содержит n=14 элементов 47; 30; 2; 15; 1; 21; 25; 7;44; 29; 33; 11; 6; 15. Проведем проверку однородности функций распределениядвух выборок с помощью только что сформулированного правила принятия решений наоснове критерия Вилкоксона.

Первымшагом является построение общего вариационного ряда для элементов двух выборок(табл.1).

Табл.1.Общий вариационный ряд для элементов двух выборок

Ранги 1 2 3,5 3,5 5 6 7 8,5 8,5 10 11 12 14 Элементы выборок 1 2 2 3 5 6 7 7 11 13 14 15 Номера выборок 1 2 1 2 1 1 2 1 2 2 1 1 1 Ранги 14 14 16 17 18 19 20 21 22 23 24 25 26 Элементы выборок 15 15 17 21 22 25 29 30 33 44 47 66 97 Номера выборок 2 2 1 2 1 2 2 2 2 2 2 1 1

Хотяс точки зрения теории математической статистики вероятность совпадения двухэлементов выборок равна 0, в реальных выборках экономических данных совпадениявстречаются. Так, в рассматриваемых выборках, как видно из табл.1, два разаповторяется величина 2, два раза — величина 7 и три раза — величина 15. В такихслучаях говорят о наличии «связанных рангов», а соответствующимсовпадающим величинам приписывают среднее арифметическое тех рангов которые онизанимают. Так, величины 2 и 2 занимают в объединенной выборке места 3 и 4,поэтому им приписывается ранг (3+4)/2=3,5. Величины 7 и 7 занимают в объединеннойвыборке места 8 и 9, поэтому им приписывается ранг (8+9)/2=8,5. Величины 15, 15и 15 занимают в объединенной выборке места 13, 14 и 15, поэтому имприписывается ранг (13+14+15)/3=14.

Следующийшаг — подсчет значения статистики Вилкоксона, т.е. суммы рангов элементовпервой выборки

S= R1 + R2 +… + Rm = 1+3,5+5+6+8,5+11+12+14+16+18+25+26=146.

Подсчитаемтакже сумму рангов элементов второй выборки

S1=2+3,5+7+8,5+10+14+14+17+19+20+21+22+23+24= 205.

ВеличинаS1можетбытьиспользована для контроля вычислений. Дело в том, что суммы рангов элементовпервой выборки S и второй выборки S1 вместесоставляют сумму рангов объединенной выборки, т.е. сумму всех натуральных чиселот 1 до m+n. Следовательно,

S+S1= (m+n)(m+n+1)/2= (12+14)(12+14+1)/2= 351.

Всоответствии с ранее проведенными расчетами S+S1= 146+205=351. Необходимое условие правильностирасчетов выполнено. Ясно, что справедливость этого условия не гарантируетправильности расчетов.

Перейдемк расчету статистики Т. Согласно формуле (3)

М(S)= 12(12+14+1)/ 2 = 162, D(S) = 12.14(12+14+1)/ 12= 378 .

Следовательно,

T= ( S — 162) (378 ) — 1/2 = (146-162) / 19,44 = — 0.82.

Поскольку|T|<1,96, то гипотеза однородности принимается на уровне значимости0,05.

Чтобудет, если поменять выборки местами, вторую назвать первой? Тогда вместо S надорассматривать S1.Имеем

М(S1) = 14(12+14+1)/ 2 = 189, D(S) = D(S1) = 378 ,

T1= ( S1 — 189) (378 ) — 1/2= (205-162) / 19,44 = 0.82.

Такимобразом, значения статистики критерия отличаются только знаком (можно показать,что это утверждение верно всегда). Поскольку в правиле принятия решенияиспользуется только абсолютная величина статистики, то принимаемое решение независит от того, какую выборку считаем первой, а какую второй. Для уменьшенияобъема таблиц принято считать первой выборку меньшего объема.

Продолжимобсуждение критерия Вилкоксона. Правила принятия решений и таблица критическихзначений для критерия Вилкоксона строятся в предположении справедливостигипотезы полной однородности, описываемой формулой (2). А что будет, если этагипотеза неверна? Другими словами, какова мощность критерия Вилкоксона?

Пустьобъемы выборок достаточно велики, так что можно пользоваться асимптотическойнормальностью статистики Вилкоксона. Тогда в соответствии с формулами (1)статистика T будет асимптотически нормальна с параметрами

М(T)= ( 12mn ) 1/2 (1/2 — a) (m+n+1) — 1/2 ,

D(T) = 12 [(n — 1) b2 + (m — 1) g2 + a(1 -a) ](m+n+1) — 1. (5)

Изформул (5) видно большое значение гипотезы

H01:a = P(X < Y) = 1/2. (6)

Еслиэта гипотеза неверна, то, поскольку m < n, справедлива оценка

|M(T)|> (12m n (2n+1) — 1) 1/2 |1/2 — a| ,

апотому |E(T)| безгранично растет при росте объемов выборок. В то же время,поскольку

то

D(T)< 12 [(n — 1) + (m — 1) + 1/4] (m+n+1) — 1 <12.(7)

Следовательно,вероятность отклонения гипотезы H01, когда она неверна, т.е. мощность критерия Вилкоксона как критерия проверкигипотезы (6), стремится к 1 при возрастании объемов выборок, т.е. критерийВилкоксона является состоятельным для этой гипотезы при альтернативе

АH01:a = P(X < Y) /> 1/2.(8) .

Еслиже гипотеза (6) верна, то статистика T асимптотически нормальна сматематическим ожиданием 0 и дисперсией, определяемой формулой

D(T)= 12 [(n — 1) b2 + (m — 1) g2 + 1/4 ] (m+n+1) -1.(9)

Гипотеза(6) является сложной, дисперсия (9), как показывают приводимые ниже примеры, взависимости от значений b2 и g2 может быть как больше 1, так и меньше 1, носогласно неравенству (7) никогда не превосходит 12.

Приведемпример двух функций распределения F(x) и G(x) таких, что гипотеза (6)выполнена, а гипотеза (2) — нет. Поскольку

a= P(X < Y) = /> , 1 — a = P(Y < X) = /> (10)

иa = 1/2 в случае справедливости гипотезы (2), то для выполнения условия (6)необходимо и достаточно, чтобы

/> (11),

апотому естественно в качестве F(x) рассмотреть функцию равномерногораспределения на интервале (-1; 1). Тогда формула (11) переходит в условие

/> (11).

Этоусловие выполняется, если функция (G(x) — (x + 1)/2 ) является нечетной.

Пример2.Пустьфункции распределения F(x) и G(x) сосредоточены на интервале (-1; 1), накотором

F(x)= (x + 1)/2, G(x) = ( x + 1 + 1//>sin/>x ) / 2 .

Тогда

x=F-1(t)=2-1, L(t)=G(F-1(t))=(2t+1//>sin/>(2t-1))/2=t+1/2/>sin/>(2t-1) .

Условие(11) выполнено, поскольку функция (G(x) — (x + 1)/2) является нечетной.Следовательно, a = 1/2. Начнем с вычисления

g2= /> - 1/4 =/>

Поскольку

то

Спомощью замены переменных t = (x +1) / 2 получаем, что

Вправой части последнего равенства стоят табличные интегралы (см., например,справочник [14, с.71]. Проведя соответствующие вычисления, получаем, что вправой части стоит 1/8 ( — 4/ />2) = — 1/(2 />2). Следовательно,

g2= 1/12 — 1/(2 />2) = 0,032672733...

Перейдемк вычислению b2. Поскольку

то

Спомощью замены переменных t = (x+1)/2 переходим к табличным интегралам (см.,например, справочник [14, с.65]):

Проведянеобходимые вычисления, получим, что

Следовательно,для рассматриваемых функций распределения нормированная и центрированнаястатистика Вилкоксона (см. формулу (4)) асимптотически нормальна сматематическим ожиданием 0 и дисперсией (см. формулу (9))

D(T)= ( 0,544 n + 0,392 m + 2,064 ) (m+n+1) — 1.

Каклегко видеть, дисперсия всегда меньше 1. Это значит, что в рассматриваемомслучае гипотеза полной однородности (2) при проверке с помощью критерияВилкоксона будет приниматься чаще, чем если она на самом деле верна.

Нанаш взгляд, это означает, что критерий Вилкоксона нельзя считать критерием дляпроверкигипотезы (2) при альтернативе общего вида. Он не всегда позволяет проверитьоднородность — не при всех альтернативах. Точно так же критерии типа хи-квадратнельзя считать критериями проверки гипотез согласия и однородности — онипозволяют обнаружить не все различия, поскольку некоторые из них«скрадывает» группировка.

Обсудимтеперь, действительно ли критерий Вилкоксона нацелен на проверку равенствамедиан распределений, соответствующих выборкам.

Пример3.Построимсемейство пар функций распределения F(x) и G(x) таких, что их медианы различны,но для F(x) и G(x) выполнена гипотеза (6). Пусть распределения сосредоточены наинтервале (0; 1), и на нем G(x) = x, а F(x) имеет кусочно-линейный график свершинами в точках (0; 0), (/>, 1/2 ), (/>, 3/4), (1; 1). Следовательно,

F(x)=0 при x < 0 ;

F(x)= x / (2 />)на [0; />) ;

F(x)= 1/2 + (x — />) / (4 /> - 4 />) на [/>; />) ;

F(x)= 3/4 + (x — /> ) / (4 — 4 />) на [/>; 1] ;

F(x)= 1 при x > 1.

Очевидно,что медиана F(x) равна />, а медиана G(x) равна 1/2 .

Согласносоотношению (9) для выполнения гипотезы (6) достаточно определить /> как функцию /> , /> = /> (/>), из условия

Вычислениядают

/> = />(/>) = 3 (1 — />)/2 .

Учитывая,что /> лежитмежду /> и1, не совпадая ни с тем, ни с другим, получаем ограничения на />, а именно, 1/3 < /> < 3/5.Итак, построено искомое семейство пар функций распределения.

Пример4.Пусть,как и в примере 3, распределения сосредоточены на интервале (0; 1), и на нем F(x)=x,а G(x) — функция распределения, сосредоточенного в двух точках — /> и 1, т.е. G(x) = 0 при x,не превосходящем />; G(x) = h на (/>; 1]; G(x) = 1 при x> 1. С такой функцией G(x) легко проводить расчеты. Однако она не удовлетворяетпринятым выше условиям непрерывности и строгого возрастания. Вместе с тем легковидеть, что она является предельной (сходимость в каждой точке отрезка [0; 1]) для последовательности функций распределения, удовлетворяющих этим условиям,а распределение статистики Вилкоксона для пары функций распределения примера 4является предельным для последовательности соответствующих распределенийстатистики Вилкоксона, полученных в рассматриваемых условиях непрерывности истрогого возрастания.

УсловиеP(X < Y) = 1/2 выполнено, если h = (1 -/>)-1 / 2 (при /> из отрезка [0; 1/2] ).Поскольку h > 1/2 при положительном />, то очевидно, что медиана G(x)равна />, вто время как медиана F(x) равна 1/2. Значит, при /> = 1/2 медианы совпадают, при всехиных положительных /> — различны. При /> = 0 медианой G(x)является любая точка из отрезка [0; 1].

Легкоподсчитать, что в условиях примера 4 параметры предельного распределения имеютвид

b2= />(1- />)-1 / 4, g2 =(1- 2/>) / 4.

Следовательно,распределение нормированной и центрированной статистики Вилкоксона будетасимптотически нормальным с математическим ожиданием 0 и дисперсией

D(T)= 3 [(n-1) />(1- />)-1 + (m-1) (1-2/>) + 1] (m+n+1) — 1.

Проанализируемвеличину D(T) в зависимости от параметра /> и объемов выборок m и n. Придостаточно больших m и n

D(T)= 3 w /> (1- />)-1 + 3(1 — w) (1 — 2 />) ,

сточностью до величин порядка (m+n)-1, где w= n/(m+n). Значит, D(T) — линейнаяфункция от w, а потому достигает экстремальных значений на границах интервалаизменения w, т.е. при w = 0 и w = 1. Легко видеть, что при />(1-/>)-1 <1-2/>минимум равен3/>(1-/>)-1 (при w =1), а максимум равен 3(1 — 2/>) (при w = 0). В случае />(1-/>)-1 >1-2/>максимум равен3/>(1-/>)-1 (при w =1), а минимум равен 3(1 — 2/>) (при w = 0). Если же />(1-/>)-1 =1-2/>(это равенствосправедливо при />=/>0= 1 — 2-1/2 = 0,293), то D(T)=3 (21/2-1)=1,2426… при всех w из отрезка [0;1].

Первыйиз описанных выше случаев имеет быть при /> < />0, при этом минимум D(T) возрастает от 0 (при />=0, w=1 — предельный случай) до3(21/2 — 1) (при />=/>0, w — любом), а максимум уменьшается от 3 (при />=0, w=0 — предельный случай) до 3(21/2 — 1) (при />=/>0, w — любом). Второй случай относится к /> из интервала (/>0; 1/2]. При этомминимум убывает от приведенного выше значения для />=/>0 до 0 (при />=1/2, w=0 — предельныйслучай), а максимум возрастает от того же значения при />=/>0до 3 (при />=1/2, w=0).

Такимобразом, D(T) может принимать все значения из интервала (0; 3) в зависимостиот значений /> иw. Если D(T) < 1, то при применении критерия Вилкоксона к выборкам срассматриваемыми функциями распределения гипотеза однородности (2) будетприниматься чаще (при соответствующих значениях /> и w — с вероятностью, скольугодно близкой к 1), чем если бы она самом деле была верна. Если 1<D(T)<3,то гипотеза (2) также принимается достаточно часто. Так, если уровеньзначимости критерия Вилкоксона равен 0,05, то (асимптотическая) критическаяобласть этого критерия, как показано выше, имеет вид {T: |T| > 1,96}. Если — самый плохой случай — D(T)=3, то гипотеза (2) принимается с вероятностью0,7422.

Гипотезасдвига.При проверке гипотезы однородности мы рассмотрели различные виды нулевых иальтернативных гипотез — гипотезу (2) и ее отрицание в качестве альтернативы,гипотезу (6) и ее отрицание, гипотезы о равенстве или различии медиан. Втеоретических работах по математической статистике часто рассматривают гипотезусдвига, в которой альтернативой гипотезе (2) является гипотеза

H1:F(x) = G(x + r) (12)

привсех x и некотором сдвиге r, отличным от 0. Если верна альтернативная гипотеза H1,то вероятность P(X < Y) отлична от 1/2, а потому при альтернативе (12)критерий Вилкоксона является состоятельным.

Внекоторых прикладных постановках гипотеза (12) представляется естественной.Например, если одним и тем же прибором проводятся две серии измерений двухзначений некоторой величины (физической, химической и т.п.). При этом функцияраспределения G(x) описывает погрешности измерения одного значения, а G(x+r) — другого. Вопреки распространенному заблуждению, хорошо известно, чтораспределение погрешностей измерений, как правило, не является нормальным — см.об этом начало главы. Однако при анализе конкретных экономических данных какправило, нет никаких оснований считать, что отсутствие однородности всегдавыражается столь однозначным образом, как следует из формулы (12). Поэтомуэконометрику для проверки однородности необходимо использовать статистическиекритерии, состоятельные против любого отклонения от гипотезы однородности (2).

Почемуже математики так любят гипотезу сдвига (12)? Да потому, что она даетвозможность доказывать глубокие математические результаты, например, обасимптотической оптимальности критериев. К сожалению, с точки зренияэконометрики это напоминает поиск ключей под фонарем, где светло, а не там, гдеони потеряны.

Отметимеще одно обстоятельство. Часто говорят (в соответствии с классическим подходомматематической статистики), что нельзя проверять нулевые гипотезы безрассмотрения альтернативных. Однако при эконометрическом анализе данныхзачастую полностью ясна формулировка той гипотезы, которую желательно проверить(например, гипотезы полной однородности — см. формулу (2)), в то время какформулировка альтернативной гипотезы не очевидна (то ли это гипотеза оневерности равенства (2) хотя бы для одного значения x, то ли это альтернатива(8), то ли — альтернатива сдвига (12), и т.д.). В таких случаях целесообразно«обернуть» задачу — исходя из статистического критерия найтиальтернативы, относительно которых он состоятелен. Именно это и проделано внастоящей пункте для критерия Вилкоксона.

Подведемитоги рассмотрения критерия Вилкоксона.

1.Критерий Вилкоксона (Манна-Уитни) является одним из самых распространенныхнепараметрических ранговых критериев, используемых для проверки однородностидвух выборок. Его значение не меняется при любом монотонном преобразованиишкалы измерения (т.е. он пригоден для эконометрического анализа данных,измеренных в порядковой шкале).

2.Распределение статистики критерия Вилкоксона определяется функциямираспределения F(x) и G(x) и объемами m и n двух выборок. При больших объемахвыборок распределение статистики Вилкоксона является асимптотически нормальнымс параметрами, выписанными выше ( см. формулы (1), (3) и (5)).

3.При альтернативной гипотезе, когда функции распределения выборок F(x) и G(x) несовпадают, распределение статистики Вилкоксона зависит от величины a = P(X <Y). Если a отличается от 1/2, то мощность критерия Вилкоксона стремится к 1, иотличает нулевую гипотезу F = G от альтернативной. Если же a = 1/2, то это невсегда имеет место. В примере 2 приведены две различные функции распределениявыборок F(x) и G(x) такие, что гипотеза однородности F = G при проверке спомощью критерия Вилкоксона будет приниматься чаще, чем если она на самом делеверна.

4.Следовательно, в случае общей альтернативы критерий Вилкоксона не являетсясостоятельным, т.е. не всегда позволяет обнаружить различие функцийраспределения. Однако это не лишает его практической ценности, точно так же,как несостоятельность критериев типа хи-квадрат при проверке согласия,независимости или однородности не мешает отклонять нулевую гипотезу во многихпрактически важных случаях. Однако принятие нулевой гипотезы с помощью критерияВилкоксона может означать не совпадение F и G, а лишь выполнение равенства a =1/2.

5.Иногда утверждают, что с помощью критерия Вилкоксона можно проверять равенствомедиан функций распределения F и G. Это не так. В примерах 3 и 4 указаны F и Gс a = 1/2, но с различными медианами. Во многих случаях это различие нельзяобнаружить с помощью критерия Вилкоксона, как это показано при численноманализе асимптотической дисперсии в примере 4.

6.Указанные выше недостатки критерия Вилкоксона исчезают для специального видаальтернативы — т.н. «альтернативы сдвига» H1: F(x) = G(x + r). В этомчастном случае при справедливости альтернативной гипотезы мощность стремится к1, различие медиан также всегда обнаруживается. Однако альтернатива сдвига невсегда естественна. Ее целесообразно принять, если одним и тем же приборомпроводятся две серии измерений двух значений некоторой величины (физической,химической и т.п.). При этом функция распределения G(x) описывает результатыизмерений с погрешностями одного значения, а F(x) = G(x+r) — другого. Другимисловами, меняется лишь измеряемое значение, а собственно распределениепогрешностей — одно и то же, присущее используемому средству измерения (иобычно описанное в его техническом паспорте). Однако в большинствеэконометрических исследований нет никаких оснований считать, что приальтернативе функция распределения второй выборки лишь сдвигается, но неменяется каким-либо иным образом.

7.При всех своих недостатках критерий Вилкоксона прост в применении и частопозволяет обнаруживать различие групп (поскольку оно часто сводится к отличию a= P(X < Y) от 1/2 ). Приведенные здесь критические замечания не следуетпонимать как призыв к полному отказу от использования критерия Вилкоксона.Однако для проверки гипотезы однородности в случае альтернативы общего видаможно порекомендовать состоятельные критерии, в частности, рассматриваемые вследующем пункте критерии Смирнова и типа омега-квадрат (Лемана-Розенблатта).

8.В литературе по прикладным статистическим методам соседствуют два стиляизложения. Один из них исходит из формулировок нулевой и альтернативных гипотез(или описания набора гипотез, из которого надо выбрать наиболее адекватную),для проверки которых строятся те или иные критерии. При другом стиле изложенияупор делается на алгоритмическое описание критериев для проверки тех или иныхгипотез, а об альтернативах даже не упоминается.

Например,в литературе по математической статистике часто говорится, что для проверкинормальности используются критерии асимметрии и эксцесса (они описаны,например, в лучшем справочнике 1960-1980-х годов [8, табл. 4.7]). Однако этикритерии позволяют проверять некоторые соотношения между моментамираспределения, но отнюдь не являются состоятельными критериями нормальности (невсе отклонения от нормальности обнаруживают). Впрочем, для эконометрики этикритерии практического значения не имеют, поскольку заранее известно, чтораспределения конкретных экономических данных отличны от нормальных.

Такчто недостатки критерия Вилкоксона не является исключением, мощность ряда иныхпопулярных в математической статистике критериев заслуживает тщательногоизучения, при этом заранее можно сказать, что зачастую они не позволяютпроверять те гипотезы, с которыми традиционно связаны. При применении подобныхкритериев к анализу реальных данных необходимо тщательно взвешивать ихдостоинства и недостатки.

Состоятельные критерии проверки однородности длянезависимых выборок

Всоответствии с эконометрической теорией естественно потребовать, чтобырекомендуемый для массового использования в экономических итехнико-экономических исследованиях критерий однородности был состоятельным.Напомним: это значит, что для любых отличных друг от друга функцийраспределения F(x) и G(x) (другими словами, при справедливости альтернативнойгипотезы H1) вероятность отклонения гипотезы H0должнастремиться к 1 при увеличении объемов выборок т и п. Из перечисленных выше вконце п.4 критериев состоятельными являются только критерии Смирнова и типаомега-квадрат.

Проведенноеисследование мощности (методом статистических испытаний) первых четырех изперечисленных выше критериев (при различных вариантах функций распределения F(x)и G(x)) подтвердило преимущество критериев Смирнова и омега-квадрат и приобъемах выборок 6-12.

КритерийСмирнова однородности двух выборок. Он предложенчленом-корреспондентом АН СССР Н.В. Смирновым в 1939 г. (см. справочник [8]).Единственное ограничение — функции распределения F(x) и G(x) должны бытьнепрерывными. Напомним, что согласно Л.Н. Большеву и Н.В. Смирнову [8] значениеэмпирической функции распределения в точке х равно доле результатов наблюденийв выборке, меньших х. Критерий Смирнова основан на использовании эмпирическихфункций распределения Fm(x) и Gn(x), построенных попервой и второй выборкам соответственно. Значение статистики Смирнова

сравниваютс соответствующим критическим значением (см., например, [8]) и по результатамсравнения принимают или отклоняют гипотезу Н0 о совпадении(однородности) функций распределения. Практически значение статистики Dm, прекомендуется согласно монографии [8] вычислять по формулам

/>,

гдеx'1<x'2<…<x'm — элементы первойвыборки x1,x2,…,xm, переставленные в порядкевозрастания, а y'1<y'2<…<y'n — элементы второй выборки y1,y2,…,yn, такжепереставленные в порядке возрастания.

Разработаныалгоритмы и программы для ЭВМ, позволяющие рассчитывать точные распределения,процентные точки и достигаемый уровень значимости для двухвыборочной статистикиСмирнова />,разработаны подробные таблицы (см., например, методику [15], содержащую текстыпрограмм и подробные таблицы).

Однакоу критерия Смирнова есть и недостатки. Его распределение сосредоточено всравнительно небольшом числе точек, поэтому функция распределения растетбольшими скачками. В результате не удается выдержать заданный уровеньзначимости, реальный уровень значимости может в несколько раз отличаться отноминального (подробному обсуждению неклассического феномена существенногоотличия реального уровня значимости от номинального посвящена работа [16]).

Критерийтипа омега-квадрат (Лемана-Розенблатта). Статистика критериятипа омега-квадрат для проверки однородности двух независимых выборок имеетвид:

A = />Fm(x) – Gn(x))2dHm+n(x) ,/>

гдеHm+n(x) – эмпирическая функция распределения, построенная пообъединенной выборке,

Hm+n(x) = />Fm(x) + /> Gn(x) .

СтатистикаA типа омега-квадрат была предложена Э. Леманом в 1951 г., изучена М.Розенблаттом в 1952 г., а затем и другими исследователями. Она зависит лишь отрангов элементов двух выборок в объединенной выборке. Пусть /> — первая выборка, />-соответствующий вариационный ряд, />-вторая выборка, /> — вариационный ряд,соответствующий второй выборке. Поскольку функции распределения независимыхвыборок непрерывны, то с вероятностью 1 все выборочные значения различны,совпадения отсутствуют. Статистика А представляется в виде (см., например,[8]):

гдеri — ранг x'i и sj — ранг y'j вобщем вариационном ряду, построенном по объединенной выборке.

Правилапринятия решений при проверке однородности двух выборок на основе статистикСмирнова и типа омега-квадрат, т.е. таблицы критических значений в зависимостиот уровней значимости и объемов значимости приведены, например, в таблицах [8].

Рекомендациипо выбору критерия однородности. Для критерия типаомега-квадрат нет выраженного эффекта различия между номинальными и реальнымиуровнями значимости. Поэтому мы рекомендуем для проверки однородности функцийраспределения (гипотеза H0) применять статистику А типаомега-квадрат. Если методическое, табличное или программное обеспечение длястатистики Лемана-Розенблатта отсутствует, рекомендуем использовать критерийСмирнова. Для проверки однородности математических ожиданий (гипотеза H'0)целесообразно применять критерий Крамера-Уэлча.По нашему мнению,статистики Стьюдента, Вилкоксона и др. допустимо использовать лишь в отдельныхчастных случаях, рассмотренных выше.

Некоторыесоображения о внедрении современных методов прикладной статистики в практикутехнических и технико-экономических исследований. Даже изпроведенного выше разбора лишь одной из типичных статистических задач — задачипроверки однородности двух выборок — можно сделать вывод о целесообразностиширокого развертывания в организациях различных форм собственности работ покритическому анализу сложившейся в технических и технико-экономическихисследованиях практики статистической обработки данных и по внедрению накопленногоарсенала современных методов прикладной статистики. По нашему мнению, широкоговнедрения заслуживают, в частности, методы многомерного статистическогоанализа, планирования эксперимента, статистики объектов нечисловой природы.Очевидно, рассматриваемые работы должны быть плановыми, организационнооформленными, проводиться мощными самостоятельными организациями иподразделениями. Целесообразно создание службы статистических консультаций всистеме научно-исследовательских учреждений и вузов технического итехнико-экономического профиля.

Методы проверки однородностидля связанных выборок

Начнем с практического примера. Приведем письмо главногоинженера подмосковного химического комбината (некоторые названия изменены).

«Директору Института высоких статистическихтехнологий и эконометрики (Фамилия, имя, отчество)

Наш комбинат выпускает мастику по ГОСТ (следует номер) иявляется разработчиком указанного стандарта.

В результате исследовательских работ по подборустандартного метода определения вязкости мастики на комбинате накоплен большойопыт сравнительных данных определения вязкости по двум методам:

— неразбавленной мастики — на нестандартном приборефабрики им. Петрова;

— раствора мастики — на стандартном вискозиметре ВЗ-4.

Учитывая высокую компетентность сотрудников Вашегоинститута, прошу Вас, в порядке оказания технической помощи нашему предприятию,поручить соответствующей лаборатории провести обработку представленнойстатистики современными эконометрическими методами и выдать заключение оналичии (или отсутствии) зависимости между указанными выше методами определениявязкости мастики. Ваш5е заключение необходимо для решения спорного вопроса оцелесообразности вновь ввести в ГОСТ (следует номер) метода определениявязкости мастики по вискозиметру ВЗ-4, который, по мнению некоторыхпотребителей, был необоснованно исключен из этого ГОСТ по изменению № 1.

Заранее благодарю Вас за оказанную помощь.

Приложение: статистика на 3 листах.

Главный инженер (Подпись) (Фамилия, имя, отчество)»

Комментарий.Вязкость мастики — один из показателей качества мастики. Измерять этотпоказатель можно по-разному. И, как оказалось, разные способы измерения даютразные результаты. Ничего необычного в этом нет. Однако поставщику ипотребителю следует согласовать способы измерения показателей качества. Иначедостаточно часто поставщик (производитель) будет утверждать, что он выполнилусловия контракта, а потребитель заявлять, что нет. Такая конфликтная ситуацияиногда называется арбитражной, поскольку для ее решения стороны могутобращаться в арбитражный суд. Простейший метод согласования способов измеренияпоказателей состоит в том, чтобы выбрать один из них и внести в государственныйстандарт, который тем самым будет содержать не только описание продукции,перечень ее показателей качества и требований к ним, но и способы измеренияэтих показателей.

Заключение по статистическим данным, представленнымхимическим комбинатом. Для каждой из 213партий мастики представлены два числа — результат измерения вязкости нанестандартном приборе фабрики им. Петрова и результат измерения вязкости настандартном вискозиметре ВЗ-4. Требуется установить, дают ли два указанныхметода сходные результаты. Если они дают сходные результаты, то нетнеобходимости вводить в соответствующий ГОСТ указание о методе определениявязкости. Если же методы дают существенно различные результаты, то подобноеуказание ввести необходимо.

Для применения эконометрических методов врассматриваемой задаче необходимо описать вероятностную модель. Считаем, чтостатистические данные имеют вид /> где xi-результатизмерения на нестандартном приборе фабрики им. Петрова в i-ой партии, а yi- результатизмерения вязкости на стандартном вискозиметре ВЗ-4 в той же i-ой партии. Пусть ai- истинноезначение показателя качества в i-ой партии. Естественно считать, что указанные вышеслучайные вектора независимы в совокупности. При этом они не являются одинаковораспределенными, поскольку отличаются истинными значениями показателей качестваai. Принимаем, что при каждом i случайные величины xi — aiи yi — ai независимы и одинаково распределены. Этоусловие и означает однородность в связанных выборках. Параметры связи — величины ai. Их наличие не позволяет объединить первыекоординаты в одну выборку, вторую — во вторую, как делалось в случае проверкиоднородности двух независимых выборок.

В предположении непрерывности функций распределения изусловия однородности в связанных выборках вытекает, что

Рассмотрим случайные величины /> Из последнего соотношениявытекает, что при справедливости гипотезы однородности для связанных выборокэти случайные величины имеют нулевые медианы. Другими словами, проверка того,что метода измерения вязкости дают схожие результаты, эквивалентна проверкеравенства 0 медиан величин Zi.

Для проверки гипотезы о том, что медианы величин Ziнулевые, применим широко известный критерий знаков (см., например, справочник[8, с.89-91]). Согласно этому критерию необходимо подсчитать, в сколькихпартиях />ив скольких />.Для представленных химическим комбинатом данных /> в 187 случаях из 213 и /> в 26 случаяхиз 213.

Если рассматриваемая гипотеза верна, то число W осуществлений события /> имеет биномиальное распределениес параметрами p = 1/2 и n = 213. Математическое ожидание М(W)=106,5, а среднееквадратическое отклонение /> Следовательно, интервал /> - это интервал84<W<129. Найденное по данным химического комбинатазначение W=187 лежит далеко вне этого интервала. Поэтомурассматриваемую гипотезу необходимо отвергнуть (на любом используемом вприкладных работах уровне значимости, в частности, на уровне значимости 1%).

Таким образом, статистический анализ показывает, что дваметода дают существенно различные результаты — по прибору фабрики им. Петроварезультаты измерений, как правило, меньше, чем по вискозиметру ВЗ-4. Этоозначает, что в соответствующий ГОСТ целесообразно ввести указание на методопределения вязкости.

Система вероятностных моделей при проверке гипотезыоднородности для связанных выборок.Как и в случае проверки однородности для независимых выборок, системавероятностных моделей состоит из трех уровней. Наиболее простая модель — науровне однородности альтернативного признака — уже рассмотрена. Она сводится кпроверке гипотезы для биномиального распределения:

Речь идет о «критерии знаков». Присправедливости гипотезы однородности число W осуществлений события /> имеет биномиальное распределениес вероятностью успеха p = 1/2 и числом испытаний n. Альтернативная гипотезасостоит в том, что вероятность успеха отличается от 1/2:

Гипотезу p = 1/2 можно проверять как непосредственно спомощью биномиального распределения (используя таблицы или программное обеспечение),так и опираясь на теорему Муавра-Лапласа. Согласно этой теореме

привсех х, где Ф(х) — функция стандартного нормального распределения с математическиможиданием 0 и дисперсией 1. Из теоремы Муавра-Лапласа вытекает правило принятиярешений на уровне значимости 5%: если

тогипотезу однородности связанных выборок принимают, в противном случаеотклоняют. Как обычно, при желании использовать другой уровень значимостиприменяют в качестве критического значения иной квантиль нормальногораспределения. Использование предельных теорем допустимо при достаточно большихобъемах выборки. По поводу придания точного смысла термину «достаточнобольшой» продолжаются дискуссии. Обычно считается, что несколько десятков(два-три десятка) — это уже «достаточно много». Более правильносказать, что ответ зависит от задачи, от ее сложности и практическойзначимости.

Второйуровень моделей проверки однородности связанных выборок — это уровень проверкиоднородности характеристик, прежде всего однородности математических ожиданий.Исходные данные — количественные результаты измерений (наблюдений, испытаний,анализов, опытов) двух признаков хjиуj,j = 1,2,…,n,а непосредственно анализируются их разности Zj=хj-уj, j = 1,2,…,n.Предполагается, что эти разности независимы в совокупности и одинаковораспределены, однако функция распределения неизвестна эконометрику. Необходимопроверить непараметрическую гипотезу

Альтернативнаягипотеза также является непараметрической и имеет вид:

/>/>

Каки в случае проверки гипотезы согласованности для независимых выборок с помощьюкритерия Крамера-Уэлча, в рассматриваемой ситуации естественно использоватьстатистику

где

среднееарифметическое разностей, а

выборочноесреднее квадратическое отклонение. Из центральной Предельной Теоремы теориивероятностей и теорем о наследовании сходимости, полученных в монографии [11],вытекает, что

привсех х, где Ф(х) — функция стандартного нормального распределения сматематическим ожиданием 0 и дисперсией 1. Отсюда вытекает правило принятиярешений на уровне значимости 5%: если

тогипотезу однородности математических ожиданий связанных выборок принимают, впротивном случае отклоняют. Как обычно, при желании использовать другой уровеньзначимости применяют в качестве критического значения иной квантиль нормальногораспределения. Повторим, что использование предельных теорем допустимо придостаточно больших объемах выборки.

Третийуровень моделей проверки однородности связанных выборок — это уровень проверкиоднородности (совпадения) функций распределения. Необходимо проверитьнепараметрическую гипотезу наиболее всеохватного вида:

где

Приэтом предполагается, что все участвующие в вероятностной модели случайныевеличины независимы (в совокупности) между собой.

Отметимодно важное свойство функции распределения случайной величины Z. Если случайныевеличины х и у независимы и одинаково распределены, то для H(x)=P(Z<x)выполнено, как нетрудно видеть, соотношение

H(-x)=1-H(x).

Этосоотношение означает симметрию функции распределения относительно 0. Плотностьтакой функции распределения является четной функцией, ее значения в точках х и (-х)совпадают.

Какоготипа отклонения от гипотезы симметрии можно ожидать при альтернативныхгипотезах?

Каки в случае проверки однородности независимых выборок, в зависимости от видаальтернативной гипотезы выделяют два подуровня моделей. Рассмотрим сначалаальтернативу сдвига

Вэтом случае распределение Zпри альтернативе отличается сдвигом от симметричного относительно 0. Дляпроверки гипотезы однородности может быть использован критерий знаковых рангов,разработанный Вилкоксоном (см., например, справочник [9, с.46-53]).

Онстроится следующим образом. Пусть R(Zj)является рангом |Zj| в ранжировке от меньшего к большему абсолютныхзначений разностей |Z1|, |Z2|,…,|Zn|,j=1,2,…,n. Положим для j=1,2,…,n

Статистикакритерия знаковых рангов имеет вид

Такимобразом, нужно просуммировать ранги положительных разностей в вариационномряду, построенном стандартным образом по абсолютным величинам всех разностей.

Дляпрактического использования статистики критерия знаковых рангов Вилкоксона либообращаются к соответствующим таблицам и программному обеспечению, либоприменяют асимптотические соотношения. При выполнении нулевой гипотезыстатистика

имеетасимптотическое (при />) стандартное нормальноераспределение с математическим ожиданием 0 и дисперсией 1. Следовательно,правило принятия решений на уровне значимости 5%: имеет обычный вид если

тогипотезу однородности связанных выборок по критерию знаковых рангов Вилкоксонапринимают, в противном случае отклоняют. Как обычно, при желании использоватьдругой уровень значимости применяют в качестве критического значения инойквантиль нормального распределения. Повторим еще раз, что использованиепредельных теорем допустимо при достаточно больших объемах выборки.

Альтернативнаягипотеза общего вида записывается как

принекотором х0.Таким образом, проверке подлежит гипотеза симметрии относительно 0, которуюможно переписать в виде

H(x)+ H(-x)-1 = 0 .

Дляпостроенной по выборке Zj=хj-уj, j = 1,2,…,n,эмпирической функции распределения Hn(x)последнее соотношение выполнено лишь приближенно:

Какизмерять отличие от 0? По тем же соображениям, что и в предыдущем пункте,целесообразно использовать статистику типа омега-квадрат. Соответствующийкритерий был предложен в работе [17]. Он имеет вид

Вработе [17] найдено предельное распределение этой статистики:

Втабл.1 приведены критические значения статистики типа омега-квадрат дляпроверки симметрии распределения (и тем самым для проверки однородностисвязанных выборок), соответствующие наиболее распространенным значениям уровнейзначимости (расчеты проведены Г.В. Мартыновым).

Табл.1.Критические значения статистики /> для проверки симметриираспределения

Значение функции распределения />

Уровень значимости />

Критическое значение х статистики />

0,90 0,10 1,20 0,95 0,05 1,66 0,99 0,01 2,80

Какследует из табл.1, правило принятия решений при проверке однородности связанныхвыборок в наиболее общей постановке и при уровне значимости 5% формулируетсятак. Вычислить статистику />. Если /><1,66, то принять гипотезуоднородности. В противном случае — отвергнуть.

Пример.Пусть величины Zj, j=1,2,…,20, таковы:

20,18, (-2), 34, 25, (-17), 24, 42, 16, 26, 13, (-23), 35, 21, 19, 8, 27, 11,(-5), 7.

Соответствующийвариационный ряд />имеет вид:

(-23)<(-17)<(-5)<(-2)<7<8<11<13<16<18<19<20<21<24<25<26<27<34<35<42.

Длярасчета значения статистики /> построим табл.2 из 7 столбцов и20 строк, не считая заголовков столбцов (сказуемого таблицы). В первом столбцеуказаны номера (ранги) членов вариационного ряда, во втором — сами эти члены, втретьем — значения эмпирической функции распределения при значениях аргумента,совпадающих с членами вариационного ряда. В следующем столбце приведены членывариационного ряда с обратным знаком, а затем указываются соответствующиезначения эмпирической функции распределения. Например, поскольку минимальноенаблюдаемое значение равно (-23), то Hn(x)=0 при x<-23, а потомудля членов вариационного ряда с 14-го по 20-й в пятом столбце стоит 0. Вкачестве другого примера рассмотрим минимальный член вариационного ряда, т.е.(-23). Меняя знак, получаем 23. Это число стоит между 13-м и 14-м членамивариационного ряда, 21<23<24. На этом интервале эмпирическая функцияраспределения совпадает со своим значением в левом конце, поэтому следуетзаписать в пятом столбце значение 0,65. Остальные ячейки пятого столбцазаполняются аналогично. На основе третьего и пятого столбцов элементарнозаполняется шестой столбец, а затем и седьмой. Остается найти сумму значенийбстоящих в седьмом столбце. Подобная таблица удобна как для ручного счета, так ипри использовании электронных таблиц типа Excel.

Табл.2.Расчет значения статистики /> для проверки симметриираспределения

j Z(j)

Hn(Z(j))

-Z(j)

Hn(-Z(j))

Hn(Z(j))+

Hn(-Z(j))-1

(Hn(Z(j))+

Hn(-Z(j))-1)2

1 -23 0,05 23 0,65 -0,30 0,09 2 -17 0,10 17 0,45 -0,45 0,2025 3 -5 0,15 5 0,20 -0,65 0,4225 4 -2 0,20 2 0,20 -0,60 0,36 5 7 0,25 -7 0,10 -0,65 0,4225 6 8 0,30 -8 0,10 -0,60 0,36 7 11 0.35 -11 0,10 -0,55 0,3025 8 13 0,40 -13 0,10 -0,50 0,25 9 16 0,45 -16 0,10 -0,45 0,2025 10 18 0,50 -18 0,05 -0,45 0,2025 11 19 0,55 -19 0,05 -0,40 0,16 12 20 0,60 -20 0,05 -0,35 0,1225 13 21 0,65 -21 0,05 -0,30 0,09 14 24 0,70 -24 -0,30 0,09 15 25 0,75 -25 -0,25 0,0625 16 26 0,80 -26 -0,20 0,04 17 27 0,85 -27 -0,15 0,0225 18 34 0,90 -34 -0,10 0,01 19 35 0,95 -35 -0,05 0,0025 20 42 1,00 -42

Результатырасчетов (суммирование значений по седьмому столбцу табл.2) показывают, чтозначение статистики />=3,055. В соответствии с табл.1это означает, что на любом используемом в прикладных эконометрическихисследованиях уровнях значимости отклоняется гипотеза симметрии распределенияотносительно 0 (а потому и гипотеза однородности в связанных выборках).

В настоящей главе затронута лишь небольшая частьнепараметрических методов анализа числовых эконометрических данных. Обратимвн6имание на непараметрические оценки плотности, которые используются дляописания данных, проверки однородности, в задачах восстановления зависимостей идругих областях эконометрики. Эконометрические оценки плотности в общем видерассмотрены в главе 8.

Цитированная литература

1. Новицкий П.В., Зограф И.А. Оценка погрешностейрезультатов измерений. — Л.: Энергоатомиздат, 1985. — 248 с.

2. Новицкий П.В. Основы информационной теорииизмерительных устройств. -Л.: энергия, 1968. — 248 с.

3. Боровков А.А. Теория вероятностей. — М.: Наука, 1976.- 352 с.

4. Петров В.В. Суммы независимых случайных величин. — М.: Наука, 1972. — 416 с.

5. Золотарев В.М. Современная теория суммированиянезависимых случайных величин. — М.: Наука, 1986. — 416 с.

6. Егорова Л.А., Харитонов Ю.С., СоколовскаяЛ.В.//Заводская лаборатория. — 1976. Т.42, №10. С. 1237.

7. Артемьев Б.Г., Голубов С.М. Справочное пособие дляработников метрологических служб.- М.: Изд-во стандартов, 1982. — 280 с.

8.Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука,1983. — 416 с.

9.Холлендер М., Вульф Д. Непараметрические методы статистики. – М.: Финансы истатистика, 1983. — 518 с.

10.Боровков А.А. Математическая статистика. – М.: Наука, 1984. — 472 с.

11.Îðëîâ À.È.Óñòîé÷èâîñòüâñîöèàëüíî-ýêîíîìè÷åñêèõìîäåëÿõ. — Ì.:Íàóêà,1979. – 296 ñ.

12.Крамер Г. Математические методы статистики / Пер. с англ. / 2-е изд. — М.: Мир,1975. – 648 с.

13.Гаек Я., Шидак 3. Теория ранговых критериев / Пер. с англ. — М.: Наука, 1971. –376 с.

14.Смолянский М.Л. Таблицы неопределенных интегралов. — М.: ГИФМЛ, 1961. — 108 с.

15.Методика. Проверка однородности двух выборок параметров продукции при оценке еетехнического уровня и качества. – М.: ВНИИ стандартизации, 1987. – 116 с.

16.Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости взадачах проверки статистических гипотез / Заводская лаборатория. 1986. Т.52. №12. С.55-57.

17.Орлов А.И. О проверке симметрии распределения. – Журнал «Теория вероятностей иее применения». 1972. Т.17. No.2. С.372-377.

еще рефераты

Еще работы по экономике

Реферат по экономике

Структурная политика государства

1 Сентября 2013

Реферат по экономике

Статистический расчет показателей деятельности предприятия

1 Сентября 2013

Реферат по экономике

Статистический расчет показателей фондовооруженности

1 Сентября 2013

Реферат по экономике

Статистический расчет производственных показателей

1 Сентября 2013