Критерий согласия колмогорова-смирнова - способ оценки распределения совокупности. SPSS в психологии и социальных науках Критерий колмогорова для равномерного распределения в эксель

Критерий Колмогорова-Смирнова. Проверка гипотезы об однородности выборок

Гипотезы об однородности выборок – это гипотезы о том, что рассматриваемые выборки извлечены из одной и той же генеральной совокупности.

Пусть имеются две независимые выборки, произведенные из генеральных совокупностей с неизвестными теоретическими функциями распределения и .

Проверяемая нулевая гипотеза имеет вид против конкурирующей . Будем предполагать, что функции и непрерывны и для оценки используем статистику Колмогорова – Смирнова .

Критерий Колмогорова-Смирнова использует ту же самую идею, что и критерий Колмогорова. Однако различие заключается в том, что в критерии Колмогорова сравнивается эмпирическая функция распределения с теоретической, а в критерии Колмогорова-Смирнова сравниваются две эмпирические функции распределения.

Статистика критерия Колмогорова-Смирнова имеет вид:

, (9.1)

где и – эмпирические функции распределения, построенные по двум выборкам c объемами и .

Гипотеза отвергается, если фактически наблюдаемое значение статистики больше критического , т.е. , и принимается в противном случае.

При малых объемах выборок критические значения для заданных уровней значимости критерия можно найти в специальных таблицах. При (а практически при ) распределение статистики сводится к распределению Колмогорова для статистики . В этом случае гипотеза отвергается на уровне значимости , если фактически наблюдаемое значение больше критического , т.е. , и принимается в противном случае.

Пример 1. ^ ПРОВЕРКА ОДНОРОДНОСТИ ДВУХ ВЫБОРОК

Были осуществлены две проверки торговых точек с целью выявления недовесов. Полученные результаты сведены в таблицу:

^ Номер интервала	Интервалы недовесов, г	Частоты
		Выборка 1	Выборка 2
1	0 – 10	3	5
2	10 – 20	10	12
3	20 – 30	15	8
4	30 – 40	20	25
5	40 – 50	12	10
6	50 – 60	5	8
7	60 – 70	25	20
8	70 – 80	15	7
9	80 – 90	5	5

Объем первой выборки был равен , а второй – .

Решение :

Обозначим и – накопленные частоты выборок 1 и 2;
, – значения их эмпирических функций распределения соответственно. Обработанные результаты сведем в таблицу:

10	3	5	0.027	0.050	0.023
20	13	17	0.118	0.170	0.052
30	28	25	0.254	0.250	0.004
40	48	50	0.436	0.500	0.064
50	60	60	0.545	0.600	0.055
60	65	68	0.591	0.680	0.089
70	90	88	0.818	0.880	0.072
80	105	95	0.955	0.950	0.005
90	110	100	1.000	1.000	0.000

Из последнего столбца таблицы видно, что . По формуле (9.1) получим . Из статистических таблиц известно, что . Так как , то принимается нулевая гипотеза , т.е. недовесы покупателям описываются одной и той же функцией распределения.

^

СТАТИСТИЧЕСКАЯ НЕЗАВИСИМОСТЬ И ВЫЯВЛЕНИЕ ТРЕНДА

При анализе случайных данных часто возникает ситуации, когда требуется выяснить, являются ли наблюдения или оценки параметров статистически независимыми или же они подвержены тренду. Это особенно важно при анализе нестационарных данных.

Такие исследования, обычно, проводят на основе свободных от распределений или непараметрических методов , в которых относительно функции распределения исследуемых данных не делается никаких предположений.
^

Критерий серий

Рассмотрим последовательность наблюдённых значений случайной величины , причём каждое наблюдение отнесено к одному из двух взаимно исключаемых классов, которые можно обозначить просто (+) или
(–). Рассмотрим ряд примеров:

В каждом из этих примерах образуется последовательность вида:

^ Серией называется последовательность однотипных наблюдений, перед и после которой следуют наблюдения противоположного типа или же вообще нет никаких наблюдений.

В приведенной последовательности число наблюдений равно ; а количество серий равно .

Если последовательность наблюдений состоит из независимых исходов одной и той же случайной величины, т.е. если вероятность отдельных исходов [(+) или (−)] не меняется от наблюдения к наблюдению, то выборочное распределение числа серий в последовательности является случайной величиной со средним значением и дисперсией:

(9.2)

(9.3)

Здесь число исходов (+), а число исходов (−), естественно . В частном случае если , то:

. (9.4)

Предположим, что есть основание подозревать наличие тренда в последовательности наблюдений, т.е. есть основание считать, что вероятность появления (+) или (−) меняются от наблюдения к наблюдению. Существование тренда можно проверить следующим образом. Примем в качестве нулевой гипотезы тренда нет, т.е. предположим, что наблюдений являются независимыми исходами одной и той же случайной величины. Тогда для проверки гипотезы с любым требуемым уровнем значимости необходимо сравнить наблюденное число серий с границами области принятия гипотезы равными и , где .

Если наблюденное число серий окажется вне области принятия гипотезы, то нулевая гипотеза должна быть отвергнута с уровнем значимости . В противном случае нулевую гипотезу можно принять.

Пример 2. ^ ПРИМЕНЕНИЕ КРИТЕРИЯ СЕРИЙ

Имеется последовательность независимых наблюдений :

5.5	5.1	5.7	5.2	4.8	5.7	5.0	6.5	5.4	5.8
6.8	6.6	4.9	5.4	5.9	5.4	6.8	5.8	6.9	5.5

Проверим независимость наблюдений, подсчитав число серий в последовательности, полученной путем сравнения наблюдений с медианой. Применим критерий с уровнем значимости .

Из анализа данных получим, что значение является медианой. Тогда введем обозначения (+) при , (–) при . Итак, получим:

В нашем примере , а область принятия гипотезы имеет вид:

.

По статистическим таблицам находим . Т.к.

Критерий Колмогорова.

На практике кроме критерия часто используется критерий Колмогорова, в котором в качестве меры расхождения между теоретическим и эмпирическим распределениями рассматривают максимальное значение абсолютной величины разности между эмпирической функцией распределения
и соответствующей теоретической функцией распределения

, (1)

называемой статистикой критерия Колмогорова .

Доказано, что какова бы ни была функция распределения
непрерывной случайной величины
, при неограниченном увеличении числа наблюдений вероятность неравенства
стремится к пределу

Задавая уровень значимости
, из соотношения

(3)

можно найти соответствующее критическое значение .

Схема применения критерия Колмогорова следующая:

. (4)

Замечание

Можно отметить, что решение подобных задач можно было бы найти с помощью критерия . Потенциальное преимущества критерия Колмогорова в том, что он не требует группирования данных (с неизбежной потерей информации), а дает возможность рассматривать индивидуальные наблюдаемые значения. Этот критерий можно успешно применять для малых выборок. Считается, что его мощность, вообще говоря, выше, чем у критерия .

Пример Получена случайная выборка объема
. Построим вариационный ряд и эмпирическую функцию распределения:

Проверим гипотезу, что эти наблюдения образуют случайную выборку из распределения
с уровнем значимости
. Затем мы можем определить
графически либо аналитически, причем эти значения должны появиться в точке , соответствующей одной из наблюдаемых величин. С этой целью необходимо вычислить пары величин и (см. рис. 1) для каждого значения выборки.

Для вычисления вспомним: , где - функция стандартного нормального распределения. Результаты всех вычислений представим в виде таблицы:

Из таблицы результатов следует: . Из статистических таблиц получим
. Поскольку
, то принимается гипотеза
, т.е. можно считать, что данные подчиняются распределению .

Проверка гипотез об однородности выборок

Гипотезы об однородности выборок – это гипотезы о том, что рассматриваемые выборки извлечены из одной и той же генеральной совокупности.

Пусть имеются две независимые выборки, произведенные из генеральных совокупностей с неизвестными теоретическими функциями распределения
и
.

Проверяемая нулевая гипотеза имеет вид
против конкурирующей
. Будем предполагать, что функции и непрерывны.

Критерий Колмогорова-Смирнова использует ту же самую идею, что и критерий Колмогорова, но только в критерии Колмогорова сравнивается эмпирическая функция распределения с теоретической, а в критерии Колмогорова-Смирнова сравниваются две эмпирические функции распределения.

Статистика критерия Колмогорова-Смирнова имеет вид:

,

где
и
– эмпирические функции распределения, построенные по двум выборкам c объемами и . отвергается на уровне значимости , если фактически наблюдаемое значение больше критического , т.е.
, и принимается в противном случае.

Критерий Колмогорова-Смирнова в программе STATISTICA в среде Windows

Пример основан на исследовании агрессивности четырехлетних мальчиков и девочек (Siegel, S. (1956) Nonparametric statistics for the behavioral sciences (2nded.) New York: McGraw-Hill). Данные содержатся в файле Aggressn.sta.

Двенадцать мальчиков и двенадцать девочек наблюдались в течение 15-минутной игры; агрессивность каждого ребенка оценивалась в баллах (в терминах частоты и степени проявления агрессивности) и суммировалась в один индекс агрессивности, который вычислялся для каждого ребенка.

Задание анализа . Выберите Nonparametrics из меню Statistics. Затем выберете Comparing two independent samples (groups). Появится диалоговое окно Comparing Two Groups . Нажмите на кнопку Variables . Здесь выберете переменную variable Aggressn в Dependent variable list и переменную Gender в Indep . (grouping ) variable . Коды для однозначного отнесения каждого наблюдения к определенному полу будут автоматически выбраны программой.

Как видно из таблицы результатов, различие между агрессивностью мальчиков и девочек в этом исследовании высокозначимо.

По опыту хождения на защиты курсовых и дипломных работ по психологии подметил ряд распространённых и коварных ошибок в работах. Задумал черкнуть текст, предостерегающий от таких ошибок. Буду благодарен, если специалисты по статистике проверят.

Чтобы не вываливать сразу много, пока первые пять пунктов.

1. Если по критерию Колмогорова-Смирнова получилось p-значение больше 0,05 (или 0,1) – распределение нормально, можно делать параметрические методы.

Критерий Колмогорова-Смирнова оценивает значимость различий между формой двух распределений. При проверке нормальности (на самом деле, это лишь частный случай применения K-S теста) речь идёт об обнаружении значимых отличий между формой Вашего распределения и моделью нормального. То есть p-значение больше 0,05 (и т.п.) следует понимать как «Я не нашёл различий между Вашим распределением и нормальным (значимых различий на этом уровне)».

А не найти различия можно просто потому, что на руках слишком мало данных для обнаружения. Точно так же, как следователь не может найти преступника при малом количестве улик. Это ещё не значит, что дело чисто.

Так вот, Колмогоров-Смирнов – весьма требовательный к объёму данных критерий, который начинает адекватно работать на выборке в районе 80. Чем меньше выборка – тем труднее ему углядеть что-нибудь. На выборках в 20-40 человек, которые часто бывают в студенческих работах, критерий Колмогорова-Смирнова практически всегда будет заявлять «Я не смог увидеть никаких различий», каким бы перекошенным не являлось Ваше распределение.

Прикиньте теперь весь ужас ситуации, когда студент перво-наперво сделал Колмогорова-Смирнова на малом количестве респондентов, радостно заключил о нормальности и пошёл напропалую пользоваться параметрическими методами? Это ведь ставит под сомнение АБСОЛЮТНО ВСЁ, что он потом получил в работе.

При выборке в несколько десятков (но ощутимо меньше 80) следует говорить лишь об условной нормальности данных, которая оценивается через величины ассиметрии и эксцесса по сравнению с их стандартными ошибками. Если же выборка составляет эдак 20 – здесь просто нет и не может быть нормальности. Никогда. Сразу обращайтесь к непараметрической статистике.

2. Если общая выборка исследования дала нормальное распределение, то дальше можно сравнивать что угодно с чем угодно при помощи параметрических методов.

Необходимость нормального распределения для параметрических методов связана с их опорой на средние значения (и другие параметры распределения). Когда в какой-то группе нет нормального распределения – среднее может быть бессмысленным (среднее чисел 9, 10, 11 и 130 равно 40 – результат не похож ни на одно из усредняемых чисел). А когда нормальность есть – среднее заведомо получится осмысленным.

Соответственно, ПРИ СРАВНЕНИИ ДВУХ групп через средние значения, нужно иметь ДВА осмысленных средних значения. При сравнении трёх – три, и так далее. Нормальное распределение на общей выборке Вам нужно только в том случае, если Вы делаете какие-то выводы об этой общей выборке. А сколько потом групп Вы изучаете параметрическими методами – столько у Вас и должно быть (условно) нормальных распределений.

3. Если получилось нормальное распределение, можно делать дисперсионный анализ.

Дисперсионный анализ как раз-таки мало уязвим к ненормальным распределениям (кроме некоторых частных случаев). Проверка подвыборок на нормальность желательна, но от нарушений нормальности ничего страшного, скорее всего, не случится.

Однако дисперсионный анализ предъявляет ещё два особых требования к данным. Во-первых, не должно быть значимых различий во внутригрупповых дисперсиях (проверяются тестом Ливеня) – это таит серьёзную угрозу, если Ваши группы заметно отличаются по размеру. Во-вторых и в-главных, факторы для многофакторного дисперсионного анализа должны быть независимы друг от друга. Не нарушайте этого условия, не используйте в качестве факторов связанные показатели! Тогда адекватное решение задачи достигается только структурным моделированием, а не дисперсионным анализом.

Чтобы облегчить себе жизнь, для многофакторного дисперсионного анализа лучше всего сразу набирать равномерный комплекс. Равномерный комплекс – это когда на все возможные сочетания факторов приходится одинаковое количество наблюдений (типа: 16 молодых женщин-узбечек, 16 молодых женщин-татарок, 16 молодых женщин-русских, 16 молодых мужчин-узбеков, 16 молодых мужчин-татар, 16 молодых мужчин-русских, 16 пожилых женщин-узбечек, 16 пожилых женщин-татарок, 16 пожилых женщин-русских, 16 пожилых мужчин-узбеков, 16 пожилых мужчин-татар, 16 пожилых мужчин-русских).

5.Корреляционный анализ позволяет выявить взаимосвязь.

Слово «взаимосвязь» регулярно появляется в работах, организация которых не позволяет найти причин и следствий. Студенты обычно в курсе, что корреляция не означает «влияния», это слово они предусмотрительно и заменяют «взаимосвязью».

Задумайтесь уже просто над звучанием слова. Взаимная связь. То есть связь в обе стороны. Если А взаимосвязано с Б – значит, через А происходит какое-то воздействие на Б и одновременно через Б – какое-то воздействие на А. Как Вы думаете, если корреляция не способна подтвердить влияние даже в одну сторону, может ли она подтвердить влияние в обе стороны?

Корреляция показывает НЕ ВЗАИМО-, А ПРОСТО СВЯЗЬ. Вовсе не обязательно двустороннюю. Связь может быть строго односторонней: только X влияет на Y безо всякого обратного воздействия. Или наоборот: только Y влияет на X. Связь может быть действительно взаимной. Она вообще может быть только опосредованной каким-то третьим Z, когда X и Y непосредственно друг на друга не действуют. В учебнике Майерса рассказывается, что высота надгробий высоко коррелирует с количеством прожитых лет, поскольку чем дольше прожил человек, тем больше он разбогател и тем более роскошный памятник закажут его родственники (это касается западных стран, конечно). Корреляция показывает какую-то связь, сама по себе не различая случаев одностороннего влияния, двустороннего влияния, опосредованного влияния. И говорить о «взаимосвязи», имея на руках только корреляцию, не более обоснованно, чем о «влиянии».

На этапе описания статистики ошибка – чисто языковая и легко исправимая. Проблемы возникают, когда на стадии интерпретации человек полагает, что доказал именно взаимосвязь и начинает рассуждать о взаимных отношениях X и Y.

На практике кроме критерия χ 2 часто используется критерий Колмогорова, в котором в качестве меры расхождения между теоретическим и эмпирическим распределениями рассматривают максимальное значение абсолютной величины разности между эмпирической функцией распределения и соответствующей теоретической функцией распределения

называемое статистикой критерия Колмогорова.

Задавая уровень значимости α, можно найти соответствующее критическое значение

В таблице приводятся критические значения , критерия Колмогорова для некоторых α.

Таблица 4.2.

Схема применения критерия Колмогорова

1.Строится эмпирическая функция распределения и предполагаемая теоретическая функция распределения F(x) .

2.Определяется статистика Колмогорова D – мера расхождения между теоретическим и эмпирическим распределением и вычисляется величина

3. Если вычисленное значение λ больше критического , то нулевая гипотеза Н 0 о том, что случайная величина Х имеет заданный закон распределения, отвергается.

Если , то считают, что гипотеза Н 0 не противоречит опытным данным.

Пример. С помощью критерия Колмогорова на уровне значимости α=0,05 проверить гипотезу Н 0 о том, что случайная величина Х – выработка рабочих предприятия – имеет нормальный закон распределения.

Решение . 1. Построим эмпирическую и теоретическую функции распределения.

Эмпирическую функцию распределения строят по относительным накопленным частотам.

Теоретическую функцию распределения построим согласно формуле

где

Результаты вычислений сведем в таблицу:

Таблица 4.3.

Назначение критерия

Критерий предназначен для сопоставления двух распределений:

а) эмпирического с теоретическим, например, равномерным или нормальным;

б) одного эмпирического распределения с другим эмпирическим распределением.

Критерий позволяет найти точку, в которой сумма накопленных расхождений между двумя распределениями является наибольшей, и оценить достоверность этого расхождения.

Описание критерия

Если в методе мы сопоставляли частоты двух распределений отдельно по первому разряду, потом по сумме первого и второго разрядов, потом по сумме первого, второго и третьего разрядов и т.д. Таким образом, мы сопоставляем всякий раз накопленные к данному разряду частоты.

Если различия между двумя распределениями существенны, то в какой–то момент разность накопленных частот достигнет критического значения, и мы сможем признать различия статистически достоверными. В формулу критерия включается эта разность. Чем больше эмпирическое значение , тем более существенны различия.

Гипотезы

Различия между распределениями недостоверны (судя по точке максимального накопленного расхождения между ними).

: Различия между распределениями достоверны (судя по точке максимального накопленного расхождения между ними).

Для применения критерия Колмогорова–Смирнова необходимо соблюдать следующие условия:

1. Измерение может быть проведено шкале интервалов и отношений.

2. Выборки должны быть случайными и независимыми.

3. Желательно, чтобы суммарный объем двух выборок ≥ 50. С увеличением объема выборки точность критерия повышается.

4. Эмпирические данные должны допускать возможность упорядочения по возрастанию или убыванию какого-либо признака и обязательно отражать какое-то его однонаправленное изменение. В том случае, если трудно соблюсти принцип упорядоченности признака, лучше использовать критерий хи -квадрат.

Этот критерий используется для решения тех же задач, что и критерий xи -квадрат. Иначе говоря, с его помощью можно сра­нивать эмпирическое распределение с теоретическим или два эмпирических распределения друг с другом. Однако если при применении хи -квадрат мы сопоставляем частоты двух распределений, то в данном критерии сравниваются накопленные (кумулятивные) частоты по каждому разряду (альтернативе). При этом если разность накопленных частот в двух распределениях оказывается большой, то различия между двумя распределениями яв­ляются существенными.

Задача 8.12. Предположим, что в эксперименте психологу не­обходимо использовать шестигранный игральный кубик с цифрами на гранях от 1 до 6. Для чистоты эксперимента необходимо получить «идеальный» кубик, т.е. такой, чтобы при достаточно большом числе подбрасываний, каждая его грань выпадала бы примерно равное число раз. Задача состоит в выяснении того, будет ли данный кубик близок к идеальному?

Решение. Подбросим кубик 120 раз и сравним полученное эмпирическое распределение с теоретическим. Поскольку теоретическое распределение является равновероятным, то соответствующие теоретические частоты равны 20. Распределение эмпирических и теоретических частот представим совместно в таблице 8.15:

Для подсчета по критерию Колмогорова–Смирнова необхо­димо провести ряд преобразований с данными таблицы 8.15. Представим эти преобразования в таблице 8.16 и объясним их получение:

Символом FE в таблице 8.16 будем обозначать накопленные теоретические частоты. В таблице они получаются следующим образом: к первой теоретической частоте 20, добавляется вторая частота, также равная 20, получается число 20 + 20 = 40. Число 40 ставится на место второй частоты. Затем к числу 40 прибавляется следующая теоретическая частота, полученная величина 60 - ставится на место третьей теоретической частоты и так далее.

Символом FB в таблице 8.16 обозначаются накопленные эмпирические частоты. Для их подсчета необходимо расположить эмпирические частоты по возрастанию: 15, 18, 18, 21, 23, 25 и затем по порядку сложить. Так, вначале стоит первая частота равная 15, к ней прибавляется вторая по величине частота и полученная сумма 15 + 18 = 33 ставится на место второй частоты, затем к 33 добавляется 18 (33 + 18 = 51), полученное число 51 ставится на место третьей частоты и т.д.

Символом |FE - FB| в таблице 8.16 обозначаются абсолютные величины разности между теоретической и эмпирической частотой по каждому столбцу отдельно.

Эмпирическую величину этого критерия, которая обозначается как D эмп получают используя формулу (8.13):

Для её получения среди чисел |FE - FB| находят максимальное число (в нашем случае оно равно 9) и делят его на объем выборки п. В нашем случае п = 120, поэтому

Для этого критерия таблица с критическими значениями дана в Приложении 1 под № 13. Из таблицы 13 Приложения 1 следует, однако, что в том случае, если число элементов выборке больше 100, то величины критических значений вычисляются по формуле (8.14).