Методы анализа данных

Статистическая проверка гипотез

 Общая схема проверки гипотез.  Проверка гипотез:  о математическом ожидании;  о дисперсиях;  о равенстве математических ожиданий;  о выявлении аномальных измерений;  об однородности ряда дисперсий;  о согласованности выбранного закона распределения и гистограммы.

Общая схема проверки гипотез Х – случайная величина. Н 1, Н 2 – гипотезы. f( x |Н 1 ), f( x |Н 2 ) – условные плотности Решающее правило: если x c, то верна гипотеза Н 2, где с – порог. Условные вероятности ошибочных решений: α – вероятность принять Н 2, в то время как верна Н 1 ; β – вероятность принять Н 1, в то время как верна Н 2. c G 1 G 2 fxH(|) 1 fxH(|) 2 x  

Общая схема проверки гипотез Произведем сжатие этой информации: z=z(x 1,…,x n ). Здесь z (·) – известная функция. 2  fzH(|) 1 c 2 c 1 p z 2  Исследователя интересуют не две гипотезы, а одна: H 1 =H. При этом известна только плотность распределения f( z |H). Два варианта для конкурирующей гипотезы: 1)H 2 =H, в конкурирующую гипотезу вводятся все остальные возможности. 2)H 2 =часть H, в гипотезу вводится дополнительное ограничение.

Считаем, что случайная величина X распределена по нормальному закону N(m, σ 2 ) с неизвестным математическим ожиданием m и известной дисперсией σ 2. По независимой выборке x 1,…,x n проверить гипотезы: H 1 :m=m 0 H 2 :m≠m 0 Вводим статистику: Порог с находим из условия P{z>c}=α/2 Значение порога с можно взять из специальных таблиц. Гипотеза H 1 верна, если |z|<c Проверка гипотезы о математическом ожидании fzH(|)  c c 0 z 2  2 

1.2. Проверка гипотезы о математическом ожидании Условия те же, но дисперсия σ 2 неизвестна. Вводим статистику: Если верна гипотеза H 1, то величина z имеет распределение Стьюдента T n-1 (0;1) с n-1 степенями свободы. Значение порога с можно взять из специальных таблиц. Гипотеза H 1 верна, если |z|<c.

Случайная величина X распределена по нормальному закону N(m, σ 2 ) с неизвестным математическим ожиданием m и неизвестной дисперсией σ 2. По независимой выборке x 1,…,x n проверить гипотезы: H 1 : σ 2 =σ 0 2 H 2 : σ 2 ≠σ 0 2 Вводим статистику (хи-квадрат): Если,то принимается H 1. Значения порогов χ 2 берутся из специальных таблиц Проверка гипотезы о дисперсиях 2  )|( 2 1 Hf n   2 1  2 2  p 2  2  0

2.2. Проверка гипотезы о дисперсиях Рассмотрим случай, когда имеем две случайные величины X и Y, распределенные по нормальным законам: N(m 1, σ 1 2 ) и N(m 2, σ 2 2 ). m 1, m 2 и σ 1 2, σ 2 2 – неизвестны. По независимым выборкам: x 1,…,x n1 и y 1,…,y n2 проверить гипотезы: H 1 : σ 1 2 =σ 2 2 H 2 : σ 1 2 >σ 2 2 Вводим статистику: (статистика Фишера). В числитель ставится наибольшая из оценок. Если z <c, то принимаем H 1. Значение порога с берется из специальных таблиц.

Случайные величины X и Y, распределенные по нормальным законам: N(m 1, σ 1 2 ) и N(m 2, σ 2 2 ). m 1, m 2 – неизвестны, а σ 1 2, σ 2 2 – известны. По независимым выборкам: x 1,…,x n1 и y 1,…,y n2 проверить гипотезы: H 1 : m 1 =m 2 H 2 : m 1 ≠m 2 Вводим статистику: Если |z|<c, то принимаем H Проверка гипотезы о равенстве математических ожиданий

3.2. Проверка гипотезы о равенстве математических ожиданий Условия те же, а дисперсии одинаковы σ 1 2 =σ 2 2 =σ 2 и неизвестны. Вводим статистику: Если гипотеза H 1 верна, то z имеет распределение Стьюдента. Пороги находим как в задаче 1.2.

4. Выявление аномальных измерений Случайная величина X распределена по нормальному закону N(m, σ 2 ) с неизвестным математическим ожиданием m и известной дисперсией σ 2. Имеется выборка: x 1,…,x n и x – новое измерение. Проверить гипотезы: H 1 : x принадлежит X. H 2 : x не принадлежит X ( x – аномальное измерение). Вводим статистику: Пороги и решающее правило как для задачи 1.1.

Выявление аномальных измерений Условия те же, но дисперсия σ 2 неизвестна. Статистика имеет вид: При истинности гипотезы H 1, z имеет распределение Стьюдента. Пороги и решающее правило как для задачи 1.2.

5. Гипотеза об однородности ряда дисперсий Имеем несколько случайных величин X 1,…,X k, распределенных по нормальному закону N(m 1, σ 1 2 ),…, N(m k, σ k 2 ). Все параметры законов неизвестны. Для каждой случайной величины имеется выборка одинакового объема n. Проверить гипотезы: H 1 : σ 1 2 =…=σ k 2 H 2 : σ i 2 ≠σ j 2 ; i,j=1…k; i≠j Вводим статистику: ( статистика Кочрена ) Порог с выбирается по таблице. H 1 верна, если z<c.

6. Проверка гипотезы о распределениях X – непрерывная случайная величина, закон распределения не известен. По независимой выборке x 1,…,x n строится гистограмма, экспертно выбирается закон распределения X: f( x | Θ ) и проверяются гипотезы: H 1 : f( x | Θ ) согласуется с гистограммой. H 2 : f( x | Θ ) не согласуется с гистограммой. Вводим статистику: Порог находим по таблице. Если z< χ 2, то принимается H 1. В дальнейшем можно использовать f( x | Θ ) в качестве оценки истинной неизвестной плотности.