Проверка статистических гипотез
Нулевая модель, статистика, p-value и ошибки решений без ложных трактовок.
Чему научимся
Процедура формализует решение с контролем ошибки первого рода, связывает уровень α с мощностью и заставляет заранее выбирать альтернативу и статистику.
Главная идея. Проверка гипотез оценивает, насколько наблюдённая статистика экстремальна при нулевой модели. p-значение (англ. p-value) — эта условная вероятность, а не шанс истинности H0.
План рассуждения и проверка понимания
- До просмотра результата сформулируйте H0 и H1, выберите одностороннее или двустороннее направление, статистику и уровень α.
- Выведите или укажите закон статистики при H0, проверив предпосылки; для t-теста нужны независимая нормальная выборка и S > 0.
- Посчитайте вероятность получить при H0 значение не менее экстремальное, чем наблюдаемое, по заранее определённому правилу хвостов.
- Сравните p с α и сформулируйте решение «отклонить» или «недостаточно оснований отклонить», не объявляя H0 доказанной.
Частая ошибка. Интерпретировать p = 0,03 как трёхпроцентную вероятность истинности H0 или менять двустороннюю альтернативу на одностороннюю после просмотра знака эффекта.
Как проверить себя. p-value вычисляется при условии H0 и относится к экстремальности данных. Направление теста и α выбираются заранее, иначе фактический риск ошибки меняется.
Наглядная модель: Проверка статистических гипотез
Нулевая модель, статистика, p-value и ошибки решений без ложных трактовок.
- Проверка статистических гипотез → Проверка статистических гипотез
- Проверка статистических гипотез → confidence-intervals
- Проверка статистических гипотез → estimation-methods
Проверка пониманияОбъясните тему своими словами
Для пяти орлов в пяти бросках честной монеты объясните двухстороннее p-value 1/16 и укажите, какой столь же экстремальный исход лежит в другом хвосте.
В хорошем объяснении есть:
- Вероятность пяти орлов равна 1/32.
- Добавлены пять решек с той же массой.
- Результат не назван вероятностью честности монеты.
Решение относительно модели
Статистическая гипотеза ограничивает неизвестный закон. Нулевая гипотеза H0 задаёт модель для оценки редкости данных, альтернативная H1 — вид отклонения, который нас интересует. До анализа выбирают статистику, направление альтернативы и уровень значимости.
Ошибки первого и второго рода
Ошибка первого рода — отклонить истинную H0; тест уровня α контролирует её вероятность сверху в указанной модели. Ошибка второго рода — не отклонить H0 при конкретной альтернативе. Мощность равна единице минус вероятность второй ошибки и зависит от величины эффекта, объёма выборки и теста.
Что значит p-value
p-value — вероятность при нулевой модели получить значение выбранной статистики не менее экстремальное, чем наблюдаемое. Это не вероятность истинности H0, не размер эффекта и не вероятность повторения вывода. Если p≤α, процедура отклоняет H0; если p>α, данных недостаточно для отклонения, но H0 не доказана.
Набросок t-теста и дискретный случай
В независимой нормальной выборке при верной гипотезе о среднем статистика с исправленным S имеет закон Стьюдента. Два симметричных хвоста дают двухстороннее p-value. При S=0 указанная статистика не определена; автоматически объявлять убедительный результат нельзя.
Для точного двухстороннего биномиального теста здесь используется соглашение: суммируются нулевые вероятности всех k с массой не больше массы наблюдаемого k. В дискретном случае существуют другие соглашения, поэтому способ удвоить один хвост не всегда эквивалентен.
Многократный перебор гипотез и остановка в момент «значимости» меняют риск ошибок. Учебный калькулятор не заменяет план исследования и поправки на множественные сравнения.
Три примера
- При p=0,03 и заранее выбранном α=0,05 H0 отклоняют; при α=0,01 — не отклоняют.
- Если среднее совпадает с μ0 и S>0, t=0 и двухстороннее p-value равно 1.
- Пять орлов из пяти при честной монете дают двухстороннее p-value 2/32=1/16: так же экстремальны пять решек.
Формула, смысл и ограничения
Главные формулы с расшифровкой
Формула словами: Двухсторонний одновыборочный t-тест независимой нормальной выборки с S>0. Альтернатива и уровень α выбираются до просмотра результата.
От формулы к наблюдению
Попробуйте самостоятельно
Измените параметры и сопоставьте расчёт с результатами случайного эксперимента.
От простого к сложному
Проверьте себя
Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.
Открываем задание…
Открываем задание…
Открываем задание…
Источники и соглашения
Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.