Статистическое оценивание
Оценка как случайная процедура: смещение, состоятельность, точность и риск.
Чему научимся
Тема помогает различать несмещённость, состоятельность и эффективность и объединяет смещение с разбросом через MSE = Var + Bias².
Главная идея. Статистическая оценка — функция случайной выборки: до наблюдения она случайна, после подстановки данных становится числом. Её качество оценивают по повторным выборкам из модели.
План рассуждения и проверка понимания
- Разделите неизвестный параметр θ, правило вычисления θ̂ из данных и конкретную реализацию оценки, полученную на одной выборке.
- Вычислите Eθ[θ̂] и смещение Eθ[θ̂] − θ, затем отдельно найдите дисперсию процедуры при фиксированном θ.
- Сложите Varθ(θ̂) и квадрат смещения для MSE, если второй момент конечен; небольшое смещение может окупаться меньшим разбросом.
- Для последовательности оценок проверьте сходимость по вероятности к θ, а не только несмещённость при каждом отдельном n.
Частая ошибка. Объявлять несмещённую оценку автоматически состоятельной или лучшей, не сравнивая её дисперсию и поведение при увеличении объёма данных.
Как проверить себя. Оценка X₁ среднего может быть несмещённой для любого n, но игнорирует новые наблюдения и не уменьшает разброс. Свойства процедуры проверяются отдельно.
Наглядная модель: Статистическое оценивание
Оценка как случайная процедура: смещение, состоятельность, точность и риск.
- Статистическое оценивание → Статистическое оценивание
- Статистическое оценивание → laws-of-large-numbers
- Статистическое оценивание → variance
Проверка пониманияОбъясните тему своими словами
Объясните, почему оценка со смещением 0,1 и дисперсией 0,01 имеет MSE 0,02 и как она может конкурировать с несмещённой, но более шумной оценкой.
В хорошем объяснении есть:
- Квадрат смещения равен 0,01.
- MSE сложена из двух разных источников ошибки.
- Несмещённость не названа единственным критерием качества.
Параметр и процедура
Параметр θ описывает неизвестный закон, а оценка — функция случайных данных. До сбора выборки оценка случайна; после подстановки наблюдений мы получаем её реализацию — конкретное число. Качество процедуры оценивают не по одному удачному набору, а по её поведению при повторных выборках из модели.
Три разных свойства
Несмещённость означает, что среднее оценки равно параметру при каждом допустимом θ. Состоятельность — сходимость оценки к параметру по вероятности при увеличении объёма данных. Эффективность требует указать класс сравнения и критерий: например, наименьшую дисперсию среди несмещённых оценок. Несмещённая оценка не обязательно состоятельна и не обязательно минимизирует среднеквадратичную ошибку.
Набросок разложения ошибки
Прибавьте и вычтите среднее оценки внутри квадрата ошибки. После раскрытия скобок перекрёстное слагаемое исчезает, потому что центрированная оценка имеет нулевое ожидание. Остаётся дисперсия плюс квадрат смещения. Поэтому небольшое смещение иногда компенсируется заметным уменьшением разброса.
Пример со средним
У независимых одинаково распределённых наблюдений с конечным средним выборочное среднее несмещённо и состоятельно. При конечной дисперсии σ² его дисперсия равна σ²/n. Но использование только первого наблюдения для любого n тоже может быть несмещённым и при этом не давать состоятельной процедуры.
Все свойства зависят от статистической модели. Смещённая выборка населения, зависимость измерений или смена режима могут нарушить условия ещё до вычисления формулы.
Три примера
- Для 40 независимых Бернулли с p=0,2 доля успехов имеет ожидание 0,2 и дисперсию 0,2·0,8/40=0,004.
- Оценка с дисперсией 0,01 и смещением 0,1 имеет MSE=0,01+0,01=0,02.
- Оценка θ̂=X1 для среднего нормальной модели несмещённа, но её дисперсия не уменьшается с ростом числа доступных наблюдений, если остальные данные игнорируются.
Формула, смысл и ограничения
Главные формулы с расшифровкой
Формула словами: Разложение среднеквадратичной ошибки справедливо при конечном втором моменте оценки; bias=Eθ θ̂−θ.
От формулы к наблюдению
Попробуйте самостоятельно
Измените параметры и сопоставьте расчёт с результатами случайного эксперимента.
От простого к сложному
Проверьте себя
Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.
Открываем задание…
Открываем задание…
Открываем задание…
Источники и соглашения
Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.