Метод моментов и максимальное правдоподобие
Два способа построить оценку параметров из статистической модели.
Чему научимся
Сравнение методов показывает, как одна модель порождает разные процедуры оценки и почему область параметров, границы и вид носителя важны не меньше производной.
Главная идея. Метод моментов приравнивает выборочные моменты теоретическим, а максимальное правдоподобие выбирает параметр, при котором наблюдённые данные имеют наибольшую массу или плотность.
План рассуждения и проверка понимания
- Для метода моментов запишите зависимость теоретических моментов от параметров, замените их выборочными аналогами и решите систему в допустимой области.
- Для оценки максимального правдоподобия (MLE) постройте совместную массу или плотность данных; произведение отдельных вкладов допустимо только для независимой выборки.
- Перейдите к логарифму правдоподобия, найдите внутренние критические точки и обязательно сравните их с границами множества параметров.
- Проверьте идентифицируемость и регулярность перед обещаниями состоятельности или асимптотической нормальности выбранной оценки.
Частая ошибка. Считать правдоподобие готовой вероятностью параметра или искать максимум только по производной, игнорируя ограничение θ ≥ max xi в U(0,θ).
Как проверить себя. Правдоподобие — функция параметра при фиксированных данных и не нормировано по θ. Граничные точки области могут давать максимум даже без внутреннего нуля производной.
Наглядная модель: Метод моментов и максимальное правдоподобие
Два способа построить оценку параметров из статистической модели.
- Метод моментов и максимальное правдоподобие → Метод моментов и максимальное правдоподобие
- Метод моментов и максимальное правдоподобие → estimation
- Метод моментов и максимальное правдоподобие → expectation-integral
Проверка пониманияОбъясните тему своими словами
Для данных 1, 2, 4 из U(0,θ) сравните метод моментов и MLE: получите 14/3 и 4 и объясните источник различия.
В хорошем объяснении есть:
- Использовано E[X] = θ/2 для метода моментов.
- Учтено ограничение θ не меньше максимума выборки.
- Разные ответы не объявлены вычислительной ошибкой.
Метод моментов
Если модель связывает параметры с математическими ожиданиями, замените теоретические моменты соответствующими выборочными средними и решите уравнения. Для одного параметра часто достаточно одного момента; для нескольких нужны достаточно информативные уравнения. Решение может отсутствовать, быть неединственным или выйти за область параметров.
Максимальное правдоподобие
Правдоподобие рассматривает фиксированные наблюдения как функцию параметра. В независимой выборке это произведение масс или плотностей наблюдений. Ищут допустимый параметр, при котором функция максимальна. Логарифм удобен, поскольку превращает произведение в сумму и не меняет расположение максимума.
Правдоподобие не является автоматически вероятностной плотностью параметра. Для байесовского апостериорного закона нужны априорное распределение и нормировка. Нельзя интерпретировать отношение значений плотности данных как уже готовую вероятность гипотезы.
Набросок вывода для Бернулли
При k успехах в n испытаниях логарифм правдоподобия равен k·log p+(n−k)·log(1−p). Внутренняя критическая точка p=k/n максимальна; при k=0 или k=n максимум находится на границе [0,1]. Метод моментов даёт то же решение, потому что E X=p.
Условия и границы
Обещания состоятельности и асимптотической нормальности MLE требуют идентифицируемости и других условий регулярности. Граница параметра или зависящий от параметра носитель может менять выводы. Например, у равномерного [0,θ] нельзя искать максимум только по производной внутри области: ограничение θ≥max xi существенно.
Три примера
- В 20 опытах Бернулли 7 успехов: и метод моментов, и MLE дают p̂=7/20=0,35.
- Для экспоненциальных ожиданий со средним выборки 4 оба метода дают интенсивность λ̂=1/4, а не 4.
- Для равномерного [0,θ] и данных 1,2,4 метод моментов даёт 2·7/3=14/3, а MLE — максимум выборки 4. Методы могут различаться.
Формула, смысл и ограничения
Главные формулы с расшифровкой
Формула словами: Произведение относится к независимой выборке; fθ обозначает плотность либо массу. Для зависимых данных нужна совместная функция.
От формулы к наблюдению
Попробуйте самостоятельно
Измените параметры и сопоставьте расчёт с результатами случайного эксперимента.
От простого к сложному
Проверьте себя
Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.
Открываем задание…
Открываем задание…
Открываем задание…
Источники и соглашения
Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.