Умблик
Высшая математика
Преобразования
Вероятность и статистика · Преобразования

Производящие функции вероятностей и моментов

Коэффициенты, производные и условия существования — два близких, но разных инструмента.

10 минут на чтениеЗаданий для самопроверки: 3

Чему научимся

Производящие функции превращают независимые суммы в произведения, позволяют извлекать массы и факториальные моменты и быстро распознавать биномиальные и пуассоновские суммы.

Главная идея. Производящая функция вероятностей (PGF) G(s) = E[s^X] кодирует вероятности неотрицательной целочисленной X коэффициентами, а производящая функция моментов (MGF) M(t) = E[e^(tX)] кодирует моменты, когда конечна в окрестности нуля.

План рассуждения и проверка понимания
  1. Выберите правильный инструмент: PGF предназначена для X = 0,1,2,…, тогда как MGF применима шире, но может не существовать вне t = 0.
  2. Для PGF прочитайте P(X = k) как коэффициент при s^k, а первую производную при 1 свяжите с E[X] при допустимой сходимости.
  3. Помните, что G''(1) даёт E[X(X − 1)], поэтому обычный второй момент требует добавить E[X].
  4. Для суммы независимых величин перемножьте функции в общей области существования и лишь после проверки сходимости дифференцируйте результат.

Частая ошибка. Считать M(0) = 1 доказательством существования MGF вокруг нуля или путать вторую производную PGF с E[X²].

Как проверить себя. Значение в нуле формально равно единице даже у тяжёлых хвостов, где соседние t дают бесконечность. А G''(1) — факториальный момент E[X(X−1)].

Схема к теме

Наглядная модель: Производящие функции вероятностей и моментов

Коэффициенты, производные и условия существования — два близких, но разных инструмента.

Наглядная модель: Производящие функции вероятностей и моментовКоэффициенты, производные и условия существования — два близких, но разных инструмента.Производящиефункции…expectation-integralpowers-and-logarithmsПроизводящиефункциивероятностей и…
  • Производящие функции вероятностей и моментов → Производящие функции вероятностей и моментов
  • Производящие функции вероятностей и моментов → expectation-integral
  • Производящие функции вероятностей и моментов → powers-and-logarithms
Схема связывает понятие «Производящие функции вероятностей и моментов» с его ключевыми признаками. Вывод: Свяжите определение, условия и обозначения: тогда формула станет краткой записью уже понятной идеи.
Проверка пониманияОбъясните тему своими словами

Раскройте PGF двух независимых честных Бернулли (1 + s)²/4 и объясните смысл каждого из трёх коэффициентов получившегося многочлена.

В хорошем объяснении есть:

  • Независимость использована для произведения PGF.
  • Коэффициенты 1/4, 1/2, 1/4 связаны с суммами 0, 1, 2.
  • Сумма коэффициентов проверена в точке s = 1.

Две разные функции

Производящая функция вероятностей, PGF, кодирует массы неотрицательной целочисленной величины коэффициентами степенного ряда. Производящая функция моментов, MGF, использует экспоненту и применима к более общим величинам, но может расходиться. Характеристическая функция в отличие от MGF существует всегда.

PGF и извлечение информации

Для |s|≤1 ряд PGF абсолютно сходится. Значение при 1 равно 1, а коэффициент при s в степени k — вероятность X=k. Производная слева при 1 даёт E X, возможно бесконечное. Вторая производная соответствует факториальному моменту E[X(X−1)], поэтому для обычного второго момента нужно добавить E X.

MGF и условия

Если MGF конечна в открытой окрестности нуля, она однозначно определяет закон и её производные в нуле дают моменты. Недостаточно заметить M(0)=1: это верно всегда и не гарантирует существования M(t) при положительных или отрицательных t. У тяжёлых хвостов нужной окрестности может не быть.

Набросок применения

Для независимой суммы PGF и MGF перемножаются в общей области существования. У суммы n независимых Бернулли PGF равна (1−p+ps) в степени n. Раскрытие бинома сразу даёт биномиальные вероятности. У пуассоновского закона PGF равна exp(λ(s−1)), что делает сложение параметров прозрачным.

При переходе к моментам сначала проверьте сходимость, затем дифференцируйте. Формальный ряд с написанными символами ожиданий ещё не является доказательством существования аналитической функции.

Три примера

  1. Для X, равной 0 или 1 с вероятностями 0,6 и 0,4, PGF равна 0,6+0,4s. Её производная при 1 равна среднему 0,4.
  2. PGF двух независимых честных Бернулли равна (1+s)²/4. Коэффициент при s равен 1/2 — вероятность одного успеха.
  3. Для экспоненциального закона с интенсивностью 2 MGF равна 2/(2−t) только при t<2; подстановка t=3 в рациональное выражение не даёт MGF.

Формула, смысл и ограничения

Главные формулы с расшифровкой

GX(s)=EsX=∑k=0∞P(X=k)sk,MX(t)=EetXG_X(s)=\mathbb E s^X=\sum_{k=0}^{\infty}P(X=k)s^k,\qquad M_X(t)=\mathbb E e^{tX}

Формула словами: PGF относится к неотрицательным целым X; MGF конечна не для всех законов и аргументов. Для стандартных теорем MGF нужна окрестность t=0.

От простого к сложному

Проверьте себя

Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.

Открываем задание…

Открываем задание…

Открываем задание…

Источники и соглашения

Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.