Вероятность и статистика · Совместные распределения

Независимость случайных величин

Факторизация совместного закона и отличие попарной независимости от независимости в совокупности.

9 минут на чтениеЗаданий для самопроверки: 3

Чему научимся

Независимость позволяет перемножать ожидания функций разных координат, строить свёртки и предельные теоремы, но требует свойства всего совместного закона.

Главная идея. Случайные величины независимы, если для любого выбора борелевских множеств вероятность одновременного попадания координат факторизуется в произведение маргинальных вероятностей.

План рассуждения и проверка понимания

Сформулируйте условие для всех координатных событий, а не проверяйте одну выбранную ячейку или только ковариацию.
В дискретной таблице сравните каждую совместную массу с произведением маргинальных; для плотностей факторизация требуется почти всюду.
Для семейства из трёх и более величин проверяйте совместную независимость всех конечных подсемейств, а не только каждой пары.
После доказанной независимости переносите её на измеримые функции разных групп и используйте E[XY] = E[X]E[Y] при интегрируемости.

Частая ошибка. Считать попарную независимость достаточной для независимости всего семейства или выводить независимость только из нулевой ковариации.

Как проверить себя. Честные биты A, B и C = A ⊕ B попарно независимы, но тройка (0,0,0) имеет вероятность 1/4 вместо произведения 1/8.

Схема к теме

Наглядная модель: Независимость случайных величин

Факторизация совместного закона и отличие попарной независимости от независимости в совокупности.

Независимость случайных величин → Независимость случайных величин
Независимость случайных величин → joint-distributions
Независимость случайных величин → independent-events

Схема связывает понятие «Независимость случайных величин» с его ключевыми признаками. Вывод: Свяжите определение, условия и обозначения: тогда формула станет краткой записью уже понятной идеи.

Проверка пониманияОбъясните тему своими словами

Разберите пример A, B, C = A ⊕ B: покажите независимость любой пары и затем найдите одно тройное событие, нарушающее факторизацию.

В хорошем объяснении есть:

Каждый бит имеет маргинальную вероятность 1/2.
Для пары получены массы по 1/4.
Для тройки (0,0,0) сравнены 1/4 и 1/8.

Что именно должно не зависеть

Независимость означает, что наблюдение одной части семейства не меняет вероятностный закон другой части. Проверка одного среднего или одной ячейки не устанавливает это свойство: условие относится к целому совместному закону.

Строгая формулировка

Конечное семейство независимо, если вероятность пересечения координатных событий равна произведению вероятностей для любого выбора борелевских множеств. Для бесконечного семейства независимость требует этого для каждого конечного подсемейства. Эквивалентно совместная CDF факторизуется; в дискретном случае факторизуются все массы, а при совместной плотности — плотность почти всюду.

Попарно не значит в совокупности

Пусть A и B — независимые честные биты, а C — их сумма по модулю 2. Каждая пара из A,B,C независима: знание одного бита оставляет другой равновероятным. Но три вместе зависимы, поскольку третий определяется первыми двумя. Вероятность тройки (0,0,0) равна 1/4, а не произведению 1/8.

Следствия и ограничения

Для независимых интегрируемых X,Y произведение интегрируемо и E(XY)=E X·E Y. При конечных вторых моментах ковариация равна нулю. Обратное в общем случае неверно. Измеримые функции независимых групп величин тоже независимы; функции одной величины обычно не независимы.

Практические данные могут быть лишь приближённо описаны независимой моделью. Независимость наблюдений — содержательное предположение о способе сбора данных, а не свойство, которое гарантируется большой выборкой.

Три примера

Два независимых Бернулли с p=0,2 и q=0,7 одновременно равны 1 с вероятностью 0,14.
Если X,Y независимы, события X²≤4 и Y>0 тоже независимы: каждое использует только свою координату.
Для честных битов A,B и C=A⊕B вероятность A=B=C=1 равна нулю. Это противоречит произведению трёх маргинальных вероятностей 1/8.

Формула, смысл и ограничения

Главные формулы с расшифровкой

P\!\left(\bigcap_{i=1}^d\{X_i\in B_i\}\right)=\prod_{i=1}^d P(X_i\in B_i)

Формула словами: Равенство должно выполняться для всех борелевских Bi, а не только для одного удачно выбранного события.

От простого к сложному

Проверьте себя

Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.

Открываем задание…

Источники и соглашения

Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.

Marco Taboga, StatLect — определения совместных законов и моментов (откроется в новой вкладке)