Умблик
Высшая математика
Совместные распределения
Вероятность и статистика · Совместные распределения

Ковариация и ковариационная матрица

Совместное изменение величин и разброс линейных комбинаций.

9 минут на чтениеЗаданий для самопроверки: 3

Чему научимся

Она нужна для вычисления разброса сумм и линейных комбинаций, построения ковариационной матрицы и последующей нормировки в корреляцию.

Главная идея. Ковариация E[(X − EX)(Y − EY)] показывает, склонны ли две величины отклоняться от средних в одну или разные стороны. Её единицы равны произведению единиц X и Y.

План рассуждения и проверка понимания
  1. Проверьте конечность вторых моментов, найдите средние и центрируйте обе величины перед усреднением произведения отклонений.
  2. При необходимости используйте эквивалентную формулу E[XY] − E[X]E[Y], но не забывайте совместный закон для вычисления E[XY].
  3. Для суммы примените Var(X + Y) = Var(X) + Var(Y) + 2Cov(X,Y), не отбрасывая перекрёстный член без основания.
  4. Для матрицы проверьте симметрию и неотрицательность aᵀΣa для нескольких векторов a; отрицательная дисперсия выявляет невозможную матрицу.

Частая ошибка. Всегда складывать дисперсии слагаемых или считать нулевую ковариацию доказательством отсутствия любой зависимости между величинами.

Как проверить себя. Дисперсии складываются без поправки лишь при нулевой ковариации, в частности при независимости. Нелинейная зависимость может оставаться при Cov = 0.

Схема к теме

Наглядная модель: Ковариация и ковариационная матрица

Совместное изменение величин и разброс линейных комбинаций.

Наглядная модель: Ковариация и ковариационная матрицаСовместное изменение величин и разброс линейных комбинаций.Ковариация иковариационная…joint-distributionsvarianceКовариация иковариационнаяматрица
  • Ковариация и ковариационная матрица → Ковариация и ковариационная матрица
  • Ковариация и ковариационная матрица → joint-distributions
  • Ковариация и ковариационная матрица → variance
Схема связывает понятие «Ковариация и ковариационная матрица» с его ключевыми признаками. Вывод: Свяжите определение, условия и обозначения: тогда формула станет краткой записью уже понятной идеи.
Проверка пониманияОбъясните тему своими словами

При Var(X) = 2, Var(Y) = 5 и Cov(X,Y) = −1 вычислите Var(X + Y) и объясните, как отрицательная ковариация уменьшает разброс суммы.

В хорошем объяснении есть:

  • Сохранён множитель 2 перед ковариацией.
  • Получена дисперсия 5.
  • Результат остаётся неотрицательным.

Совместное отклонение

Если две величины часто отклоняются от своих средних в одну сторону, их ковариация положительна; если в разные стороны — отрицательна. Величина измеряется в произведении единиц X и Y, поэтому сравнивать её численный размер для разных масштабов неудобно.

Определение и вычисление

Для величин с конечными вторыми моментами ковариация равна ожиданию произведения центрированных величин. Раскрытие скобок даёт E(XY)−E X·E Y. Добавление константы к одной переменной её не меняет, а умножение переменных на a и b умножает ковариацию на ab.

Для вектора ковариации составляют матрицу. Диагональ содержит дисперсии, внедиагональные элементы — попарные ковариации. Матрица симметрична. Для любой линейной комбинации дисперсия неотрицательна, откуда следует неотрицательная определённость ковариационной матрицы.

Набросок доказательства формулы суммы

Центрируйте сумму X+Y и возведите её в квадрат. После взятия ожидания остаются два квадратичных члена и удвоенное произведение. Поэтому дисперсия суммы равна сумме дисперсий плюс удвоенная ковариация. Просто складывать дисперсии допустимо при нулевой ковариации, в частности при независимости.

Чего она не показывает

Нулевая ковариация не запрещает нелинейной зависимости. Если X симметрична относительно нуля и имеет нужные моменты, пара X и X² может иметь нулевую ковариацию, хотя вторая координата полностью задаётся первой. По одной ковариации нельзя восстановить весь совместный закон.

Три примера

  1. Если Y=3X+2 и Var(X)=4, то Cov(X,Y)=3·4=12.
  2. При Var(X)=2,Var(Y)=5,Cov(X,Y)=−1 дисперсия X+Y равна 2+5−2=5.
  3. Матрица с дисперсиями 1 и 1 и ковариацией 2 невозможна: дисперсия X−Y была бы 1+1−4=−2.

Формула, смысл и ограничения

Главные формулы с расшифровкой

Cov⁡(X,Y)=E[(X−EX)(Y−EY)],Var⁡(a⊤X)=a⊤Σa\operatorname{Cov}(X,Y)=\mathbb E[(X-\mathbb EX)(Y-\mathbb EY)],\quad \operatorname{Var}(a^\top X)=a^\top\Sigma a

Формула словами: Компоненты имеют конечные вторые моменты; Σij=Cov(Xi,Xj). Матрица Σ симметрична и неотрицательно определена.

От простого к сложному

Проверьте себя

Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.

Открываем задание…

Открываем задание…

Открываем задание…

Источники и соглашения

Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.