Конечные цепи Маркова
Переходы между состояниями, распределение по шагам и условия стационарного режима.
Чему научимся
Модель описывает пошаговую динамику с памятью, упакованной в состояние, и позволяет отделить стационарный закон от фактической сходимости к нему.
Главная идея. В цепи Маркова условный закон следующего состояния зависит от прошлого только через текущее состояние. Матрица P задаёт переходы строками, а распределение развивается как μn+1 = μnP.
План рассуждения и проверка понимания
- Выберите состояния так, чтобы они содержали всю информацию для прогноза; слишком грубое состояние может нарушить марковское свойство.
- Запишите pij = P(Xn+1 = j | Xn = i), проверьте неотрицательность и сумму каждой строки матрицы P, равную единице.
- Умножайте строку начального распределения справа на P для каждого шага, а вероятность пути находите произведением начального веса и переходов.
- Решите πP = π с нормировкой, затем отдельно проверьте неприводимость и апериодичность перед выводом о предельной сходимости.
Частая ошибка. Считать марковские соседние состояния независимыми или обещать сходимость к любому найденному стационарному распределению без проверки периода и классов.
Как проверить себя. Переход явно зависит от текущего состояния. Двухсостоянийная цепь с обязательным переключением имеет π = (1/2,1/2), но из фиксированного старта чередуется вечно.
Наглядная модель: Конечные цепи Маркова
Переходы между состояниями, распределение по шагам и условия стационарного режима.
- 1. Наблюдаем — фиксируем текущее состояние
- 2. Переходим — применяем правило перехода
- 3. Проверяем — сравниваем вероятности исходов
Проверка пониманияОбъясните тему своими словами
Для переходов 0→1 с вероятностью a и 1→0 с вероятностью b выведите стационарный вес состояния 1 через баланс потоков.
В хорошем объяснении есть:
- Записано равенство π₀a = π₁b.
- Использована нормировка π₀ + π₁ = 1.
- Получено π₁ = a/(a + b) при a + b > 0.
Память через состояние
Марковское свойство означает: условное распределение следующего состояния при известном прошлом зависит только от текущего состояния. Это не независимость последовательных значений. Состояние должно содержать всю информацию, нужную для прогноза; если его выбрали слишком грубо, свойство может не выполняться.
Однородная конечная цепь
Матрица P не зависит от номера шага. Элемент pij задаёт вероятность перехода из i в j; элементы неотрицательны, строки суммируются в 1. Вместе с начальным распределением матрица определяет закон всей цепи. Вероятность конкретного пути равна начальному весу, умноженному на вероятности его переходов.
Стационарное распределение
Вероятностный вектор π, удовлетворяющий πP=π, не меняется после шага. У конечной цепи такое распределение существует. Для конечной неприводимой цепи оно единственно; если цепь вдобавок апериодична, распределения из любого начального закона сходятся к π. Нельзя обещать сходимость только по существованию решения стационарного уравнения.
Контрпример и набросок расчёта
Цепь из двух состояний, которая каждый раз обязательно переключается, имеет стационарный закон (1/2,1/2). Но при старте в одном состоянии распределение бесконечно чередуется и не сходится. Это период 2.
В двухсостоянийной модели с вероятностью перехода 0→1, равной a, и 1→0, равной b, при a+b>0 стационарный вес состояния 1 равен a/(a+b). Уравнение баланса потоков π0a=π1b вместе с нормировкой выводит формулу. Для более крупных цепей решают линейную систему и отдельно проверяют структуру классов и периодов.
Три примера
- При a=0,2 и b=0,3 стационарная вероятность состояния 1 равна 0,2/0,5=0,4.
- Если обе строки P равны (0,7,0,3), после одного шага распределение равно этой строке независимо от старта.
- У тождественной матрицы каждое состояние поглощающее, поэтому любое начальное распределение стационарно; единственности нет.
Формула, смысл и ограничения
Главные формулы с расшифровкой
Формула словами: Векторы вероятностей — строки; Pij=P(Xn+1=j|Xn=i), каждая строка матрицы переходов имеет сумму 1.
От формулы к наблюдению
Попробуйте самостоятельно
Измените параметры и сопоставьте расчёт с результатами случайного эксперимента.
От простого к сложному
Проверьте себя
Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.
Открываем задание…
Открываем задание…
Открываем задание…
Источники и соглашения
Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.