Марковские цепи и процессы: стационарные вероятности и анализ переходных состояний

Математическим ядром марковской цепи является так называемое марковское свойство (свойство отсутствия последействия). Оно гласит: условная вероятность того, что система перейдет в определенное состояние в будущем, зависит исключительно от того, в каком состоянии система находится в данный момент, и абсолютно не зависит от того, каким именно путем она в это состояние пришла. Это допущение позволяет полностью описать динамику системы с конечным числом состояний с помощью одной единственной квадратной матрицы — матрицы переходных вероятностей. Строки этой матрицы соответствуют текущим состояниям, а столбцы — будущим. Каждый элемент матрицы показывает вероятность перехода из состояния A в состояние B за один шаг (один квант времени). Поскольку система обязательно должна куда-то перейти (или остаться на месте), сумма вероятностей в каждой строке матрицы всегда строго равна единице (стохастическая матрица).

Аналитическая мощь марковских цепей раскрывается при вычислении прогнозов. Если мы знаем вектор начального состояния системы (например, вероятности того, в каком состоянии система находится в нулевой день), то для того чтобы узнать вероятностное распределение системы через n шагов, нам достаточно просто умножить начальный вектор на матрицу переходных вероятностей, возведенную в степень n. Это блестящее применение матричной алгебры означает, что многошаговые вероятностные деревья, которые потребовали бы экспоненциального времени для расчетов классическими методами комбинаторики, схлопываются в тривиальное перемножение матриц, доступное для вычисления за доли миллисекунды.

Для инженеров и экономистов наибольший интерес представляет долгосрочное (асимптотическое) поведение системы. Теория эргодических марковских цепей доказывает, что если из каждого состояния системы можно (за конечное число шагов) добраться в любое другое состояние, то со временем влияние начальных условий полностью стирается. Система выходит на так называемый стационарный режим. Матрица, возведенная в бесконечную степень, стабилизируется, и вектор вероятностей перестает меняться. Алгебраически поиск этого стационарного вектора вероятностей сводится к поиску собственного вектора матрицы переходов, соответствующего собственному значению, равному единице (уравнение pi * P = pi). В бизнесе этот стационарный вектор показывает, какую долю рынка в долгосрочной перспективе займет каждый бренд, если текущие вероятности перехода клиентов от одного бренда к другому останутся неизменными.

Не все марковские цепи являются эргодическими. Существуют системы с поглощающими состояниями — такими состояниями, попав в которые, система больше никогда не может их покинуть (вероятность перехода в себя равна 1, а в остальные равна 0). Примером может служить модель банкротства предприятия, модель поломки станка без возможности восстановления или прогрессирование неизлечимой болезни. Для таких цепей математический анализ переключается с поиска стационарных вероятностей на поиск фундаментальной матрицы. Эта матрица позволяет аналитикам точно вычислить математическое ожидание количества шагов (или времени), которое система проведет в транзитных состояниях до того, как ее неотвратимо затянет в поглощающее состояние. Этот инструмент является абсолютным стандартом при расчете ожидаемого времени жизни (MTBF) сложных отказоустойчивых технических систем.