Марковские цепи и их приложения
Марковские цепи — один из ключевых инструментов стохастической математики, описывающий системы с «памятью нулевого порядка», где будущее зависит только от текущего состояния. Такие модели успешно применяются к задачам телекоммуникаций, биоинформатики, лингвистики и теории очередей.
Дискретная марковская цепь определяется конечным или счётным множеством состояний и матрицей переходных вероятностей (P), элементы которой удовлетворяют условиям (p_{ij}ge0) и (sum_j p_{ij}=1) для каждого (i). Исследуются такие характеристики, как достижимость и коммуникативность состояний, классы рекуррентных и переходных состояний, периодичность цепи, а также существование и единственность стационарного распределения (pi), описывающего предельное поведение системы.
Исторически марковские цепи были введены Андреем Марковым, который показал, что средние характеристики цепей при определённых условиях подчиняются закону больших чисел. Это позволило выйти за рамки классических независимых испытаний Бернулли и рассматривать цепочки событий, где вероятность следующего символа обусловлена текущим.
Особый интерес представляют марковские цепи, возникающие в теории массового обслуживания, где состояние описывает число клиентов в системе. В классических моделях M/M/1 и M/M/c процесс является процессом рождения–смерти с пуассоновскими поступлениями.
Марковские цепи тесно связаны с понятием мартингалов, поскольку для многих цепей можно построить функции от состояний, образующие мартингалы относительно естественной фильтрации. Ресурсы по марковским цепям естественным образом дополняют общий обзор стохастических процессов.
