В реальном мире многие процессы развиваются не по жестким детерминированным законам, а носят вероятностный характер. Эволюция погоды, колебания фондовых рынков, поведение пользователей в интернете — все это примеры стохастических систем. В начале XX века русский математик Андрей Андреевич Марков предложил гениальную математическую модель для описания таких процессов, названную впоследствии цепями Маркова. Главная идея модели состоит в том, что будущее состояние системы зависит исключительно от ее текущего состояния и совершенно не зависит от предыстории. В терминах линейной алгебры такая динамика идеально описывается векторами вероятностей и особым классом матриц — стохастическими матрицами (или матрицами переходных вероятностей).