Классические марковские цепи отлично описывают пассивные системы, которые эволюционируют по законам вероятности без вмешательства извне (например, изменение погоды). Но что делать, если исследователь может активно вмешиваться в этот процесс, выбирая действия, которые меняют как вероятности перехода, так и получаемую от системы прибыль? Для моделирования таких управляемых стохастических систем в исследовании операций был создан аппарат Марковских процессов принятия решений (Markov Decision Processes, MDP). MDP стали абсолютным фундаментом для современного машинного обучения с подкреплением (Reinforcement Learning), позволив искусственному интеллекту победить чемпионов мира в сложных стратегических играх.