Классические марковские цепи отлично описывают пассивные системы, которые эволюционируют по законам вероятности без вмешательства извне (например, изменение погоды). Но что делать, если исследователь может активно вмешиваться в этот процесс, выбирая действия, которые меняют как вероятности перехода, так и получаемую от системы прибыль? Для моделирования таких управляемых стохастических систем в исследовании операций был создан аппарат Марковских процессов принятия решений (Markov Decision Processes, MDP). MDP стали абсолютным фундаментом для современного машинного обучения с подкреплением (Reinforcement Learning), позволив искусственному интеллекту победить чемпионов мира в сложных стратегических играх.

Когда методы точной оптимизации (такие как симплекс-метод или метод ветвей и границ) сталкиваются с задачами колоссальной размерности, время поиска идеального ответа начинает исчисляться миллионами лет. В таких ситуациях исследование операций обращается к эвристическому программированию — классу алгоритмов, которые жертвуют абсолютной математической точностью ради скорости вычислений. Эвристики не гарантируют нахождения глобального оптимума, но способны за считанные секунды найти достаточно хорошее (субоптимальное) решение. Многие из самых мощных современных метаэвристик были созданы на основе подражания гениальным оптимизационным процессам, происходящим в живой природе и физике.