Марковские процессы принятия решений (MDP) предоставляют безупречный математический фундамент для разработки систем искусственного интеллекта, способных действовать в условиях стохастической неопределенности. Однако формулировка задачи (в виде состояний, действий, вероятностей переходов и наград) — это лишь половина дела. Настоящая магия кроется в алгоритмах, которые находят оптимальное правило поведения (политику) для агента. Одним из самых мощных и теоретически значимых алгоритмов точного решения MDP является Итерация по стратегиям (Policy Iteration), предложенная Рональдом Ховардом в 1960 году. Этот алгоритм позволяет находить абсолютно идеальную стратегию управления системами за конечное, и зачастую очень малое, число шагов.