Классические марковские процессы принятия решений (MDP) исходят из фундаментального допущения: агент всегда обладает полной и абсолютно достоверной информацией о текущем состоянии внешней среды. Однако в реальных задачах исследования операций — от медицинской диагностики до навигации беспилотных автомобилей и робототехники — датчики всегда зашумлены, а информация критически неполна. Агент видит лишь косвенные признаки, которые могут соответствовать сразу нескольким физическим состояниям. Для математического моделирования таких систем в условиях неопределенности был разработан аппарат Частично наблюдаемых марковских процессов (Partially Observable Markov Decision Processes, POMDP), который объединяет теорию управления с байесовским статистическим выводом.