Современный искусственный интеллект и машинное обучение зависят от сотен скрытых настроек (гиперпараметров): скорости обучения, количества слоев в нейросети, параметров регуляризации. В отличие от весов модели, которые обновляются градиентным спуском, гиперпараметры задаются до начала обучения. Каждая проверка нового набора гиперпараметров требует полного цикла переобучения тяжелой нейросети, что может занимать дни или недели работы суперкомпьютера. Слепой случайный поиск (Random Search) или перебор по сетке (Grid Search) здесь экономически неприемлемы. Для быстрого поиска оптимума в таких астрономически дорогих вычислительных средах исследование операций предложило элегантный и интеллектуальный подход — Байесовскую оптимизацию (Bayesian Optimization).

При математическом моделировании инженерных конструкций (например, контактное взаимодействие деталей в механике), рыночных равновесий и процессов налогообложения исследователи операций регулярно сталкиваются с особым типом логических условий — условиями взаимодополняемости (Complementarity Conditions). Они требуют, чтобы из двух взаимосвязанных неотрицательных переменных хотя бы одна была строго равна нулю. Попытка внедрить такие ограничения в классические задачи оптимизации привела к появлению сложнейшего и неклассического раздела математики — Математического программирования с ограничениями взаимодополняемости (MPEC). Этот класс задач знаменит тем, что он грубо нарушает базовые теоремы оптимизации, делая невозможным прямое применение коммерческих солверов.

При решении задач стохастической оптимизации, байесовского вывода в машинном обучении и оценке финансовых производных аналитикам часто требуется вычислить сложные многомерные интегралы. Классические численные методы (такие как квадратуры Гаусса) терпят полное фиаско в пространствах высокой размерности из-за проклятия размерности. Стандартный метод Монте-Карло, основанный на случайной генерации точек, также становится неэффективным, если область, дающая основной вклад в интеграл, ничтожно мала. Для преодоления этого математического барьера был создан Метод Монте-Карло марковских цепей (MCMC). Этот аппарат позволяет компьютеру интеллектуально сэмплировать (извлекать выборки) из сложнейших, аналитически неразрешимых распределений вероятностей, концентрируя вычислительную мощь именно там, где это математически наиболее важно.