Одной из главных математических и вычислительных трудностей стохастического программирования является вычисление целевой функции, которая в задачах планирования "под неопределенностью" представляет собой математическое ожидание (интеграл) по непрерывному многомерному распределению случайных параметров. Интегрирование таких функций в задачах высокой размерности аналитически невозможно, а использование классических детерминированных методов численного интегрирования (квадратур) мгновенно приводит к "проклятию размерности". Метод аппроксимации выборочным средним (Sample Average Approximation, SAA) изящно решает эту проблему, заменяя точное математическое ожидание его эмпирической оценкой, полученной методом Монте-Карло.

Задача о покрытии множества (Set Covering Problem, SCP) — классическая и широко распространенная модель дискретной оптимизации. Она возникает каждый раз, когда необходимо выбрать минимальное количество ресурсов для удовлетворения заданного множества потребностей. SCP формирует математический фундамент для колоссальной индустрии составления расписаний экипажей авиакомпаний, оптимизации маршрутов мусоровозов, планирования смен медперсонала и размещения базовых станций сотовой связи.

Когда вычисление значения целевой функции является крайне долгим, дорогостоящим или требует проведения реального физического эксперимента (например, обучение сверхглубокой нейронной сети, бурение разведочной скважины или синтез нового белка), классические методы градиентного спуска и эволюционные алгоритмы становятся неприменимыми. Они требуют тысяч итераций, что экономически нецелесообразно. Байесовская оптимизация (Bayesian Optimization) представляет собой математическую стратегию глобального поиска, которая минимизирует количество обращений к целевой функции за счет построения ее вероятностной суррогатной модели.

Выпуклое программирование — это наиболее изученный и важный класс задач нелинейного программирования. Основная особенность состоит в том, что целевая функция является выпуклой, а допустимое множество — выпуклым множеством. Для таких задач любое локальное оптимальное решение является также глобальным, что позволяет использовать эффективные методы поиска экстремума с гарантией достижения оптимального результата.

Когда целевая функция имеет сложный, мультимодальный ландшафт с множеством локальных минимумов, градиентные методы оказываются бесполезными. В таких случаях на помощь приходят методы глобальной оптимизации, основанные на случайном поиске. Они не гарантируют нахождение глобального минимума за конечное время, но обладают высокой вероятностью попадания в "бассейн притяжения" глобального оптимума.

Теория двойственности является одним из самых мощных теоретических и прикладных разделов математического программирования. Она позволяет рассматривать задачу оптимизации с двух разных точек зрения: исходной задачи и ее двойственного аналога. Помимо математической элегантности, двойственность обладает глубокой экономической интерпретацией, позволяя оценить эффективность ресурсов и рыночную стоимость ограничений.