В эпоху больших данных (Big Data) и машинного обучения традиционные методы оптимизации, требующие загрузки всей матрицы данных в оперативную память одного вычислительного узла, перестали справляться с нагрузкой. Метод множителей с чередующимися направлениями (Alternating Direction Method of Multipliers, ADMM) стал алгоритмическим спасением для распределенной выпуклой оптимизации. Он гармонично сочетает в себе способность к декомпозиции, свойственную методу двойственного восхождения, и высокую скорость сходимости метода дополненного лагранжиана, позволяя разбивать гигантские задачи на мелкие фрагменты, решаемые параллельно.

Алгоритмы роевого интеллекта (Swarm Intelligence) представляют собой семейство метаэвристических методов глобальной непрерывной и дискретной оптимизации, вдохновленных коллективным поведением самоорганизующихся биологических систем. В отличие от классического математического программирования, где поиск экстремума опирается на строгую алгебру и градиенты, методы роевого интеллекта используют децентрализованное взаимодействие множества простых агентов. Оптимизация роем частиц (PSO) и алгоритм искусственной пчелиной колонии (ABC) являются флагманами этого подхода, демонстрируя превосходные результаты на мультимодальных и зашумленных ландшафтах.

Многоуровневое (в частности, двухуровневое) математическое программирование описывает сложный класс задач оптимизации, в которых целевая функция и ограничения содержат переменные, являющиеся оптимальным решением другой задачи оптимизации. Этот математический аппарат идеально подходит для моделирования иерархических систем принятия решений, где участники обладают асимметричными полномочиями. В экономике и теории игр такие задачи известны как модели Штакельберга, где существует «Лидер», делающий первый ход, и «Ведомый», реагирующий на действия Лидера.

Метод эллипсоидов, предложенный советским математиком Леонидом Хачияном в 1979 году, стал исторической вехой в математическом программировании. Этот алгоритм впервые строго доказал, что задачи линейного программирования могут быть решены за полиномиальное время. В отличие от классического симплекс-метода, который в худших сценариях (например, на кубе Клее-Минти) требует экспоненциального количества шагов, метод эллипсоидов гарантирует нахождение оптимума с оценкой сложности, зависящей только от размера входных данных, что навсегда изменило теоретический ландшафт теории алгоритмов и вычислительной сложности.