В численной нелинейной оптимизации существуют две глобальные стратегии обеспечения математической сходимости алгоритмов к локальному минимуму из произвольной стартовой точки: методы линейного поиска (Line Search) и методы доверительных областей (Trust-Region Methods). Если линейный поиск сначала выбирает направление движения, а затем пытается подобрать оптимальную длину шага вдоль этого направления, то метод доверительных областей работает принципиально иначе. Он сначала определяет радиус многомерной окрестности, внутри которой локальная квадратичная аппроксимация функции считается надежной, а затем ищет оптимальный шаг, не покидая пределов этой доверительной зоны.

В современную эру машинного обучения, сжатия данных и обработки сигналов (Compressed Sensing) регулярно возникают задачи оптимизации огромной размерности, в которых целевая функция является суммой гладкой и негладкой составляющих. Классическим примером является задача регуляризованной регрессии LASSO, где гладкая квадратичная ошибка штрафуется негладкой L1-нормой для обеспечения разреженности решения. Для эффективного решения таких задач традиционные градиентные методы неприменимы, а субградиентные методы сходятся недопустимо медленно. Решением стал математический аппарат проксимальных операторов и методы проксимального градиента.

Теория двойственности Фенхеля (Fenchel Duality) является одним из самых глубоких и абстрактных обобщений классической двойственности в нелинейном программировании. Опираясь на аппарат выпуклого анализа, эта теория позволяет рассматривать задачи оптимизации не через призму точек и градиентов, а через пространства сопряженных функций и опорных гиперплоскостей. Двойственность Фенхеля дает мощнейшие инструменты для решения задач негладкой оптимизации, математической физики и машинного обучения, где классический метод множителей Лагранжа сталкивается с аналитическими трудностями.