Закон больших чисел утверждает, что среднее арифметическое частот независимых испытаний с одинаковой вероятностью сходится к математическому ожиданию. Слабая форма по Чебышеву, сильная по Колмогорову почти наверное. Это обосновывает надежность статистических оценок.

Робастная оптимизация (Robust Optimization) представляет собой современную парадигму математического программирования, направленную на решение задач в условиях "жесткой" параметрической неопределенности. В отличие от стохастического программирования, где случайные факторы описываются точными распределениями вероятностей, робастная оптимизация исходит из предположения, что известны лишь границы (множества), в которых могут колебаться входные данные. Цель — найти "гарантированное" решение, которое останется допустимым и оптимальным при любой (даже наихудшей) реализации параметров из заданного множества неопределенности.

Алгоритм Франка-Вульфа, также известный как метод условного градиента, был предложен Маргерит Франк и Филипом Вульфом в 1956 году для решения задач квадратичного программирования с линейными ограничениями. Сегодня этот алгоритм переживает мощный ренессанс в машинном обучении и анализе данных благодаря своему уникальному свойству: он не требует выполнения операции проекции на допустимое множество. Для задач оптимизации огромной размерности, где проекция является вычислительно неподъемной, метод Франка-Вульфа стал элегантным и высокоэффективным решением.

Теория двойственности Фенхеля (Fenchel Duality) является одним из самых глубоких и абстрактных обобщений классической двойственности в нелинейном программировании. Опираясь на аппарат выпуклого анализа, эта теория позволяет рассматривать задачи оптимизации не через призму точек и градиентов, а через пространства сопряженных функций и опорных гиперплоскостей. Двойственность Фенхеля дает мощнейшие инструменты для решения задач негладкой оптимизации, математической физики и машинного обучения, где классический метод множителей Лагранжа сталкивается с аналитическими трудностями.