Обучение глубоких нейронных сетей — это, по своей сути, решение задачи математического программирования гигантских масштабов, где целевая функция (Loss Function) зависит от миллионов, а иногда и миллиардов параметров. Классический (пакетный) градиентный спуск требует вычисления градиента ошибки по всему обучающему набору данных (датасету) на каждом шаге. Для петабайтов данных это вычислительно невозможно. Стохастический градиентный спуск (SGD) элегантно решает эту проблему, заменяя точный градиент его математическим ожиданием (стохастической аппроксимацией), открыв эру современного ИИ.

Метод покоординатного спуска (Coordinate Descent, CD) является одним из старейших интуитивных алгоритмов безусловной оптимизации, в котором на каждой итерации функция минимизируется только по одной переменной (или небольшому блоку переменных), в то время как остальные остаются фиксированными. Несмотря на кажущуюся простоту, в эпоху больших данных этот алгоритм был переосмыслен и стал одним из самых мощных вычислительных инструментов для решения гигантских задач разреженного машинного обучения (таких как LASSO и Elastic Net), где классические методы второго порядка не справляются с размерностью.

Алгоритм Франка-Вульфа, также известный как метод условного градиента, был предложен Маргерит Франк и Филипом Вульфом в 1956 году для решения задач квадратичного программирования с линейными ограничениями. Сегодня этот алгоритм переживает мощный ренессанс в машинном обучении и анализе данных благодаря своему уникальному свойству: он не требует выполнения операции проекции на допустимое множество. Для задач оптимизации огромной размерности, где проекция является вычислительно неподъемной, метод Франка-Вульфа стал элегантным и высокоэффективным решением.

Нечеткое математическое программирование (Fuzzy Mathematical Programming) представляет собой глубокое развитие классических методов оптимизации, предназначенное для работы с неопределенностью, имеющей не вероятностную, а лингвистическую и когнитивную природу. Инициированное трудами Ричарда Беллмана и Лотфи Заде в 1970-х годах, это направление позволяет строить математически строгие модели производственных и экономических систем в условиях, когда ограничения, цели и параметры не могут быть заданы точными числами, а описываются субъективными категориями.