Метод покоординатного спуска (Coordinate Descent, CD) является одним из старейших интуитивных алгоритмов безусловной оптимизации, в котором на каждой итерации функция минимизируется только по одной переменной (или небольшому блоку переменных), в то время как остальные остаются фиксированными. Несмотря на кажущуюся простоту, в эпоху больших данных этот алгоритм был переосмыслен и стал одним из самых мощных вычислительных инструментов для решения гигантских задач разреженного машинного обучения (таких как LASSO и Elastic Net), где классические методы второго порядка не справляются с размерностью.

Алгоритм Франка-Вульфа, также известный как метод условного градиента, был предложен Маргерит Франк и Филипом Вульфом в 1956 году для решения задач квадратичного программирования с линейными ограничениями. Сегодня этот алгоритм переживает мощный ренессанс в машинном обучении и анализе данных благодаря своему уникальному свойству: он не требует выполнения операции проекции на допустимое множество. Для задач оптимизации огромной размерности, где проекция является вычислительно неподъемной, метод Франка-Вульфа стал элегантным и высокоэффективным решением.

Нечеткое математическое программирование (Fuzzy Mathematical Programming) представляет собой глубокое развитие классических методов оптимизации, предназначенное для работы с неопределенностью, имеющей не вероятностную, а лингвистическую и когнитивную природу. Инициированное трудами Ричарда Беллмана и Лотфи Заде в 1970-х годах, это направление позволяет строить математически строгие модели производственных и экономических систем в условиях, когда ограничения, цели и параметры не могут быть заданы точными числами, а описываются субъективными категориями.