Условия Каруша-Куна-Таккера (ККТ) — это абсолютный фундамент и центральная теорема современного нелинейного математического программирования. Они представляют собой обобщение классического метода множителей Лагранжа на задачи оптимизации, содержащие не только строгие равенства, но и ограничения-неравенства. Любой современный численный метод поиска экстремумов (от алгоритмов внутренней точки до последовательного квадратичного программирования) алгоритмически сводится к поиску точки в многомерном пространстве, которая удовлетворяет системе уравнений и неравенств ККТ.

Обучение глубоких нейронных сетей — это, по своей сути, решение задачи математического программирования гигантских масштабов, где целевая функция (Loss Function) зависит от миллионов, а иногда и миллиардов параметров. Классический (пакетный) градиентный спуск требует вычисления градиента ошибки по всему обучающему набору данных (датасету) на каждом шаге. Для петабайтов данных это вычислительно невозможно. Стохастический градиентный спуск (SGD) элегантно решает эту проблему, заменяя точный градиент его математическим ожиданием (стохастической аппроксимацией), открыв эру современного ИИ.

Метод покоординатного спуска (Coordinate Descent, CD) является одним из старейших интуитивных алгоритмов безусловной оптимизации, в котором на каждой итерации функция минимизируется только по одной переменной (или небольшому блоку переменных), в то время как остальные остаются фиксированными. Несмотря на кажущуюся простоту, в эпоху больших данных этот алгоритм был переосмыслен и стал одним из самых мощных вычислительных инструментов для решения гигантских задач разреженного машинного обучения (таких как LASSO и Elastic Net), где классические методы второго порядка не справляются с размерностью.