Задача планирования проектов с ограниченными ресурсами (Resource-Constrained Project Scheduling Problem, RCPSP) является одной из самых известных и вычислительно сложных проблем в исследовании операций. В то время как классические методы сетевого планирования (CPM/PERT) учитывают только технологические связи между работами, RCPSP моделирует суровую индустриальную реальность: работы требуют использования станков, бригад рабочих или финансирования, объем которых в каждый момент времени жестко ограничен. Эта комбинация временных зависимостей и дискретных ресурсных конфликтов превращает RCPSP в сильно NP-трудную задачу оптимизации.

Условия Каруша-Куна-Таккера (ККТ) — это абсолютный фундамент и центральная теорема современного нелинейного математического программирования. Они представляют собой обобщение классического метода множителей Лагранжа на задачи оптимизации, содержащие не только строгие равенства, но и ограничения-неравенства. Любой современный численный метод поиска экстремумов (от алгоритмов внутренней точки до последовательного квадратичного программирования) алгоритмически сводится к поиску точки в многомерном пространстве, которая удовлетворяет системе уравнений и неравенств ККТ.

Обучение глубоких нейронных сетей — это, по своей сути, решение задачи математического программирования гигантских масштабов, где целевая функция (Loss Function) зависит от миллионов, а иногда и миллиардов параметров. Классический (пакетный) градиентный спуск требует вычисления градиента ошибки по всему обучающему набору данных (датасету) на каждом шаге. Для петабайтов данных это вычислительно невозможно. Стохастический градиентный спуск (SGD) элегантно решает эту проблему, заменяя точный градиент его математическим ожиданием (стохастической аппроксимацией), открыв эру современного ИИ.