Центральная предельная теорема (ЦПТ) утверждает, что сумма независимых случайных величин, нормированная, сходится к нормальному распределению при n→∞ независимо от исходного закона.

Условия Каруша-Куна-Таккера (ККТ) — это абсолютный фундамент и центральная теорема современного нелинейного математического программирования. Они представляют собой обобщение классического метода множителей Лагранжа на задачи оптимизации, содержащие не только строгие равенства, но и ограничения-неравенства. Любой современный численный метод поиска экстремумов (от алгоритмов внутренней точки до последовательного квадратичного программирования) алгоритмически сводится к поиску точки в многомерном пространстве, которая удовлетворяет системе уравнений и неравенств ККТ.

Метод множителей Лагранжа — это мощный математический метод нахождения локальных экстремумов функции при наличии ограничений в форме равенств. Метод трансформирует задачу поиска максимума или минимума функции $f(x)$ при условиях $g(x) = 0$ в поиск безусловного экстремума функции Лагранжа $L(x, lambda) = f(x) - lambda cdot g(x)$. Эта концепция стала фундаментом для теории двойственности и алгоритмов нелинейного программирования.

Методы штрафных и барьерных функций предназначены для сведения задач оптимизации с ограничениями к последовательности задач безусловной оптимизации. Идея заключается в добавлении к целевой функции штрафа за нарушение ограничений или барьера, предотвращающего выход за допустимую область. Это позволяет использовать стандартные алгоритмы поиска экстремума для решения широкого круга инженерных и экономических задач.