Муравьиные алгоритмы (Ant Colony Optimization, ACO) представляют собой выдающийся класс метаэвристических методов глобальной дискретной оптимизации, вдохновленных биологической моделью фуражирования (поиска пищи) колониями реальных муравьев. С момента своего создания Марко Дориго в 1992 году этот вероятностный подход, основанный на роевом интеллекте и стигмергии (непрямом обмене информацией агентов через изменение внешней среды), стал мощнейшим инструментом для решения сложнейших NP-трудных задач на графах, таких как задача коммивояжера и задача маршрутизации транспорта.

В численной нелинейной оптимизации существуют две глобальные стратегии обеспечения математической сходимости алгоритмов к локальному минимуму из произвольной стартовой точки: методы линейного поиска (Line Search) и методы доверительных областей (Trust-Region Methods). Если линейный поиск сначала выбирает направление движения, а затем пытается подобрать оптимальную длину шага вдоль этого направления, то метод доверительных областей работает принципиально иначе. Он сначала определяет радиус многомерной окрестности, внутри которой локальная квадратичная аппроксимация функции считается надежной, а затем ищет оптимальный шаг, не покидая пределов этой доверительной зоны.

В современную эру машинного обучения, сжатия данных и обработки сигналов (Compressed Sensing) регулярно возникают задачи оптимизации огромной размерности, в которых целевая функция является суммой гладкой и негладкой составляющих. Классическим примером является задача регуляризованной регрессии LASSO, где гладкая квадратичная ошибка штрафуется негладкой L1-нормой для обеспечения разреженности решения. Для эффективного решения таких задач традиционные градиентные методы неприменимы, а субградиентные методы сходятся недопустимо медленно. Решением стал математический аппарат проксимальных операторов и методы проксимального градиента.