Main menu

Метод покоординатного спуска: математика и применение в разреженной оптимизации

Метод покоординатного спуска (Coordinate Descent, CD) является одним из старейших интуитивных алгоритмов безусловной оптимизации, в котором на каждой итерации функция минимизируется только по одной переменной (или небольшому блоку переменных), в то время как остальные остаются фиксированными. Несмотря на кажущуюся простоту, в эпоху больших данных этот алгоритм был переосмыслен и стал одним из самых мощных вычислительных инструментов для решения гигантских задач разреженного машинного обучения (таких как LASSO и Elastic Net), где классические методы второго порядка не справляются с размерностью.

Подробнее

Алгоритм Франка-Вульфа (метод условного градиента) в выпуклой оптимизации

Алгоритм Франка-Вульфа, также известный как метод условного градиента, был предложен Маргерит Франк и Филипом Вульфом в 1956 году для решения задач квадратичного программирования с линейными ограничениями. Сегодня этот алгоритм переживает мощный ренессанс в машинном обучении и анализе данных благодаря своему уникальному свойству: он не требует выполнения операции проекции на допустимое множество. Для задач оптимизации огромной размерности, где проекция является вычислительно неподъемной, метод Франка-Вульфа стал элегантным и высокоэффективным решением.

Подробнее

Нечеткое математическое программирование: теория и алгоритмы оптимизации в условиях неопределенности

Нечеткое математическое программирование (Fuzzy Mathematical Programming) представляет собой глубокое развитие классических методов оптимизации, предназначенное для работы с неопределенностью, имеющей не вероятностную, а лингвистическую и когнитивную природу. Инициированное трудами Ричарда Беллмана и Лотфи Заде в 1970-х годах, это направление позволяет строить математически строгие модели производственных и экономических систем в условиях, когда ограничения, цели и параметры не могут быть заданы точными числами, а описываются субъективными категориями.

Подробнее

Алгоритмы динамического программирования на графах с ограниченной древесной шириной

В теории графов и комбинаторной оптимизации подавляющее большинство практически важных задач (раскраска графов, поиск независимого множества, задача коммивояжера) относятся к классу NP-трудных. Однако математические исследования показали, что структура связей внутри графа имеет решающее значение для вычислительной сложности. Концепция древесной ширины (Treewidth) и метод динамического программирования на деревьях декомпозиции произвели революцию в дискретной алгоритмике, позволив решать многие казавшиеся неприступными задачи за строго полиномиальное, а иногда и линейное время.

Подробнее

Метод Нелдера-Мида: симплексный поиск в безусловной оптимизации

Метод Нелдера-Мида, широко известный как метод деформируемого многогранника, представляет собой один из самых популярных и надежных алгоритмов прямого поиска. Разработанный в 1965 году Джоном Нелдером и Роджером Мидом, этот алгоритм решает задачи нелинейной безусловной минимизации функций многих переменных без использования вычисления градиентов или матриц Гессе. Это свойство делает его бесценным инструментом для оптимизации сложных функций черного ящика, зашумленных данных и недифференцируемых математических моделей, где классические ньютоновские методы терпят сокрушительное поражение.

Подробнее

Эвристика локального поиска: метод поиска с запретами (Tabu Search)

Метод поиска с запретами (Tabu Search, TS), предложенный Фредом Гловером в конце 1980-х годов, является одной из самых влиятельных и результативных метаэвристик в комбинаторной оптимизации. В отличие от простых алгоритмов локального спуска, которые неизбежно застревают в первом встречном локальном минимуме, и методов имитации отжига, использующих слепую вероятностную стратегию для выхода из ловушек, алгоритм поиска с запретами наделен интеллектуальной адаптивной памятью, позволяющей ему методично и детерминированно исследовать ландшафт целевой функции.

Подробнее

Программирование в ограничениях (Constraint Programming) и его гибридизация с MILP

Программирование в ограничениях (Constraint Programming, CP) — это мощная вычислительная парадигма, изначально возникшая в области искусственного интеллекта и логического программирования, но ставшая одним из важнейших инструментов современного исследования операций. В отличие от классического математического программирования, где фокус направлен на оптимизацию целевой функции при линейных или выпуклых ограничениях, CP концентрируется на поиске допустимого решения в сложных комбинаторных пространствах с жесткими логическими и нелинейными связями.

Подробнее

Многокритериальная оптимизация: метод анализа иерархий (AHP) Томаса Саати

Метод анализа иерархий (Analytic Hierarchy Process, AHP), разработанный выдающимся американским математиком Томасом Саати в 1970-х годах, представляет собой уникальный математический инструмент системного подхода к решению многокритериальных задач. В отличие от строгих методов математического программирования, которые оперируют объективными количественными ограничениями (стоимость, вес, объем), AHP формализует процесс оценки качественных, субъективных и трудноизмеримых факторов (комфорт, политические риски, престиж), переводя интуицию экспертов на строгий язык матричной алгебры.

Подробнее

Стохастическое программирование: метод выборочных средних (SAA)

Одной из главных математических и вычислительных трудностей стохастического программирования является вычисление целевой функции, которая в задачах планирования "под неопределенностью" представляет собой математическое ожидание (интеграл) по непрерывному многомерному распределению случайных параметров. Интегрирование таких функций в задачах высокой размерности аналитически невозможно, а использование классических детерминированных методов численного интегрирования (квадратур) мгновенно приводит к "проклятию размерности". Метод аппроксимации выборочным средним (Sample Average Approximation, SAA) изящно решает эту проблему, заменяя точное математическое ожидание его эмпирической оценкой, полученной методом Монте-Карло.

Подробнее

Муравьиные алгоритмы (ACO) в дискретной оптимизации

Муравьиные алгоритмы (Ant Colony Optimization, ACO) представляют собой выдающийся класс метаэвристических методов глобальной дискретной оптимизации, вдохновленных биологической моделью фуражирования (поиска пищи) колониями реальных муравьев. С момента своего создания Марко Дориго в 1992 году этот вероятностный подход, основанный на роевом интеллекте и стигмергии (непрямом обмене информацией агентов через изменение внешней среды), стал мощнейшим инструментом для решения сложнейших NP-трудных задач на графах, таких как задача коммивояжера и задача маршрутизации транспорта.

Подробнее
Subscribe to this RSS feed

Соц. сети