Main menu

Теория расписаний: задача с параллельными машинами (Parallel Machine Scheduling)

Когда на заводе имеется лишь один станок, задача упорядочивания деталей (Single Machine Scheduling) сводится к поиску оптимальной перестановки в рамках одной очереди. Однако в современных облачных дата-центрах, распределяющих вычислительные задачи между тысячами серверов, или на крупных конвейерах, имеющих дублирующее оборудование, возникает задача планирования на параллельных машинах (Parallel Machine Scheduling). Эта математическая модель добавляет к классической задаче новое измерение: прежде чем упорядочить задачи во времени, алгоритм должен принять жесткое решение о том, на какой конкретный процессор (или станок) направить каждую конкретную работу. Сложность задачи радикально возрастает, переходя из разряда перестановок в класс NP-трудных задач комбинаторной оптимизации и упаковки в контейнеры.

Подробнее

Сетевое планирование: стохастические задачи о кратчайшем пути на графах (SSP)

Классический алгоритм Дейкстры идеально строит кратчайший путь, когда время проезда по каждой улице является абсолютно детерминированной константой. Но если мы проектируем навигатор для утреннего часа пик в мегаполисе или маршрутизируем пакеты в нестабильной беспроводной сети (Ad-hoc), время прохождения каждого ребра графа становится стохастической (случайной) величиной. Если просто заменить все случайные времена их средними математическими ожиданиями и запустить Дейкстру, полученный путь может оказаться катастрофически ненадежным (например, иметь огромную дисперсию задержек из-за вероятности аварий). Для решения этой проблемы исследование операций применяет аппарат Стохастических задач о кратчайшем пути (Stochastic Shortest Path, SSP).

Подробнее

Оптимизация гиперпараметров в машинном обучении: байесовская оптимизация и суррогатные модели

Современный искусственный интеллект и машинное обучение зависят от сотен скрытых настроек (гиперпараметров): скорости обучения, количества слоев в нейросети, параметров регуляризации. В отличие от весов модели, которые обновляются градиентным спуском, гиперпараметры задаются до начала обучения. Каждая проверка нового набора гиперпараметров требует полного цикла переобучения тяжелой нейросети, что может занимать дни или недели работы суперкомпьютера. Слепой случайный поиск (Random Search) или перебор по сетке (Grid Search) здесь экономически неприемлемы. Для быстрого поиска оптимума в таких астрономически дорогих вычислительных средах исследование операций предложило элегантный и интеллектуальный подход — Байесовскую оптимизацию (Bayesian Optimization).

Подробнее

Соц. сети