Оптимизация гиперпараметров в машинном обучении: байесовская оптимизация и суррогатные модели

Математическая философия Байесовской оптимизации строится на отказе от прямых вычислений целевой функции. Вместо того чтобы мучить суперкомпьютер десятками тысяч итераций, алгоритм строит виртуальную Суррогатную модель (Surrogate Model) ландшафта целевой функции. В качестве суррогата чаще всего используются Гауссовские процессы (Gaussian Processes, GP). Гауссовский процесс — это не просто линия аппроксимации; это статистический аппарат, который выдает как математическое ожидание (наиболее вероятное значение функции в неизвестной точке), так и дисперсию (уровень нашей неуверенности или неопределенности в этом прогнозе). Суррогатная модель вычисляется за миллисекунды и служит дешевым математическим полигоном для интеллектуального поиска.

Сердцем байесовской оптимизации является Функция сбора данных (Acquisition Function). Это специальная алгебраическая функция (например, Ожидаемое улучшение — Expected Improvement, EI, или Верхняя доверительная граница — UCB), которая решает, в какой именно точке пространства гиперпараметров нужно провести следующий дорогой физический эксперимент (следующее обучение нейросети). Функция сбора виртуозно балансирует между двумя противоположными стратегиями: Exploitation (эксплуатация — нужно проверить точку там, где суррогатная модель обещает максимум) и Exploration (исследование — нужно проверить точку там, где дисперсия и неопределенность модели максимальны, чтобы изучить слепые зоны ландшафта).

Алгоритм работает циклично: 1) суррогатная модель (Гауссовский процесс) обновляется на основе всех предыдущих точек; 2) математики ищут максимум дешевой функции сбора (EI), находя самую перспективную точку для проверки; 3) в этой найденной точке запускается многочасовое обучение реальной нейросети; 4) полученная реальная точность нейросети добавляется в базу знаний, и цикл повторяется. Использование функции Ожидаемого улучшения (EI) математически гарантирует, что алгоритм не потратит ни одной секунды вычислительного времени на те комбинации гиперпараметров, которые, согласно байесовской вероятности, не имеют шансов побить текущий абсолютный рекорд.

Проблема классических Гауссовских процессов заключается в их кубической вычислительной сложности: при накоплении тысяч точек наблюдений обновление матрицы ковариации замедляется до неприемлемых значений. В качестве альтернативы суррогатные модели в современных системах (таких как алгоритм TPE — Tree-structured Parzen Estimator) строятся на основе деревьев решений и плотностей вероятностей (KDE). Эти методы, внедренные в фреймворки типа Optuna или Hyperopt, совершили революцию в Data Science. Они позволяют находить оптимальную архитектуру нейронных сетей всего за несколько десятков итераций, экономя корпорациям сотни тысяч долларов на аренде облачных графических ускорителей (GPU), доказывая, что умная математика всегда превосходит грубую вычислительную силу.