Когда вычисление значения целевой функции является крайне долгим, дорогостоящим или требует проведения реального физического эксперимента (например, обучение сверхглубокой нейронной сети, бурение разведочной скважины или синтез нового белка), классические методы градиентного спуска и эволюционные алгоритмы становятся неприменимыми. Они требуют тысяч итераций, что экономически нецелесообразно. Байесовская оптимизация (Bayesian Optimization) представляет собой математическую стратегию глобального поиска, которая минимизирует количество обращений к целевой функции за счет построения ее вероятностной суррогатной модели.