Стохастическая аппроксимация и робастные методы

Алгоритм Роббинса-Монро обеспечивает сходимость к корню при подходящих условиях на шаг обучения. В обучении машин робастный стохастический градиентный спуск (SGD) с мини-батчами и адаптивными скоростями (Adam, RMSProp) оптимизирует нейросети. Стохастическая аппроксимация связывает Монте-Карло методы с оптимизацией: вместо прямой симуляции критериев итеративно улучшает параметры моделей. Она применяется для численного решения уравнений стохастического управления.