Обучение глубоких нейронных сетей — это, по своей сути, решение задачи математического программирования гигантских масштабов, где целевая функция (Loss Function) зависит от миллионов, а иногда и миллиардов параметров. Классический (пакетный) градиентный спуск требует вычисления градиента ошибки по всему обучающему набору данных (датасету) на каждом шаге. Для петабайтов данных это вычислительно невозможно. Стохастический градиентный спуск (SGD) элегантно решает эту проблему, заменяя точный градиент его математическим ожиданием (стохастической аппроксимацией), открыв эру современного ИИ.