Main menu

Матричное дифференцирование: алгебра градиентов и гессианов

Математический анализ (дифференцирование и интегрирование) изначально создавался для работы со скалярными функциями. Однако в современной статистике, теории управления и алгоритмах машинного обучения (в частности, при тренировке глубоких нейронных сетей) функции зависят не от одной переменной, а от огромных векторов и матриц. Поиск минимума таких сложных многомерных функций потерь требует вычисления производных по матричному аргументу. Матричное исчисление (Matrix Calculus) — это строгий математический аппарат, объединяющий компактную нотацию линейной алгебры с цепными правилами математического анализа, позволяющий брать производные от матриц по векторам и от скаляров по матрицам без утомительного расписывания тысяч частных производных.

Подробнее

Соц. сети