Матрица Гессе: анализ кривизны многомерных функций

Структура матрицы и теорема Клеро

Рассмотрим скалярную функцию f, зависящую от n переменных. Ее матрица Гессе H будет иметь размер n на n. Элемент матрицы H_ij вычисляется путем взятия частной производной функции сначала по переменной x_i, а затем полученного результата — по переменной x_j. Важнейшим свойством этой матрицы является ее симметрия (H_ij = H_ji). Это свойство опирается на фундаментальную теорему Клеро (Шварца) из математического анализа, которая гласит: если смешанные вторые частные производные непрерывны, то результат дифференцирования абсолютно не зависит от порядка взятия производных. Благодаря этой идеальной симметрии матрица Гессе всегда обладает полным набором вещественных собственных значений и ортогональным базисом собственных векторов.

Критерий Сильвестра и классификация экстремумов

Главное предназначение гессиана — анализ стационарных точек (точек, где градиент равен нулю). Чтобы понять, является ли стационарная точка локальным минимумом, максимумом или седловой точкой (как перевал в горах), необходимо исследовать матрицу Гессе в этой точке. Математически это сводится к определению знака соответствующей квадратичной формы. Если гессиан положительно определен (все собственные значения строго положительны), то функция имеет форму многомерной чаши, и мы находимся в точке строжайшего минимума. Если матрица отрицательно определена — это пик (максимум). Классический способ проверить это вручную без поиска собственных значений — применить критерий Сильвестра: вычислить угловые миноры матрицы. Если все они положительны, матрица положительно определена.

Выпуклое программирование и сходимость алгоритмов

В машинном обучении и исследовании операций особое значение придается выпуклым функциям. Функция называется строго выпуклой на всей своей области определения, если ее матрица Гессе положительно определена в абсолютно каждой точке пространства. Особенность таких функций в том, что любой их локальный минимум гарантированно является глобальным. Это означает, что алгоритм оптимизации никогда не застрянет в локальной «яме». Именно поэтому нейронные сети и алгоритмы регрессии математики всегда стараются (если это возможно) формулировать через функции потерь, обладающие свойствами строгой выпуклости (например, среднеквадратичная ошибка, гессиан которой всегда положителен).

Метод Ньютона в многомерной оптимизации

Обычный метод градиентного спуска делает шаги, опираясь только на информацию о наклоне поверхности. Это приводит к зигзагообразным колебаниям в «оврагах». Метод Ньютона (второго порядка) использует матрицу Гессе для адаптации направления и длины шага с учетом кривизны поверхности. Шаг обновления вычисляется путем умножения обратной матрицы Гессе на вектор градиента (H^(-1) * grad). Метод Ньютона обладает невероятной квадратичной скоростью сходимости — количество верных знаков в ответе удваивается на каждой итерации. Единственной преградой является то, что для нейросетей с миллионами параметров вычисление и обращение гессиана (матрицы размером миллион на миллион) физически невозможно, из-за чего применяют алгоритмы аппроксимации гессиана, такие как BFGS или L-BFGS.