Сингулярное разложение (SVD) в геометрических преобразованиях

Геометрическая структура теоремы SVD

Теорема о сингулярном разложении гласит, что любую действительную квадратную (или даже прямоугольную) матрицу A можно разложить в произведение трех матриц: A = U * Sigma * V^T. Первая матрица V^T является ортогональной. В аналитической геометрии ортогональная матрица описывает жесткое вращение (возможно, с симметричным отражением) координатной системы. Вторая матрица Sigma является строго диагональной матрицей с неотрицательными числами на главной диагонали (сингулярными числами). Диагональная матрица осуществляет независимое растяжение или сжатие координатных осей. Третья матрица U также является ортогональной и описывает финальное вращение деформированного пространства.

Деформация единичной сферы в эллипсоид

Физический смысл SVD лучше всего понятен при анализе деформации идеальной фигуры. Представим единичную сферу в трехмерном пространстве (множество векторов единичной длины). Применим к ней преобразование A. Что произойдет со сферой? Согласно SVD, на первом шаге матрица V^T просто повернет эту сферу в пространстве (сфера останется сферой). На втором шаге матрица Sigma растянет эту сферу вдоль базисных осей координат на величины, равные сингулярным числам. Сфера превратится в трехосный эллипсоид, полуоси которого строго равны сингулярным числам матрицы A. На третьем шаге матрица U повернет этот готовый эллипсоид так, чтобы его главные оси заняли итоговое положение в пространстве. Таким образом, SVD доказывает, что образом единичной сферы при любом линейном преобразовании всегда является эллипсоид.

Сингулярные числа и число обусловленности

Сингулярные числа (элементы матрицы Sigma, обозначаемые как сигма_1, сигма_2, сигма_3...) несут колоссальную аналитическую информацию о преобразовании. Они показывают коэффициенты экстремального растяжения пространства. Отношение максимального сингулярного числа к минимальному называется числом обусловленности матрицы (Condition Number). Геометрически это число показывает, насколько сильно эллипсоид вытянут (насколько он похож на иголку или блин по сравнению с идеальным шаром). В вычислительной математике огромное число обусловленности означает, что матрица близка к вырождению, и решение системы уравнений с такой матрицей будет катастрофически неустойчивым к мельчайшим ошибкам округления.

Применение: анализ главных компонент (PCA)

Аппарат сингулярного разложения является математическим ядром Анализа главных компонент (PCA) в статистике и машинном обучении. Когда данные представлены огромным многомерным облаком точек, исследователям необходимо найти направление, вдоль которого данные обладают наибольшим разбросом (дисперсией). Выполнив центрирование данных и вычислив SVD их координатной матрицы, математики мгновенно получают ответ. Направление максимального разброса строго совпадает со столбцом ортогональной матрицы U, соответствующим самому большому сингулярному числу. Это позволяет проецировать тысячемерные данные на двумерную или трехмерную плоскость с минимальными потерями информации, выделяя главные геометрические паттерны из информационного шума.