Сингулярное разложение (SVD) является вершиной анализа двумерных матриц, позволяя находить скрытые факторы и сжимать данные. Но что делать, когда данные имеют более двух измерений? Например, видео (ширина, высота, время), цветные медицинские МРТ-сканы (X, Y, Z) или данные социальных сетей (пользователь, действие, контекст, время). Такие многомерные массивы описываются тензорами высоких рангов. Попытка сплющить тензор в обычную матрицу (матрицизация) приводит к колоссальной потере структурной информации. Для полноценного анализа многомерных данных математики обобщили SVD на многомерный случай, создав два фундаментальных метода: разложение CP (CANDECOMP/PARAFAC) и разложение Таккера. Эти алгоритмы лежат в основе современных рекомендательных систем и хемометрики.

Когда мы исследуем функцию одной переменной, первая производная показывает нам скорость роста (наклон), а вторая производная — кривизну графика (выпуклость или вогнутость), что позволяет точно находить максимумы и минимумы. Но как быть с функциями многих переменных, которые описывают сложные многомерные поверхности? Здесь на помощь приходит матрица Гессе (гессиан), названная в честь немецкого математика Людвига Отто Гессе. Гессиан — это квадратная симметричная матрица, состоящая из всех возможных вторых частных производных скалярной функции. В симбиозе с градиентом (аналогом первой производной), матрица Гессе является главным математическим аппаратом теории оптимизации, машинного обучения и теоретической механики.

Приведение матриц к треугольному или диагональному виду — центральная задача вычислительной линейной алгебры. Однако классический метод Гаусса, использующий элементарные преобразования строк (сдвиги), обладает существенным недостатком: он может накапливать вычислительные ошибки округления при работе с числами с плавающей запятой. Для создания абсолютно устойчивых алгоритмов математики обратились к ортогональным преобразованиям, которые сохраняют длины векторов и не искажают пространство. Двумя самыми мощными инструментами в этом арсенале являются матрицы вращения Уоллеса-Гивенса (Givens rotations) и матрицы отражения Хаусхолдера (Householder reflections). Именно они лежат в основе современных алгоритмов QR-разложения и поиска собственных значений матриц.