При решении однородных систем линейных алгебраических уравнений (СЛАУ), где правая часть (вектор свободных членов) полностью состоит из нулей, система всегда имеет как минимум одно решение — тривиальное (все неизвестные равны нулю). Однако главный интерес для науки представляют те случаи, когда матрица системы вырождена, и помимо нулевого вектора существует бесконечное множество ненулевых решений. Множество абсолютно всех векторов, которые обнуляются при умножении на заданную матрицу A, называется ее нуль-пространством или ядром (Ker A). Понимание структуры ядра матрицы позволяет химикам балансировать сложнейшие уравнения реакций, а инженерам-строителям — анализировать степени свободы и внутренние напряжения фермовых конструкций мостов.

Сингулярное разложение (SVD) является вершиной анализа двумерных матриц, позволяя находить скрытые факторы и сжимать данные. Но что делать, когда данные имеют более двух измерений? Например, видео (ширина, высота, время), цветные медицинские МРТ-сканы (X, Y, Z) или данные социальных сетей (пользователь, действие, контекст, время). Такие многомерные массивы описываются тензорами высоких рангов. Попытка сплющить тензор в обычную матрицу (матрицизация) приводит к колоссальной потере структурной информации. Для полноценного анализа многомерных данных математики обобщили SVD на многомерный случай, создав два фундаментальных метода: разложение CP (CANDECOMP/PARAFAC) и разложение Таккера. Эти алгоритмы лежат в основе современных рекомендательных систем и хемометрики.

Когда мы исследуем функцию одной переменной, первая производная показывает нам скорость роста (наклон), а вторая производная — кривизну графика (выпуклость или вогнутость), что позволяет точно находить максимумы и минимумы. Но как быть с функциями многих переменных, которые описывают сложные многомерные поверхности? Здесь на помощь приходит матрица Гессе (гессиан), названная в честь немецкого математика Людвига Отто Гессе. Гессиан — это квадратная симметричная матрица, состоящая из всех возможных вторых частных производных скалярной функции. В симбиозе с градиентом (аналогом первой производной), матрица Гессе является главным математическим аппаратом теории оптимизации, машинного обучения и теоретической механики.

Приведение матриц к треугольному или диагональному виду — центральная задача вычислительной линейной алгебры. Однако классический метод Гаусса, использующий элементарные преобразования строк (сдвиги), обладает существенным недостатком: он может накапливать вычислительные ошибки округления при работе с числами с плавающей запятой. Для создания абсолютно устойчивых алгоритмов математики обратились к ортогональным преобразованиям, которые сохраняют длины векторов и не искажают пространство. Двумя самыми мощными инструментами в этом арсенале являются матрицы вращения Уоллеса-Гивенса (Givens rotations) и матрицы отражения Хаусхолдера (Householder reflections). Именно они лежат в основе современных алгоритмов QR-разложения и поиска собственных значений матриц.