Обычное умножение матриц по правилу «строка на столбец» известно всем, кто хоть раз сталкивался с линейной алгеброй. Это умножение сжимает данные: мы перемножаем матрицы совместимых размеров и часто получаем матрицу меньшей размерности. Однако в математике существует совершенно иной тип матричного умножения — Кронекерово произведение (или тензорное произведение матриц). Вместо того чтобы сворачивать информацию, оно разворачивает ее, генерируя из двух небольших матриц одну гигантскую блочную структуру. Этот элегантный математический аппарат незаменим в квантовой механике для описания многочастичных систем, в обработке изображений и при решении сложных матричных дифференциальных уравнений.

Метод Гаусса — это первый и самый известный алгоритм для решения систем линейных алгебраических уравнений (СЛАУ), который мы изучаем в университете. Однако в чистом виде (с постоянным приведением расширенной матрицы к ступенчатому виду) он не используется в серьезном программном обеспечении. С точки зрения современной вычислительной линейной алгебры, прямой ход метода Гаусса представляет собой не что иное, как факторизацию (разложение) матрицы коэффициентов в произведение двух треугольных матриц. Этот процесс называется LU-разложением (от английских слов Lower и Upper). Понимание и применение LU-разложения позволяет ускорить решение инженерных и физических задач в десятки и сотни раз, экономя колоссальные объемы вычислительных ресурсов суперкомпьютеров.

В то время как линейные формы (функционалы) берут один вектор и превращают его в число, билинейные формы работают сразу с парой векторов. Билинейная форма — это функция, принимающая два вектора из векторного пространства (или двух разных пространств) и возвращающая скаляр, причем эта функция линейна по каждому из своих аргументов по отдельности. Если мы зафиксируем первый вектор, функция превратится в обычный линейный функционал относительно второго вектора, и наоборот. Знакомое всем скалярное произведение — это лишь один, самый «дружелюбный» частный случай билинейной формы. Изучение общего случая открывает невероятную алгебраическую архитектуру, объединяющую геометрию, теорию групп и тензорное исчисление.

Векторные нормы интуитивно понятны: они позволяют измерить длину вектора или расстояние между точками в многомерном пространстве. Но как измерить «величину» или «силу» целого линейного преобразования, заданного матрицей? Для этой цели в вычислительной линейной алгебре были введены матричные нормы. Они играют критическую роль в анализе устойчивости алгоритмов и погрешностей вычислений. Знание матричных норм позволяет математикам и программистам отвечать на фундаментальный вопрос: насколько сильно изменятся решения системы линейных уравнений, если входные данные (матрица коэффициентов или вектор свободных членов) содержат небольшие ошибки измерения или машинные шумы округления.