В реальных инженерных задачах, статистике и дата-саенсе мы крайне редко сталкиваемся с идеальными системами уравнений, имеющими точное решение. Обычно экспериментальных данных (уравнений) гораздо больше, чем искомых параметров (неизвестных). Такие системы называются переопределенными, и из-за неизбежных погрешностей измерений они практически всегда несовместны (вектор свободных членов не лежит в пространстве столбцов матрицы). Для извлечения полезной информации из такого «хаоса» Карл Фридрих Гаусс и Адриен Мари Лежандр разработали Метод Наименьших Квадратов (МНК). Сегодня МНК является краеугольным камнем регрессионного анализа, эконометрики и алгоритмов фильтрации сигналов.

Мы знаем, что многие квадратные матрицы можно привести к диагональному виду, что радикально упрощает вычисление их степеней и экспонент. Однако в линейной алгебре существует целый класс матриц, для которых диагонализация принципиально невозможна из-за нехватки линейно независимых собственных векторов. Такие матрицы называются дефектными. Для них французский математик Камиль Жордан разработал канонический вид, который является максимально близким к диагональному — Жорданову нормальную форму. Изучение жордановых форм позволяет решать сложные системы линейных дифференциальных уравнений с кратными корнями характеристического уравнения и глубоко понимать резонансные явления в динамических системах.

По мере углубления в линейную алгебру и смежные дисциплины, такие как дифференциальная геометрия или теоретическая физика, понятий классических векторов и матриц становится недостаточно. Для описания сложных многомерных зависимостей, которые не меняют своей физической или геометрической сути при смене системы координат, математики ввели понятие тензора. Если скаляр — это тензор нулевого ранга (просто число), вектор — тензор первого ранга (одномерный массив), а матрица — тензор второго ранга (двумерная таблица), то тензоры высших рангов представляют собой многомерные структуры данных. Изучение тензорного исчисления необходимо для понимания общей теории относительности Эйнштейна, механики сплошных сред и современной архитектуры глубоких нейронных сетей.