Векторные нормы интуитивно понятны: они позволяют измерить длину вектора или расстояние между точками в многомерном пространстве. Но как измерить «величину» или «силу» целого линейного преобразования, заданного матрицей? Для этой цели в вычислительной линейной алгебре были введены матричные нормы. Они играют критическую роль в анализе устойчивости алгоритмов и погрешностей вычислений. Знание матричных норм позволяет математикам и программистам отвечать на фундаментальный вопрос: насколько сильно изменятся решения системы линейных уравнений, если входные данные (матрица коэффициентов или вектор свободных членов) содержат небольшие ошибки измерения или машинные шумы округления.

Концепция обратной матрицы является одной из центральных в линейной алгебре, однако она обладает жесткими ограничениями: обратную матрицу можно найти только для квадратных матриц, у которых определитель не равен нулю (невырожденных матриц). Но что делать, если система прямоугольная (уравнений больше или меньше, чем неизвестных) или матрица квадратная, но содержит линейно зависимые строки? В середине XX века математики Элиаким Гастингс Мур и Роджер Пенроуз независимо друг от друга ввели уникальное обобщение — псевдообратную матрицу (обозначается как A^+). Этот мощнейший математический инструмент позволяет находить наилучшие решения для любых, даже самых безнадежных вырожденных матричных систем.

Исторически линейная алгебра развивалась на базе действительных (вещественных) чисел. Однако многие математические структуры, особенно при анализе собственных значений матриц или корней полиномов, остаются неполными без использования мнимой единицы (i). Переход к векторным пространствам над полем комплексных чисел обогащает теорию невероятно красивыми результатами. Квантовая механика, описывающая микромир частиц, полностью построена на комплексных векторных пространствах (гильбертовых пространствах). Для того чтобы геометрия (длины, углы) корректно работала с комплексными числами, базовые операции пришлось модифицировать, что привело к появлению эрмитовых и унитарных матриц.

В реальных инженерных задачах, статистике и дата-саенсе мы крайне редко сталкиваемся с идеальными системами уравнений, имеющими точное решение. Обычно экспериментальных данных (уравнений) гораздо больше, чем искомых параметров (неизвестных). Такие системы называются переопределенными, и из-за неизбежных погрешностей измерений они практически всегда несовместны (вектор свободных членов не лежит в пространстве столбцов матрицы). Для извлечения полезной информации из такого «хаоса» Карл Фридрих Гаусс и Адриен Мари Лежандр разработали Метод Наименьших Квадратов (МНК). Сегодня МНК является краеугольным камнем регрессионного анализа, эконометрики и алгоритмов фильтрации сигналов.