Когда размерность матрицы коэффициентов в системе линейных алгебраических уравнений достигает миллионов (что типично для задач теплопроводности, гидродинамики или квантовой химии), прямые методы решения, такие как метод Гаусса или LU-разложение, становятся бессильны. Они требуют кубического времени O(n^3) и гигантских объемов оперативной памяти. Более того, физические матрицы часто являются разреженными (состоят в основном из нулей), а прямые методы превращают эти нули в ненулевые элементы (fill-in), уничтожая структуру памяти. Решением этой проблемы являются итерационные методы. Они работают по принципу постепенного улучшения ответа: задается начальное, случайное приближение, которое шаг за шагом уточняется, пока не будет достигнута требуемая точность.

Когда французский математик Жак Адамар формализовал понятие «корректно поставленной задачи», он требовал три условия: решение должно существовать, быть единственным и непрерывно зависеть от входных данных. В реальной жизни, особенно в обратных задачах физики и обработке сигналов, системы линейных уравнений AX = B часто являются некорректно поставленными. Матрица A может иметь почти нулевые собственные значения (гигантское число обусловленности), из-за чего ничтожный шум измерений в векторе B приводит к астрономическим ошибкам в решении X. Чтобы получить физически адекватный ответ, советский математик Андрей Тихонов разработал гениальный алгебраический метод стабилизации таких систем, известный во всем мире как регуляризация Тихонова (или гребневая регрессия в статистике).

Когда мы изучаем евклидовы векторные пространства, мы привыкаем к тому, что скалярное произведение вектора на самого себя (квадрат длины) всегда строго положительно и равно нулю только для нулевого вектора. Однако в начале XX века, с появлением Специальной теории относительности Альберта Эйнштейна, физикам потребовалась совершенно иная геометрия для описания четырехмерного пространства-времени. Немецкий математик Герман Минковский предложил математическую модель, в которой скалярное произведение перестало быть положительно определенным. Так родилась линейная алгебра псевдоевклидовых пространств — удивительный мир, в котором векторы могут иметь отрицательную или даже нулевую длину, несмотря на то, что сами они не равны нулю.