Когда размерность матрицы коэффициентов в системе линейных алгебраических уравнений достигает миллионов (что типично для задач теплопроводности, гидродинамики или квантовой химии), прямые методы решения, такие как метод Гаусса или LU-разложение, становятся бессильны. Они требуют кубического времени O(n^3) и гигантских объемов оперативной памяти. Более того, физические матрицы часто являются разреженными (состоят в основном из нулей), а прямые методы превращают эти нули в ненулевые элементы (fill-in), уничтожая структуру памяти. Решением этой проблемы являются итерационные методы. Они работают по принципу постепенного улучшения ответа: задается начальное, случайное приближение, которое шаг за шагом уточняется, пока не будет достигнута требуемая точность.

Векторные нормы интуитивно понятны: они позволяют измерить длину вектора или расстояние между точками в многомерном пространстве. Но как измерить «величину» или «силу» целого линейного преобразования, заданного матрицей? Для этой цели в вычислительной линейной алгебре были введены матричные нормы. Они играют критическую роль в анализе устойчивости алгоритмов и погрешностей вычислений. Знание матричных норм позволяет математикам и программистам отвечать на фундаментальный вопрос: насколько сильно изменятся решения системы линейных уравнений, если входные данные (матрица коэффициентов или вектор свободных членов) содержат небольшие ошибки измерения или машинные шумы округления.

Сингулярное разложение (Singular Value Decomposition, сокращенно SVD) часто называют вершиной классической линейной алгебры. Если метод собственных значений (диагонализация) работает только для квадратных матриц и требует довольно жестких условий, то SVD применимо абсолютно к любой матрице: квадратной, прямоугольной, вырожденной, нулевой. Это разложение позволяет заглянуть в самую глубокую анатомию любого линейного преобразования, выявляя его скрытую структуру. Сегодня алгоритмы вычисления SVD встроены в каждую библиотеку машинного обучения, так как на этом математическом фундаменте стоят системы рекомендаций, методы сжатия данных, распознавание изображений и семантический анализ текстов.