Классический метод сопряженных градиентов (CG) является венцом итерационных методов, но у него есть фатальное ограничение: он работает исключительно для симметричных положительно определенных матриц. Если матрица симметрична, но является неопределенной (имеет как положительные, так и отрицательные собственные значения), метод CG разрушается из-за деления на ноль. В 1975 году Кристофер Пейдж и Майкл Сондерс разработали два шедевральных алгоритма — MINRES (Minimal Residual) и SYMMLQ, которые решили эту проблему. Эти методы сохраняют феноменальную экономичность памяти метода сопряженных градиентов, но при этом гарантированно сходятся для абсолютно любых (в том числе невырожденных неопределенных) симметричных систем огромных размеров.

Когда перед инженерами или физиками встает задача найти собственные значения плотных или разреженных матриц размерностью в миллионы строк (например, при расчете вибраций фюзеляжа самолета, спектра графов социальных сетей или анализе гидродинамической устойчивости), классические прямые методы, такие как QR-алгоритм, становятся абсолютно неприменимыми из-за кубической вычислительной сложности и нехватки оперативной памяти. Для решения задач такого колоссального масштаба американский математик Уолтер Арнольди в 1951 году разработал итерационный метод, который элегантно сводит гигантскую несимметричную матрицу к компактной матрице верхней формы Хессенберга. Сегодня алгоритм Арнольди является стандартом де-факто для извлечения доминирующих участков спектра сверхбольших систем.

Когда линейный оператор действует на многомерное векторное пространство, большинство векторов изменяют свою длину и направление, хаотично перемешиваясь. Но если присмотреться к структуре оператора, можно обнаружить целые области (плоскости, гиперплоскости), которые ведут себя как закрытые экосистемы. Если взять любой вектор из такой области и подействовать на него оператором, результирующий вектор гарантированно останется лежать в этой же самой области, никогда не выходя за ее пределы. Эти стабильные геометрические структуры называются инвариантными подпространствами. Их поиск и анализ — это ключ к расщеплению сложнейших линейных преобразований на набор простых, независимых блоков, что является фундаментальным процессом в квантовой физике и теории автоматического управления.

Когда классические итерационные методы (такие как метод Якоби или Зейделя) сталкиваются с плохо обусловленными системами уравнений астрономических размеров, их сходимость становится неприемлемо медленной. Настоящую революцию в вычислительной линейной алгебре произвело появление методов в подпространствах Крылова, венцом которых является метод сопряженных градиентов (Conjugate Gradient method, CG). Разработанный в 1952 году Хестенсом и Штифелем, этот алгоритм был изначально задуман как прямой метод, но его истинная мощь раскрылась именно в итерационном применении. Сегодня это абсолютный стандарт де-факто для решения гигантских разреженных симметричных положительно определенных систем, возникающих при дискретизации дифференциальных уравнений в частных производных.