Метод сопряженных градиентов: прорыв в решении гигантских систем
Когда классические итерационные методы (такие как метод Якоби или Зейделя) сталкиваются с плохо обусловленными системами уравнений астрономических размеров, их сходимость становится неприемлемо медленной. Настоящую революцию в вычислительной линейной алгебре произвело появление методов в подпространствах Крылова, венцом которых является метод сопряженных градиентов (Conjugate Gradient method, CG). Разработанный в 1952 году Хестенсом и Штифелем, этот алгоритм был изначально задуман как прямой метод, но его истинная мощь раскрылась именно в итерационном применении. Сегодня это абсолютный стандарт де-факто для решения гигантских разреженных симметричных положительно определенных систем, возникающих при дискретизации дифференциальных уравнений в частных производных.