Матрицы обладают множеством характеристик, но одной из важнейших является характеристический многочлен (полином), корни которого представляют собой собственные значения матрицы. Английский математик Артур Кэли и ирландский физик Уильям Гамильтон открыли удивительную алгебраическую связь между самой матрицей и ее характеристическим многочленом. Их теорема — один из самых красивых и контринтуитивных результатов классической линейной алгебры. Она стирает границу между числами и таблицами, показывая, что матрицы подчиняются собственным внутренним законам, которые можно использовать для колоссального упрощения вычислений, таких как возведение матриц в высокие степени или вычисление обратных матриц.

Когда речь заходит о решении систем линейных уравнений прямыми методами, первым на ум приходит классическое LU-разложение. Однако в вычислительной математике, статистике и машинном обучении мы крайне часто сталкиваемся с матрицами особого класса — симметричными и положительно определенными. Для таких «идеальных» матриц применение общего LU-разложения является избыточным и неэффективным. Французский военный геодезист и математик Андре-Луи Холецкий еще в начале XX века разработал алгоритм факторизации, который учитывает симметрию задачи, сокращая вычислительные затраты и требования к памяти ровно в два раза. Разложение Холецкого стало незаменимым инструментом в финансовом моделировании, фильтрации сигналов и оптимизации.

Когда классические итерационные методы (такие как метод Якоби или Зейделя) сталкиваются с плохо обусловленными системами уравнений астрономических размеров, их сходимость становится неприемлемо медленной. Настоящую революцию в вычислительной линейной алгебре произвело появление методов в подпространствах Крылова, венцом которых является метод сопряженных градиентов (Conjugate Gradient method, CG). Разработанный в 1952 году Хестенсом и Штифелем, этот алгоритм был изначально задуман как прямой метод, но его истинная мощь раскрылась именно в итерационном применении. Сегодня это абсолютный стандарт де-факто для решения гигантских разреженных симметричных положительно определенных систем, возникающих при дискретизации дифференциальных уравнений в частных производных.