Понятие ортогональности является одним из самых мощных инструментов в арсенале линейной алгебры. В двумерном или трехмерном мире ортогональность означает просто перпендикулярность векторов (угол между ними равен 90 градусам). В абстрактных евклидовых пространствах два вектора называются ортогональными, если их скалярное произведение в точности равно нулю. Работа с ортогональными системами векторов кардинально упрощает любые математические вычисления: матрицы становятся легко обратимыми, системы уравнений распадаются на независимые части, а геометрические проекции вычисляются в одно действие. Умение находить и строить ортогональные базисы — ключевой навык для инженеров и аналитиков данных.

Обычные линейные векторные пространства позволяют нам складывать векторы и умножать их на числа, но они ничего не говорят нам о геометрии: длинах векторов и углах между ними. Чтобы внедрить эти привычные геометрические понятия в абстрактную алгебру, математики ввели концепцию скалярного произведения. Векторное пространство, снабженное скалярным произведением, называется евклидовым пространством (в честь древнегреческого математика Евклида). Эта структура является важнейшим мостом между строгой алгеброй и многомерной геометрией, позволяя нам измерять расстояния и определять взаимное расположение объектов в пространствах любых размерностей, включая функциональные пространства в математическом анализе.

Каждая квадратная матрица задает определенное линейное преобразование пространства — она может растягивать, сжимать, поворачивать или отражать векторы. Если мы возьмем произвольный вектор и умножим его на матрицу, результат, как правило, изменит и свою длину, и свое направление. Однако для большинства матриц существуют особые, уникальные векторы, которые после умножения на матрицу сохраняют свое исходное направление. Они могут растянуться, сжаться или поменять направление на строго противоположное, но они остаются на той же прямой линии. Такие «упрямые» векторы называются собственными векторами (eigenvectors), а коэффициент их растяжения или сжатия — собственным значением (eigenvalue). Эта концепция лежит в основе многих сложных технологий, от алгоритма PageRank в Google до анализа вибраций мостов в инженерии.