Ортогональность и процесс ортогонализации Грама-Шмидта

Ортонормированные базисы

Особую ценность представляют так называемые ортонормированные базисы. Это такие системы линейно независимых векторов, в которых каждый вектор ортогонален всем остальным, и при этом длина (норма) каждого вектора равна строго единице. Работать в координатах такого базиса — одно удовольствие. Если вы хотите найти координаты любого произвольного вектора в ортонормированном базисе, вам не нужно решать сложную систему линейных уравнений. Достаточно просто вычислить скалярные произведения этого вектора с каждым базисным вектором. Полученные числа (коэффициенты Фурье) и будут искомыми координатами. Именно на этом принципе базируется весь классический гармонический анализ и обработка цифровых сигналов.

Алгоритм Грама-Шмидта: суть метода

Что делать, если у нас есть обычный базис (состоящий из линейно независимых, но не перпендикулярных векторов), а нам нужен ортогональный? Для решения этой задачи был разработан элегантный итеративный алгоритм, известный как процесс ортогонализации Грама-Шмидта. Его логика предельно геометрична. Мы берем первый вектор исходного базиса и фиксируем его. Затем берем второй вектор и вычитаем из него его проекцию на первый вектор — полученный остаток будет гарантированно перпендикулярен первому вектору. Берем третий вектор и вычитаем из него проекции на первый и второй новые ортогональные векторы. Повторяя этот процесс шаг за шагом, мы превращаем любую перекошенную систему векторов в идеальный ортогональный каркас.

Ортогональные матрицы и их свойства

Матрицы, столбцы которых образуют ортонормированный базис, называются ортогональными матрицами. Они обладают поистине магическим свойством: обратная матрица для них в точности равна транспонированной (матрице, где строки записаны как столбцы). Транспонирование не требует никаких вычислительных затрат по сравнению с классическим обращением матриц, что делает ортогональные матрицы любимцами специалистов по вычислительной математике и компьютерной графике. Любое умножение вектора на ортогональную матрицу сохраняет его длину и углы между векторами — геометрически это означает, что такие матрицы описывают только жесткие вращения и зеркальные отражения объектов в пространстве, без их деформации.

QR-разложение как следствие ортогонализации

Процесс Грама-Шмидта имеет прямое отношение к одному из важнейших матричных разложений — QR-разложению. Любую невырожденную матрицу A можно представить в виде произведения двух матриц: Q и R, где Q — ортогональная матрица, а R — верхнетреугольная матрица. По сути, столбцы матрицы Q — это ортонормированные векторы, полученные из столбцов матрицы A алгоритмом Грама-Шмидта, а матрица R хранит коэффициенты этих преобразований. QR-разложение является фундаментом для современных итерационных алгоритмов поиска собственных значений матриц (QR-алгоритм) и является одним из самых численных и стабильных способов решения переопределенных систем методом наименьших квадратов.