Метод наименьших квадратов (МНК) в строгой геометрической интерпретации

Переопределенные системы уравнений

При обработке экспериментальных данных мы обычно имеем больше измерений, чем неизвестных параметров модели. Алгебраически это приводит к переопределенной системе линейных уравнений $A x = b$, где матрица $A$ имеет размер $m \times n$ (причем $m > n$, то есть строк-уравнений больше, чем столбцов-переменных). Геометрически каждый столбец матрицы $A$ — это вектор в многомерном $m$-мерном пространстве. Все линейные комбинации столбцов матрицы $A$ образуют $n$-мерное подпространство, называемое пространством столбцов (Column Space). Если вектор экспериментальных данных $b$ не лежит точно в этом подпространстве (что всегда бывает из-за шума измерений), то система принципиально не имеет точного решения. Вектор $b$ «торчит» в стороне от плоскости всех возможных идеальных модельных ответов.

Ортогональная проекция вектора ошибки

Поскольку точного решения нет, мы ищем вектор $\hat{x}$, который даст нам модельный вектор $A \hat{x}$, максимально близкий к вектору $b$. Кратчайшее расстояние в евклидовом пространстве всегда достигается по перпендикуляру. Следовательно, вектор ошибки (вектор невязки) $e = b - A \hat{x}$ должен быть строго ортогонален (перпендикулярен) всему пространству столбцов матрицы $A$. Если вектор ошибки перпендикулярен пространству столбцов, он должен быть перпендикулярен абсолютно каждому отдельному столбцу матрицы $A$. В алгебраическом виде скалярное произведение столбцов $A$ на вектор ошибки $e$ должно равняться нулевому вектору: $A^T (b - A \hat{x}) = 0$. Именно из этого кристально ясного геометрического требования перпендикулярности выводится все здание регрессионного анализа.

Система нормальных уравнений

Раскрывая скобки в уравнении ортогональности $A^T b - A^T A \hat{x} = 0$, мы переносим отрицательный член вправо и получаем знаменитую систему нормальных уравнений: $(A^T A) \hat{x} = A^T b$. Матрица $(A^T A)$ является квадратной (размера $n \times n$), симметричной и, если столбцы исходной матрицы $A$ были линейно независимы, она строго положительно определена (а значит, обратима). Аналитическое решение вектора параметров модели теперь находится элементарным умножением: $\hat{x} = (A^T A)^{-1} A^T b$. Матрица $(A^T A)^{-1} A^T$ носит название псевдообратной матрицы Мура-Пенроуза (для матриц полного столбцового ранга). Она обобщает понятие обратной матрицы на неквадратные прямоугольные системы, давая решение, минимизирующее евклидову норму ошибки.

Матрица проекции (Hat Matrix)

Геометрический анализ МНК завершается вычислением самого спроецированного вектора $\hat{b} = A \hat{x}$. Подставив найденное решение, мы получаем $\hat{b} = A (A^T A)^{-1} A^T b$. Матрица $P = A (A^T A)^{-1} A^T$ называется матрицей проекции (или Hat Matrix в статистике, так как она надевает «шляпку»-оценку на вектор $b$). Эта матрица обладает идеальными алгебраическими свойствами истинного геометрического проектора: она симметрична ($P = P^T$) и идемпотентна ($P^2 = P$). Свойство идемпотентности имеет блестящий физический смысл: если вы один раз спроецировали точку на плоскость ортогонально, повторное проецирование этой же новой точки на эту же плоскость оставит ее абсолютно на месте. Этот матричный аппарат гарантирует, что МНК извлекает из зашумленных данных максимум полезной геометрии.