Матричные нормы и числа обусловленности

Свойства и классификация матричных норм

Чтобы функция могла называться матричной нормой, она должна удовлетворять классическим аксиомам векторной нормы: неотрицательности, строгой положительности для ненулевых матриц, однородности и правилу треугольника. Однако для матриц вводится еще одно критически важное условие — субмультипликативность. Оно означает, что норма произведения двух матриц не должна превышать произведения их норм (||A * B|| <= ||A|| * ||B||). Наиболее популярной в машинном обучении является норма Фробениуса. Она вычисляется предельно просто: как квадратный корень из суммы квадратов абсолютно всех элементов матрицы. Эта норма легко программируется и прекрасно дифференцируется, что делает ее стандартом в задачах оптимизации градиентным спуском.

Индуцированные (операторные) нормы

Другой, более глубокий класс норм — это индуцированные нормы. Они определяются через воздействие матрицы на векторы. Идея заключается в том, чтобы найти такой вектор единичной длины, который при умножении на матрицу A растягивается максимально сильно. Коэффициент этого максимального растяжения и называется операторной нормой матрицы. В зависимости от того, как мы измеряем длину векторов (в какой векторной норме), мы получаем разные матричные нормы. Например, 1-норма матрицы равна максимальной сумме модулей элементов по столбцам, а бесконечная норма — максимальной сумме модулей по строкам. Спектральная норма (2-норма) равна наибольшему сингулярному числу матрицы, что напрямую связывает ее с сингулярным разложением (SVD).

Число обусловленности: мера вычислительной опасности

Ключевым понятием численной линейной алгебры, вытекающим из концепции норм, является число обусловленности матрицы (condition number). Оно вычисляется как произведение нормы самой матрицы на норму ее обратной матрицы. Число обусловленности всегда больше или равно единице. Идеальная, прекрасно обусловленная матрица (например, ортогональная) имеет число обусловленности, равное ровно 1. Это означает, что погрешности во входных данных не будут усиливаться при решении системы. Если же число обусловленности составляет миллионы или миллиарды, матрица называется плохо обусловленной. Работа с такими матрицами похожа на хождение по минному полю: микроскопическое изменение входных данных может кардинально, до неузнаваемости, изменить итоговый ответ системы.

Практическое значение в программировании и физике

Представьте, что вы решаете систему уравнений, описывающую упругость моста под нагрузкой. Измерительные датчики всегда дают данные с крошечной погрешностью. Если матрица жесткости моста плохо обусловлена, компьютерный расчет может показать, что мост разрушится, хотя в реальности он абсолютно надежен. Или наоборот. Вот почему ни один серьезный пакет инженерных вычислений (такой как ANSYS или MATLAB) не просто решает систему уравнений, но обязательно оценивает число обусловленности матрицы. Если это число слишком велико, система выдает предупреждение об опасности потери значимости (loss of significance) и требует применения методов регуляризации или арифметики повышенной точности для получения адекватного физического результата.