Main menu

Ортогональная проблема Прокруста: матричная алгебра анализа форм

В древнегреческой мифологии разбойник Прокруст укладывал путников на свое ложе, вытягивая им ноги или отрубая их, чтобы подогнать под размер кровати. В современной статистике, биоинформатике и компьютерном зрении «Анализ Прокруста» — это строгий математический аппарат для сравнения двух многомерных облаков точек. Задача заключается в том, чтобы найти такое идеальное пространственное вращение (и отражение), которое максимально точно наложило бы один набор точек на другой, минимизируя сумму квадратов расстояний между ними. Решение этой знаменитой Ортогональной проблемы Прокруста осуществляется не громоздкими методами градиентной оптимизации, а одним единственным, алгебраически совершенным применением Сингулярного разложения (SVD).

Подробнее

Анализ сингулярного спектра (SSA): линейная алгебра временных рядов

Когда дата-сайентисты анализируют временные ряды (например, графики курсов акций, температурные изменения климата или объемы розничных продаж), они часто используют спектральный анализ Фурье или авторегрессионные модели ARIMA. Однако в 1980-х годах (параллельно в СССР и США) был разработан уникальный непараметрический метод, который перевел анализ временных рядов на чистый язык линейной алгебры и матричной факторизации. Этот метод получил название «Анализ сингулярного спектра» (Singular Spectrum Analysis, SSA) или метод «Гусеница» (Caterpillar). SSA элегантно комбинирует геометрию подпространств с динамикой сигналов, позволяя без всяких априорных уравнений разлагать сложнейший временной ряд на понятные компоненты: медленный тренд, периодические (сезонные) колебания и высокочастотный хаотичный шум.

Подробнее

Сингулярные числа и аппроксимация матриц: Теорема Эккарта-Янга-Мирского

Сингулярное разложение (SVD) позволяет представить любую матрицу как сумму матриц первого ранга, взвешенных их сингулярными числами. Мы часто упоминаем, что отсечение самых малых сингулярных чисел используется для сжатия изображений и подавления шума в данных. Но почему этот эвристический подход работает так эффективно? Фундаментальный математический ответ дает теорема Эккарта-Янга-Мирского. Эта жемчужина линейной алгебры строго доказывает, что усеченное сингулярное разложение является не просто «одним из хороших способов» сжатия данных, а абсолютно наилучшим из всех математически возможных способов приблизить сложную матрицу матрицей меньшего ранга.

Подробнее

Метод главных компонент (PCA) с точки зрения линейной алгебры

Мы живем в эпоху Больших Данных, когда объекты часто описываются тысячами параметров: каждый пиксель на фотографии или каждый ген в ДНК пациента является отдельной переменной. Работать с таким массивом измерений напрямую невозможно: алгоритмы захлебываются в вычислениях, а человек не способен визуализировать пространства выше трехмерного. Эту проблему «проклятия размерности» изящно решает Метод Главных Компонент (Principal Component Analysis, PCA), разработанный Карлом Пирсоном. Несмотря на свое статистическое происхождение, PCA является чистейшим триумфом линейной алгебры. Он использует собственные векторы матриц ковариации для поворота координатных осей так, чтобы отделить значимую информацию (сигнал) от случайного шума.

Подробнее

Соц. сети