Main menu

Матричная факторизация в рекомендательных системах: алгоритм ALS

Одной из самых коммерчески успешных задач прикладной линейной алгебры стало создание коллаборативных рекомендательных систем. В 2006 году компания Netflix объявила конкурс с призом в миллион долларов за улучшение алгоритма предсказания оценок фильмов. Победителем стал подход, основанный на матричной факторизации (Matrix Factorization). Суть проблемы заключается в том, что имеется гигантская матрица «пользователь-фильм», где строки — это миллионы пользователей, столбцы — десятки тысяч фильмов, а на пересечениях стоят оценки. Эта матрица колоссально разрежена: 99% ячеек пусты, так как человек смотрит лишь крошечную долю фильмов. Классическое сингулярное разложение (SVD) здесь неприменимо из-за пустых ячеек, поэтому математикам пришлось разработать новый алгебраический аппарат скрытых факторов.

Подробнее

Алгебраическая теория кодирования: матрицы в полях Галуа

Передача цифровых данных через интернет, хранение файлов на жестких дисках и связь с космическими аппаратами подвержены электромагнитным шумам, которые искажают биты информации (превращая 0 в 1 и наоборот). Для решения этой проблемы Ричард Хэмминг и Клод Шеннон создали теорию кодов, исправляющих ошибки. Современная теория помехоустойчивого кодирования (Linear Block Codes) — это чистейшая прикладная линейная алгебра, работающая в пространствах над конечным полем Галуа GF(2). В этом дискретном мире нет непрерывных метрик, матрицы состоят только из нулей и единиц, а сложение эквивалентно логической операции XOR. Правильное конструирование и умножение таких матриц позволяет электронике мгновенно находить и исправлять ошибки на аппаратном уровне.

Подробнее

Матрица плотности: линейная алгебра квантовой статистики

В базовом курсе квантовой механики состояния частиц описываются волновыми функциями (кет-векторами в гильбертовом пространстве). Однако такой подход описывает лишь «чистые» состояния изолированных систем. В реальных физических экспериментах мы всегда имеем дело со статистическими ансамблями (толпами частиц) или с подсистемами, которые квантово запутаны с окружающей средой. Для описания таких смешанных, неопределенных состояний классического вектора недостаточно. В 1927 году Лев Ландау и Джон фон Нейман независимо друг от друга ввели в физику потрясающий математический объект — матрицу плотности (оператор плотности). Изучение матриц плотности является вершиной применения линейной алгебры в квантовой термодинамике и квантовых компьютерах.

Подробнее

Ортогональная проблема Прокруста: матричная алгебра анализа форм

В древнегреческой мифологии разбойник Прокруст укладывал путников на свое ложе, вытягивая им ноги или отрубая их, чтобы подогнать под размер кровати. В современной статистике, биоинформатике и компьютерном зрении «Анализ Прокруста» — это строгий математический аппарат для сравнения двух многомерных облаков точек. Задача заключается в том, чтобы найти такое идеальное пространственное вращение (и отражение), которое максимально точно наложило бы один набор точек на другой, минимизируя сумму квадратов расстояний между ними. Решение этой знаменитой Ортогональной проблемы Прокруста осуществляется не громоздкими методами градиентной оптимизации, а одним единственным, алгебраически совершенным применением Сингулярного разложения (SVD).

Подробнее

Рандомизированный метод Качмажа: алгебра стохастического градиентного спуска

Когда дата-сайентисты обучают гигантские нейронные сети или решают переопределенные системы уравнений на терабайтах данных, они не могут загрузить всю матрицу в оперативную память. Решением стала разработка алгоритмов, которые считывают данные по одной строке (одному примеру) за раз. Исторически первым таким алгоритмом стал алгоритм польского математика Стефана Качмажа, опубликованный в 1937 году. В 2009 году Томас Стромер и Роман Вершинин доказали, что если выбирать строки матрицы не по порядку, а случайным образом с определенными вероятностями, метод Качмажа обретает фантастическую, экспоненциальную скорость сходимости. Так родилась строгая алгебраическая теория рандомизированного метода Качмажа (RK), ставшая фундаментом для понимания современного стохастического градиентного спуска (SGD).

Подробнее

Метод Якоби-Дэвидсона: итерационный поиск внутренних собственных значений

Алгоритмы Ланцоша и Арнольди великолепно справляются с нахождением крайних (самых больших или самых маленьких) собственных значений гигантских разреженных матриц. Однако в физике твердого тела, фотонике и квантовой химии инженерам часто требуется найти собственные значения, спрятанные глубоко внутри спектра (вблизи заданного пользователем значения). Классические методы в подпространствах Крылова для этой задачи сходятся катастрофически медленно. В 1996 году голландские математики Герард Слейпен и Хенк ван дер Ворст совершили прорыв, объединив старинный метод диагонализации Якоби с алгоритмом подпространств Дэвидсона. Так родился метод Якоби-Дэвидсона — невероятно гибкий алгоритм, позволяющий целенаправленно извлекать резонансные частоты из самого центра матричного спектра.

Подробнее

Спектральная теория графов: экспандеры и неравенство Чигера

Матричная алгебра способна извлекать колоссальные объемы информации не только из физических уравнений, но и из абстрактных топологических сетей (графов). Спектральная теория графов изучает свойства матриц смежности и лапласианов сетей для ответов на важнейшие вопросы топологии: насколько хорошо перемешивается информация в социальной сети? Насколько сложно разорвать интернет-соединение пополам? В центре этой теории находятся так называемые экспандеры — уникальный класс графов, которые сочетают в себе на первый взгляд несочетаемое: они имеют крайне мало ребер (очень разреженные, дешевые в постройке), но при этом обладают невероятно высокой алгебраической связностью, обеспечивая фантастическую скорость распространения сигнала.

Подробнее

Матрица Коши: определитель, интерполяция и гильбертовы пространства

Матрицы Вандермонда позволяют восстанавливать полиномы, но многие физические процессы (например, резонансные контуры в электротехнике или квантовые сечения рассеяния) лучше описываются не полиномами, а рациональными функциями (дробями, где числитель и знаменатель — многочлены). Для алгебраической интерполяции рациональными функциями французский математик Огюстен Луи Коши предложил специальный класс матриц. Элементы матрицы Коши строятся по строгой дробной формуле, опирающейся на два независимых набора чисел. Эта матрица обладает одним из самых красивых аналитических определителей в математике, но при этом порождает чудовищные вычислительные проблемы из-за экстремальной степени плохой обусловленности.

Подробнее

Матрицы Адамара: идеальная ортогональность и коды Уолша

Матричная алгебра полна конструкций с уникальными геометрическими свойствами, но мало какие из них оказали столь же колоссальное влияние на телекоммуникации и информационную безопасность, как матрицы Адамара. Названные в честь французского математика Жака Адамара, эти квадратные матрицы состоят исключительно из двух чисел: +1 и -1. При этом их строки и столбцы абсолютно ортогональны друг другу. Эти матрицы представляют собой теоретический предел того, насколько далеко векторы с заданными координатами могут быть «растопырены» в многомерном пространстве. Сегодня матрицы Адамара лежат в сердцевине алгоритмов сжатия данных, квантовых алгоритмов и сотовых сетей стандарта CDMA.

Подробнее

Матрица Сильвестра и результант: алгебраическое исключение переменных

Одной из центральных задач вычислительной алгебры и алгебраической геометрии является определение того, имеют ли два многочлена (полинома) хотя бы один общий корень. Поиск самих корней для полиномов высокой степени невозможен аналитически, однако алгебра позволяет дать строгий ответ на вопрос об их пересечении с помощью чисто матричных вычислений. Британский математик Джеймс Джозеф Сильвестр разработал уникальную матричную конструкцию, определитель которой мгновенно показывает наличие общих корней. Матрица Сильвестра и связанный с ней результант — это фундамент алгоритмов компьютерной алгебры для исключения переменных в системах нелинейных уравнений и построения базисов Грёбнера.

Подробнее
Subscribe to this RSS feed

Соц. сети