Факторизация неотрицательных матриц (NMF): извлечение смысла из данных

Сингулярное разложение (SVD) является мощнейшим инструментом линейной алгебры, но у него есть один концептуальный недостаток: при аппроксимации данных оно неизбежно порождает матрицы, содержащие отрицательные числа. Для многих физических и информационных систем это лишено всякого смысла. Например, не существует пикселя с отрицательной яркостью, невозможно встретить отрицательное количество слов в документе или отрицательную концентрацию химического вещества. Чтобы решить эту проблему интерпретируемости, в 1999 году Ли и Сын опубликовали в журнале Nature статью, предложив алгоритм факторизации неотрицательных матриц (Non-negative Matrix Factorization, NMF). Этот метод стал фундаментальным алгоритмом машинного обучения для выделения базисных признаков в данных.

Математическая формулировка и аддитивность

Задача NMF формулируется предельно строго: заданную матрицу данных V (размера m на n, состоящую только из неотрицательных чисел) необходимо приближенно разложить в произведение двух матриц W и H (размеров m на r и r на n соответственно), причем элементы матриц W и H также обязаны быть строго неотрицательными. Матрицу W можно интерпретировать как матрицу базовых компонентов (признаков), а H — как матрицу коэффициентов активации (весов), показывающую, как из этих базовых блоков собрать исходные объекты. Неотрицательность гарантирует, что компоненты могут только складываться, но не вычитаться. Это фундаментальное свойство аддитивности заставляет алгоритм находить интуитивно понятные «части» объектов, в отличие от SVD, где базисные векторы могут взаимно компенсировать (вычитать) друг друга.

Распознавание лиц и тематическое моделирование

Классическим примером, демонстрирующим магию NMF, является анализ базы данных человеческих лиц. Если применить к фотографиям метод главных компонент (PCA/SVD), базовые векторы будут выглядеть как жуткие, абстрактные, перекрывающиеся лица с темными (отрицательными) и светлыми участками. Если же применить NMF, то столбцы матрицы W сформируют четкие, локализованные части лица: отдельно носы, отдельно глаза, брови, губы и линии челюсти. Исходное лицо строится путем простого аддитивного сложения этих элементов. В анализе текстов (NLP) метод NMF используется для тематического моделирования (Topic Modeling). Матрица V представляет собой частоты слов в документах. NMF автоматически выделяет в матрице W группы слов, объединенных одной смысловой темой, а матрица H показывает, в какой пропорции эти темы смешаны в каждом конкретном тексте.

Алгоритмы оптимизации и дивергенция Кульбака-Лейблера

В отличие от SVD, для факторизации неотрицательных матриц не существует прямого аналитического решения. Задача сводится к численной оптимизации. Для этого необходимо выбрать функцию потерь, измеряющую расстояние между исходной матрицей V и ее приближением W*H. Чаще всего используются евклидова метрика (норма Фробениуса) или обобщенная дивергенция Кульбака-Лейблера. Обычный градиентный спуск использовать сложно, так как шаг обновления может выбросить элементы матриц в отрицательную область. Изящное решение — мультипликативные правила обновления (Multiplicative Update Rules). Вместо вычитания градиента элементы матриц W и H на каждой итерации умножаются на специальным образом подобранные дроби. Эти правила математически гарантируют, что ошибка будет монотонно убывать, а элементы матриц никогда не станут отрицательными, если они были инициализированы положительными числами.

Проблемы неединственности и разреженность

Алгоритм NMF обладает рядом математических особенностей. Главная из них — неединственность решения. В отличие от строго определенных сингулярных векторов, матрицы W и H могут сильно зависеть от случайной начальной инициализации, попадая в различные локальные минимумы функции потерь. Для стабилизации решения в функционал ошибки часто добавляют регуляризаторы (L1 или L2). Использование L1-регуляризации (Lasso) заставляет алгоритм делать матрицы W и H максимально разреженными (состоящими в основном из нулей). Это означает, что каждый объект будет собираться из строго минимального количества самых важных базовых деталей, что еще больше повышает интерпретируемость модели в биоинформатике и медицине при анализе экспрессии генов.

Оценить