Тензорные разложения: CANDECOMP/PARAFAC и Таккера

Разложение CP (CANDECOMP/PARAFAC): сумма тензоров ранга 1

Разложение CP (названное так по аббревиатурам двух независимых исследовательских групп) является самым прямым и строгим обобщением матричного SVD. Любая матрица ранга R может быть представлена как сумма R матриц ранга 1 (где матрица ранга 1 — это внешнее произведение вектора-столбца на вектор-строку). Аналогично, метод CP раскладывает трехмерный тензор (куб чисел) на минимальную сумму трехмерных тензоров ранга 1. Каждый такой простейший тензор создается внешним (векторным) произведением трех векторов (a ⊗ b ⊗ c). Разложение CP обладает уникальным и чрезвычайно важным свойством, которого нет у матриц: при мягких условиях оно является абсолютно уникальным (единственным) без всяких дополнительных требований ортогональности. Это означает, что найденные векторы-компоненты имеют прямой, интерпретируемый физический или химический смысл.

Разложение Таккера: многомерный метод главных компонент

В то время как метод CP ограничивается диагональным взаимодействием факторов, разложение Таккера (Tucker decomposition) предлагает более гибкую архитектуру, которую часто называют тензорным методом главных компонент (Higher-Order PCA). В этом разложении исходный тензор разбивается на плотное, но значительно меньшее «ядро» (core tensor) и несколько ортогональных матриц факторов (по одной для каждого измерения). Ядро Таккера действует как многомерный переключатель: оно показывает, насколько сильно взаимодействуют различные компоненты (векторы) из разных измерений между собой. Это разложение идеально подходит для мощного сжатия многомерных данных, так как позволяет отсекать незначительные элементы в ядре, оставляя только самую суть информации.

Проклятие размерности и алгоритм ALS

В отличие от двумерных матриц, для тензоров не существует прямого аналитического алгоритма точного вычисления ранга или мгновенного разложения (это NP-трудная задача). Для нахождения компонент CP и Таккера повсеместно применяется итерационный алгоритм чередующихся наименьших квадратов (Alternating Least Squares, ALS). Суть метода проста: мы фиксируем все матрицы факторов, кроме одной, и решаем классическую задачу метода наименьших квадратов для этой свободной матрицы. Затем мы переходим к следующей матрице, фиксируя остальные, и повторяем процесс по кругу до тех пор, пока ошибка аппроксимации не перестанет уменьшаться. Несмотря на простоту, ALS сходится медленно и требует грамотной начальной инициализации (например, с помощью HOSVD — сингулярного разложения высших порядков).

Применение в нейронауках и распознавании паттернов

Тензорные разложения совершили революцию в науках о мозге. Электроэнцефалограмма (ЭЭГ) мозга записывается как тензор: электроды × время × частота сигнала. Применение CP-разложения к такому тензору позволяет нейробиологам автоматически (без участия человека) вычленять индивидуальные паттерны: один фактор покажет пространственную локализацию активности в мозге, второй — динамику этой активности во времени, а третий — в каком частотном диапазоне (альфа, бета-ритмы) происходит всплеск. В рекомендательных системах (например, в музыкальных сервисах) тензор «пользователь × трек × время суток» позволяет алгоритму понять, что человек предпочитает слушать классическую музыку по утрам, а рок — во время вечерних тренировок, формируя идеально точные персонализированные плейлисты.