Когда данные имеют сверхвысокую размерность и нелинейную природу (например, форма молекул белка в биоинформатике, структура космической паутины галактик или данные с датчиков мозговой активности), традиционные статистические методы классификации дают сбой. Данные — это не просто числа, данные имеют «форму». Извлечением геометрической структуры (дыр, туннелей, пустот) из хаотичных облаков точек занимается Топологический анализ данных (Topological Data Analysis, TDA). Вычислительным ядром TDA являются персистентные гомологии — метод, который переводит абстрактную алгебраическую топологию на язык матриц над конечными полями Галуа, превращая вычисление многомерных геометрических пустот в простую процедуру гауссова исключения.

Математический анализ (дифференцирование и интегрирование) изначально создавался для работы со скалярными функциями. Однако в современной статистике, теории управления и алгоритмах машинного обучения (в частности, при тренировке глубоких нейронных сетей) функции зависят не от одной переменной, а от огромных векторов и матриц. Поиск минимума таких сложных многомерных функций потерь требует вычисления производных по матричному аргументу. Матричное исчисление (Matrix Calculus) — это строгий математический аппарат, объединяющий компактную нотацию линейной алгебры с цепными правилами математического анализа, позволяющий брать производные от матриц по векторам и от скаляров по матрицам без утомительного расписывания тысяч частных производных.

Дискретное преобразование Фурье (ДПФ) — это абсолютный фундамент всей современной цифровой эры. Оно позволяет разложить любой сигнал (звук, изображение, радиоволну) на гармонические составляющие (спектр). С точки зрения линейной алгебры, ДПФ является не чем иным, как умножением вектора сигнала на квадратную матрицу Вандермонда, заполненную комплексными корнями из единицы. Однако прямое умножение вектора на плотную матрицу размера n на n требует O(n^2) арифметических операций. Для обработки аудиосигнала с частотой 44100 Гц компьютеру потребовались бы миллиарды вычислений в секунду, что сделало бы MP3 и стриминг невозможными. Изящное решение — алгоритм Быстрого преобразования Фурье (БПФ), алгебраическая структура которого основана на факторизации матриц.

Когда мы переходим от двумерных матриц к многомерным массивам чисел — тензорам, мы сталкиваемся с жестоким математическим феноменом, известным как «проклятие размерности». Если тензор имеет d измерений (мод), и по каждому измерению длина равна n, то общее количество элементов в нем составляет n^d. При n=10 и d=20 объем тензора превышает вместимость всех жестких дисков на планете. В физике квантовых многочастичных систем и при решении уравнений в частных производных высоких размерностей этот барьер казался непреодолимым. В 2011 году российский математик Иван Оселедец предложил блестящий формат разложения многомерных массивов — Тензорный поезд (Tensor Train, TT), который свел экспоненциальную сложность к полиномиальной, совершив революцию в многолинейной алгебре.