Когда мы работаем с векторами в абстрактных линейных (евклидовых) пространствах, нам необходим математический инструмент для измерения «взаимоотношений» между ними: длин, углов и того, насколько сильно они пересекаются друг с другом. Датский математик Йорген Педерсен Грам ввел конструкцию, которая идеально решает эту задачу. Матрица Грама — это квадратная симметричная матрица, составленная из всех возможных попарных скалярных произведений заданного набора векторов. Эта матрица не только хранит в себе полную метрическую геометрию системы векторов, но и позволяет изящно вычислять многомерные объемы, расстояния от точек до гиперплоскостей и проверять векторы на линейную зависимость без использования метода Гаусса.

Когда мы изучаем евклидовы векторные пространства, мы привыкаем к тому, что скалярное произведение вектора на самого себя (квадрат длины) всегда строго положительно и равно нулю только для нулевого вектора. Однако в начале XX века, с появлением Специальной теории относительности Альберта Эйнштейна, физикам потребовалась совершенно иная геометрия для описания четырехмерного пространства-времени. Немецкий математик Герман Минковский предложил математическую модель, в которой скалярное произведение перестало быть положительно определенным. Так родилась линейная алгебра псевдоевклидовых пространств — удивительный мир, в котором векторы могут иметь отрицательную или даже нулевую длину, несмотря на то, что сами они не равны нулю.

В то время как линейные формы (функционалы) берут один вектор и превращают его в число, билинейные формы работают сразу с парой векторов. Билинейная форма — это функция, принимающая два вектора из векторного пространства (или двух разных пространств) и возвращающая скаляр, причем эта функция линейна по каждому из своих аргументов по отдельности. Если мы зафиксируем первый вектор, функция превратится в обычный линейный функционал относительно второго вектора, и наоборот. Знакомое всем скалярное произведение — это лишь один, самый «дружелюбный» частный случай билинейной формы. Изучение общего случая открывает невероятную алгебраическую архитектуру, объединяющую геометрию, теорию групп и тензорное исчисление.

В реальных инженерных задачах, статистике и дата-саенсе мы крайне редко сталкиваемся с идеальными системами уравнений, имеющими точное решение. Обычно экспериментальных данных (уравнений) гораздо больше, чем искомых параметров (неизвестных). Такие системы называются переопределенными, и из-за неизбежных погрешностей измерений они практически всегда несовместны (вектор свободных членов не лежит в пространстве столбцов матрицы). Для извлечения полезной информации из такого «хаоса» Карл Фридрих Гаусс и Адриен Мари Лежандр разработали Метод Наименьших Квадратов (МНК). Сегодня МНК является краеугольным камнем регрессионного анализа, эконометрики и алгоритмов фильтрации сигналов.