Main menu

Билинейные формы и машинное обучение: ядровые методы (Kernel Methods)

В классическом машинном обучении линейные классификаторы (такие как логистическая регрессия или перцептрон) пытаются разделить данные с помощью прямой линии или плоской гиперплоскости. Однако реальные данные редко бывают линейно разделимыми: чаще всего они образуют сложнейшие переплетенные кластеры. Чтобы решить эту проблему, инженеры применяют хитрость: они проецируют данные в пространство гораздо большей размерности, где они «распутываются» и легко разделяются плоскостью. Вычисление координат в новых пространствах потребовало бы невозможных вычислительных мощностей, если бы не «ядровой трюк» (Kernel Trick). Этот математический прием, опирающийся на теорию билинейных форм и матриц Грама, позволяет обучать мощнейшие нелинейные модели с вычислительной стоимостью обычных линейных систем.

Подробнее

Билинейные формы: изоморфизмы и двойственные пространства

В то время как линейные формы (функционалы) берут один вектор и превращают его в число, билинейные формы работают сразу с парой векторов. Билинейная форма — это функция, принимающая два вектора из векторного пространства (или двух разных пространств) и возвращающая скаляр, причем эта функция линейна по каждому из своих аргументов по отдельности. Если мы зафиксируем первый вектор, функция превратится в обычный линейный функционал относительно второго вектора, и наоборот. Знакомое всем скалярное произведение — это лишь один, самый «дружелюбный» частный случай билинейной формы. Изучение общего случая открывает невероятную алгебраическую архитектуру, объединяющую геометрию, теорию групп и тензорное исчисление.

Подробнее

Соц. сети