Квадратичные формы и метрика Махаланобиса: геометрия вероятностей
В классическом евклидовом пространстве расстояние между точками измеряется с помощью теоремы Пифагора, что математически эквивалентно использованию единичной матрицы в квадратичной форме. Однако в статистике и машинном обучении данные часто имеют сложную структуру: переменные имеют разный масштаб (например, рост в метрах и вес в граммах) и сильно коррелируют друг с другом (высокие люди обычно весят больше). Использование обычного евклидова расстояния для поиска аномалий или кластеризации таких данных приведет к катастрофическим ошибкам. Индийский статистик Прасанта Чандра Махаланобис решил эту проблему, внедрив в формулу расстояния обратную ковариационную матрицу. Метрика Махаланобиса превращает облако зависимых вероятностей в идеально круглое, симметричное пространство.