Когда дата-сайентисты обучают гигантские нейронные сети или решают переопределенные системы уравнений на терабайтах данных, они не могут загрузить всю матрицу в оперативную память. Решением стала разработка алгоритмов, которые считывают данные по одной строке (одному примеру) за раз. Исторически первым таким алгоритмом стал алгоритм польского математика Стефана Качмажа, опубликованный в 1937 году. В 2009 году Томас Стромер и Роман Вершинин доказали, что если выбирать строки матрицы не по порядку, а случайным образом с определенными вероятностями, метод Качмажа обретает фантастическую, экспоненциальную скорость сходимости. Так родилась строгая алгебраическая теория рандомизированного метода Качмажа (RK), ставшая фундаментом для понимания современного стохастического градиентного спуска (SGD).