Закон больших чисел утверждает, что среднее арифметическое частот независимых испытаний с одинаковой вероятностью сходится к математическому ожиданию. Слабая форма по Чебышеву, сильная по Колмогорову почти наверное. Это обосновывает надежность статистических оценок.

Теорема Байеса P(A|B) = P(B|A)P(A)/P(B) позволяет корректировать вероятности на основе новой информации. Формулировка Томаса Байеса (1763) лежит в основе байесовской статистики и машинного обучения. Она связывает априорные вероятности с данными для получения апостериорных оценок.