Информационная энтропия: Математическая мера неопределенности
До середины XX века информация считалась эфемерным, философским понятием, которое невозможно измерить. Все изменилось в 1948 году, когда инженер Клод Шеннон опубликовал работу «Математическая теория связи». Он связал дискретную математику, теорию вероятностей и физику, введя концепцию информационной энтропии. Эта теория стала абсолютным фундаментом цифровой эры, установив жесткие физические и математические пределы для хранения и передачи данных.
В бытовом смысле информация — это получение новых знаний. В теории Шеннона информация — это снятие неопределенности. Представьте бросок честной монеты. До броска результат неизвестен (максимальная неопределенность). Когда монета падает орлом, неопределенность полностью снимается. Количество информации, полученное при выборе одного из двух равновероятных исходов, Шеннон назвал одним битом (от binary digit).
Если исходы не равновероятны, информации передается меньше. Если у нас есть монета, у которой с обеих сторон орел, бросок не несет никакой информации (0 бит), так как результат известен заранее. Для количественной оценки средней непредсказуемости источника сообщений Шеннон ввел формулу энтропии H, которая суммирует произведения вероятностей исходов на двоичный логарифм этих вероятностей (со знаком минус).
Информационная энтропия имеет глубочайшие следствия:
- Предел сжатия данных. Энтропия текста показывает минимально возможное количество бит на символ, до которого этот текст можно сжать без потерь. Естественные языки (русский, английский) обладают высокой избыточностью — многие буквы можно пропустить (нпрмр глсн), и текст останется читаемым. Алгоритмы сжатия (ZIP, RAR) избавляются от этой избыточности, приближая размер файла к его чистой математической энтропии.
- Пропускная способность канала. Теорема Шеннона-Хартли устанавливает абсолютный теоретический предел скорости безошибочной передачи данных по любому каналу связи (Wi-Fi, оптоволокно, медный кабель) при заданном уровне шума. Если вы попытаетесь передавать данные быстрее этого предела, ошибки станут неустранимыми.
Термин "энтропия" Шеннон позаимствовал из термодинамики по совету великого математика Джона фон Неймана, так как математические формулы информационной и термодинамической (мера хаоса частиц) энтропии оказались структурно идентичными. В криптографии энтропия измеряет качество генераторов случайных чисел: ключ шифрования должен обладать максимальной энтропией (выглядеть как идеальный хаос), чтобы злоумышленник не смог выявить в нем никаких статистических закономерностей для взлома.
