ê
íèÃD
ð
óíìDñòÅðD
512
ность появления сигналов 1 или 0 одинакова и равна 1/2
–
то
есть, когда сигналы равновероятны. Это
–
условие максиму-
ма энтропии.
Максимальная энтропия для двоичного источника равна
H=log
2
n
и при
n=2
составляет
один двоичный символ — 1 бит
(либо 0, либо 1). При
n=4
(четыре сообщения 00, 01, 10, 11)
энтропия будет равняться 4, при равновероятности сообщений
1/4, и так далее (при увеличении количества сообщений
n
энтропия
H
устремится в бесконечность, при этом, равнове-
роятность сообщений будет асимптотически приближаться к
нулю (
р=1/∞
).
Что означает в этом случае максимум энтропии при рав-
новероятности сообщений?
Если есть, допустим, сообщение длиной в 100 бит и в нём
нули и единицы оказались равновероятны (50 нулей и 50 еди-
ниц), то такое сообщение является максимально неопределён-
ным, и не содержит для нас информации. Из такого сообщения
нельзя понять ничего, кроме того, что оно состоит из нулей и
единиц. Подобные сообщения генерируют шумы в канале
связи или датчик случайных чисел.
В реальных информационных системах эта вероятность
всегда отлична от 1/2, поскольку исходный двоичный код мо-
дулируется текстовой, речевой, видео или другой смысловой
информацией, и такое сообщение всегда избыточно. Поэтому
его можно принять, декодировать и прочитать.
Как видим, информационная энтропия источника непо-
стоянна. Кроме того, что она волнообразно изменяется в каж-
дый момент времени от максимального значения до нуля, эн-
тропия неумолимо расходуется. Информация стареет и убы-
вает. Мы можем увеличивать длину сообщений, или их коли-
чество, или кодировать их другой смысловой информацией, но
всё равно в какой-то момент и эта новизна исчерпается.
Если моя разрядность 3 бита, а ваша — 8 бит, то я исчер-
паюсь гораздо раньше вас. Но вы можете меня обогатить, по-
