ê
íèÃD
ð
óíìDñòÅðD
513
делиться своей новизной и если я усвою её, то поднимусь до
вашего 8-битного уровня. Правда, вскоре и эта новизна убудет,
и нам для жизни придётся усложняться дальше.
Поэтому каждый источник необходимо нуждается в по-
полнении информацией за счёт другого, более насыщенного
новизной, более энтропийного. А тот
–
ещё более сложного и
так далее. И конца, и края этому не будет. Получается, что
самодостаточный источник невозможен в принципе? Забегая
вперед, можно сказать: и да, и нет.
О чём ещё говорит условие максимума энтропии (равно-
вероятности сообщений на выходе источника)?
В каждый момент времени источник может выдать
только один сигнал, который на данный момент более вероя-
тен. Равновероятность двух сигналов (
р=1/2
) означает, что в
какой-то момент источник не может определиться какой из
них сгенерировать. Не может сделать выбор. Источник коллап-
сирует в неопределённость и прекращает излучать. Его как бы
нет, но он есть. В нём отсутствует движение, вибрация. При
этом новизна такого источника, как следует из графика, не
убывает, а остается максимальной. Назовём его идеальным
Источником.
Максимум энтропии реального и идеального двоичных
источников условно одинаковы (
Н=1
, при
р=1/2
), но качест-
венно отличны. В чём разница?
Выбор
Разница в выборе.
Дело в том, что реальный источник всегда выбирает из
всего возможного количества сообщений в каждый конкрет-
ный момент какое-то одно. Выбирает одно состояние за счёт
другого. Чтобы сгенерировать сообщение длиной в 100 бит, он
должен сделать выбор 100 раз между 0 и 1, то есть, создать
