Оценки энтропии
При четырех равновероятных событиях осуществляется два последовательных выбора. Например, у нас имеется четыре коробки спичек, три из них пусты, нужно найти полную. Вначале осуществляется выбор одной пары коробок (первая двоичная единица информации), затем в этой паре осуществляется выбор необходимой коробки (вторая двоичная единица информации).
При восьми равновероятных событиях соответственно необходимо сделать три последовательных выбора.
Как видно, в том случае, когда неопределенность исхода выше, больше и количество информации.
Определяя количество информации, или энтропию, отдельных событий мы оцениваем значение только одного элемента сообщения. Для оценки энтропии сообщения в целом нужно учитывать и число событий, происходящих в единицу времени.
Применительно к системе связи можно говорить об энтропии источника сообщений (производительность источника сообщений).
Здесь нужно учитывать как алфавит сообщения (число символов или возможных состояний), так и число измерений или отсчетов или сигналов в единицу времени. Для этого следует энтропию одного события (символа) умножить на число символов в секунду.
Так, если по каналу передаются результаты бросания игральной кости со скоростью трех событий в секунду, то энтропия источника сообщений равна 0,91X3 = 2,73 бит/сек. При передаче сообщений, как уже указывалось, необходимо приспособить сигнал к передаче по данному каналу, т. е. перевести его в соответствующий физический алфавит. Так, микрофон, осуществляет преобразование звуковых колебаний в электрические сигналы, приспосабливая их для передачи по электрическому каналу связи.
Регистрация электрокардиограммы в виде кривой на бумаге или фотопленке также есть кодирование биопотенциалов сердца в физическом алфавите, доступном нашему восприятию. Некоторые сообщения в процессе передачи многократно перекодируются из одного физического алфавита в другой, прежде чем попадают к получателю информации.