Изобретение телеграфа
Количественной оценкой информации занимается теория информации, которая по существу является теорией передачи сигналов по каналам связи. Под каналом связи в кибернетике подразумевается связь между элементами системы или связь между системой и внешним источником информации. Появление и развитие теории информации обусловлено научно-техническим прогрессом.
Процессы передачи информации развивались вместе с человеческим обществом. Членораздельная речь как средство обмена информацией в значительной мере способствовала укреплению связей между людьми.
В прежние эпохи передача информации осуществлялась медленно, так же как медленно совершался процесс совершенствования технических средств ее передачи. Промышленная революция конца XVIII столетия, связанная с широким применением машин, вызвала бурное нарастание темпов общественного прогресса.
Начался резкий рост средств общения, средств связи.
Изобретение телеграфа (1837) и радио (1895) сделало необходимыми исследования в области передачи информации.
Общие представления об информации встречаются еще в трудах Лейбница, но только в начале XX века появились работы, в которых рассматривалась сущность этого понятия.
Р. Фишер (1921) впервые связал информацию с вероятностью.
Л. Сцилард (1929) указал на возможность применения идей статистической физики, в частности термодинамики к оценке информационных процессов. Первой работой, в которой предлагался метод количественной оценки информации, была работа Р. Хартли Передача информации (1928).
Р. Хартли сформулировал очень важное положение о том, что количество информации пропорционально числу выборов. В 1933 г. В. А. Котельников в работе О пропускной способности эфира и проволоки в электросвязи показал, что непрерывный сигнал можно передавать в виде серий дискретных сигналов.
Теорема В. А. Котельникова открыла путь к дальнейшему прогрессу в области создания методов количественной оценки информации.