Лекция "Измерение информации. "

Измерение информации.  С понятиями «вещество» и «энергия» связаны числовые характеристики,  выраженные в некоторых единицах измерения. Можно измерить вес, длину, температуру,  силу тока, количество тепла. Информацию тоже можно измерить.  Существует несколько подходов к измерению информации. Рассмотрим два из них –  содержательный (вероятностный) и алфавитный.  Одними из первых количественное определение информации дали американские инженеры  и исследователи Р.Хартли и К.Шеннон, изучавшие теории кодирования и передачи  информации. Они предложили рассматривать информацию как снятую при получении  некоторого сообщения неопределенность. Количество информации в сообщении зависит от его содержания. В сообщении, не несущем новых сведений,  количество информации равно нулю. Такой подход к определению количества  информации называют содержательным.  Алфавитный подход не учитывает содержания сообщения. Сообщение  рассматривается как последовательность символов (знаков) некоторого алфавита, при  этом учитывается информационный вес символа.  Вероятностный подход  Сообщение несет информацию о наступлении некоторого события из нескольких  возможных вариантов, снимая тем самым неопределенность. Например, известно, что  проводилась контрольная работа, оценками которуй могут быть 2, 3, 4 и 5. Сообщение о  том, что ученик получил оценку 4, снимает неопределенность, произошло одно из четырех  возможных событий.  Р.Хартли в 1928 г. сформулировал законы, которым должно подчиняться  количество информации:  1) Если сообщение несет заранее известную информацию, количество информации  равно нулю.  2) Чем больше количество возможных вариантов событий, тем больше информации  содержится в сообщении о наступлении конкретного события.  3) Количество информации в сообщении о нескольких независимых событиях  должно быть равно сумме количеств информации, содержащейся в сообщениях о каждом  из этих событий. Тема 2 Измерение и представление информации  Если обозначить количество событий (вариантов, исходов) N, а количество  информации, зависящее от N, как Info(N), то законы Хартли могут быть формализованы  следующим образом:  1) Info(1) = 0;  2) N1>N2 => Info(N1) > Info(N2) (монотонность);  3) Info(N1) + Info(N2) + … +Info(Nk) = Info(N1 +N2+…+ Nk)  Этим требованиям удовлетворяет функция логарифм logbN, где b>1. Таким  образом, формула для определения количества информации имеет вид  I = logbN  Минимально возможное количество информации снижает неопределенность в два  раза, при этом b=2, и формула Хартли  I = log2N  Это единица информации называлась «двоичная цифра». В 1947 г. американский  математик Джон Тьюки (John Tukey) использовал термин бит (bit). С 1948 г. Клод Шеннон  стал использовать этот термин в своих работах по теории связи.  Заметим, что количество информации по Хартли совпадает с длиной двоичного  кодового слова.  Получение информационного сообщения в один бит уменьшает неопределенность  нашего знания о чем­либо в два раза