Количество информации как мера уменьшения неопределенности знаний

 Количество информации как мера уменьшения неопределенности знаний

Подход к информации как к мере уменьшения неопределѐнно- сти наших знаний позволяет количественно измерять информацию, полученную через некоторое сообщение.

Например, после сдачи зачета Вы получаете одно из двух ин- формационных сообщений: "зачет" или "незачет", а после сдачи эк- замена одно из четырех информационных сообщений: "2", "3", "4"

или "5".

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как реализуется один из двух возможных вариантов. Информационное сообщение об оценке за экзамен приводит к уменьшению неопреде- ленности вашего знания в четыре раза, так как получено одно из че- тырех возможных информационных сообщений.

Ясно, что чем более неопределенна первоначальная ситуация, тем больше мы получим новой информации при получении инфор- мационного сообщения о том, как она разрешилась (тем в большее количество раз уменьшится неопределенность знания).

Клод Шеннон предложил в 1948 году формулу для определе- ния количества информации, которую мы получаем после получения одного из N возможных сообщений:

I = – (p₁log₂p₁+ p₂log₂p₂+… p_ilog₂p_i+…+ p_Nlog₂p_N)

Здесь p_i – вероятность того, что будет получено именно i-е со- общение. Если все сообщения равновероятны, то все   p_i=1/N, и из этой формулы получается формула Хартли:

I = log₂N

Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины

в качестве единицы выбран метр, для измерения массы - килограмм и т. д. Аналогично, для определения количества информации необхо- димо ввести единицу измерения.

Из формулы Хартли следует: если I=1, то N=2, то есть в каче- стве единицы измерения информации можно взять тот объѐм инфор- мации, который мы получаем при принятии сигнала о том, что же произошло в ситуации с двумя возможными исходами. Такая едини- ца названа битом.

Наряду с единицей бит иногда используют в качестве единиц информации количества, взятые по логарифмам с другими основа- ниями: дит – по десятичному логарифму (за единицу информации выбирается количество информации, необходимой для различения десяти равновероятных сообщений), нат – по натуральному основа- нию.

Используя формулу Хартли можно, также, зная количество информации, пришедшее с одним из равновероятных сообщений, оп- ределить, сколько сообщений вообще можно было ожидать в данной ситуации. Решив это уравнение относительно N, получим при равно- вероятных исходах:

I = log₂N          = 2I

Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 бит информации. Если вы хотите определить ко- личество экзаменационных билетов, то достаточно определить коли- чество возможных информационных сообщений об их номерах из формулы Хартли:

5 = log₂N          = 2⁵ = 32.

Таким образом, количество экзаменационных билетов равно

32.

Задача: Представьте себе, что вы управляете движением ро-

бота и можете задавать направление его движения с помощью ин- формационных сообщений: "север", "северо-восток", "восток", "юго- восток", "юг", "юго-запад", "запад" и "северо-запад" (рис. 1.1). Какое количество информации будет получать робот после каждого сооб- щения?

В этой задаче робот может получить 8 разных информацион- ных сообщений. Формула Хартли принимает вид уравнения относи- тельно I:

8 = 2^I

Так как 8 = 2³, получаем

2³ = 2^I      I = 3

Количество информации, которое несет роботу каждое инфор- мационное сообщение, равно 3 битам.