Измерение информации

Измерение информации. Содержательный подход.

Вопрос «как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.

Выше мы подошли к информации только с одной стороны: выяснили, чем она является для человека. Другую точку зрения на информацию, объективную, то есть не связанную с её отношением к человеку, мы обсудим несколько позже.

Итак, пока остаемся на прежней позиции: информация — это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно.

Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: 2 х 2 = 4 информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. Отсюда, казалось бы, следует вывод, что сообщение информативно для человека, если оно содержит новые сведения, и неинформативно, если сведения старые, известные.

Но вот вы раскрыли учебник по высшей математике и прочитали там такое определение:

Значение определённого интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах.

Пополнил этот текст ваши знания? Скорее всего, нет! Он вам непонятен, а поэтому – неинформативен. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Для того, чтобы понять данное определение, нужно изучить элементарную математику и знать начала высшей.

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека.

Сообщение несёт информацию для человека, если содержащиеся в нём сведения являются для него новыми и понятными.

Неопределённость знаний и единица информации

Пока мы с вами научились различать лишь две ситуации: «нет информации» — «есть информация», то есть количество информации равно нулю или не равно нулю. Но, очевидно, для измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит». Её определение звучит так:

Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации.

В этом определении есть понятия, которые требуют пояснения.

Что такое «неопределённость знаний»? Лучше всего это объяснить на примерах. Допустим,

вы бросаете монету, загадывая, что выпадет: орёл или решка? Есть всего два варианта возможного результата бросания монеты. Причём, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

В этом случае перед подбрасыванием монеты неопределённость знаний о результате равна двум. Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределённость знаний о результате бросания кубика равна шести.

Ещё пример: спортсмены-лыжники перед забегом путём жеребьёвки определяют свой порядковый номер на старте. Допустим неопределённость знаний спортсменом своего номера до жеребьёвки равна ста.

Следовательно, можно сказать так: неопределённость знаний о некотором событии — это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия).

Вернёмся к примеру с монетой. После того, как вы бросили монету и посмотрели на неё, вы получили зрительное сообщение, что выпал, например, орёл. Произошла одно из двух возможных событий. Неопределённость знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации

Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.

А теперь такая задача: студент на экзамене может получить одну из четырёх оценок: «5» — «отлично», «4» — «хорошо», «3» — «удовлетворительно», «2» — неудовлетворительно». Представьте себе, что ваш товарищ пошёл сдавать экзамен. Причём, учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». Вы волнуетесь за него, ждёте результата экзамена. Наконец, он пришёл и на ваш вопрос: «Ну, что получил? — ответил: «Четвёрку!».

Вопрос. Сколько бит информации содержится в его ответе?

Если сразу сложно ответить на этот вопрос, то давайте подойдём к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

Первый вопрос:

Оценка выше тройки? Да! После этого ответа число вариантов уменьшилось в два раза. Остались только «4» и «5». Получен 1 бит информации.

Второй вопрос:

Ты получил пятёрку? Нет! Выбран один вариант из двух оставшихся: оценка – «четвёрка». Получен еще 1 бит

информации. В сумме имеем 2 бита. Сообщение о том, что произошло одно из четырёх равновероятных событий несёт 2 бита информации.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

Решим ещё одну частную задачу, применив этот метод, а потом выведем общее правило.

На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?