Вопрос 46.doc

Количество информации. Формулы Хартли и Шеннона.

(**)

Данное выражение открывает возможность численного изме­рения количества информации, поскольку оценивать энтропию умеем. Из него легко получить ряд следствий:

Следствие 1 . Поскольку единицей измерения энтропии являет­ся бит, то в этих же единицах может быть измерено количество информации.

Следствие 2. Пусть опыт a = В, т.е. просто произведен опыт В. Поскольку он несет полную информацию о себе самом, неопреде­ленность его исхода полностью снимается, т.е. = 0. Тогда , т.е. можно считать, что энтропия равна информации относительно опыта, которая содержится в нем самом.

Можно построить уточнение: энтропия опыта равна той информации, которую получаем в результате его осуществления.

Отметим ряд свойств информации:

1.     > 0, причем  = 0 тогда и только тогда, когда опыты a и В независимы.

2.     =, т.е.  информация  симметрична  относительно последовательности опытов.

3.     Следствие 2 и представление энтропии в виде  позволяют записать:(1)

т.е. информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе.

Пример Игра «Уеадай-ка-4». Некто задумал целое число в интервале от 0 до 3. Наш опыт состоит в угадывании этого числа. На наши вопросы Некто может отвечать лишь «Да» или «Нет». Какое количество информации должны получить, чтобы узнать задуманное число, т.е. полностью снять начальную неопределенность? Как правильно построить процесс угадывания?

Исходами в данном случае являются: А1 — «задуман 0», А_г - «задума­на 1",А3 - «задумана 2», A4 - "задумана 3». Конечно, предполагается, что вероятности быть задуманными у всех чисел одинаковы. Поскольку n = 4, следовательно, p(Ai) = 1/4, log2 р(Ai) = -2 и I = 2 бит. Таким обра­зом, для полного снятия неопределенности опыта (угадывания заду­манного числа) нам необходимо 2 бит информации. Теперь выясним, какие вопросы необходимо задать, чтобы процесс угадывания был оптимальным, т.е. содержал минимальное их число.

Здесь удобно воспользоваться так называемым выборочным каскадом.

Для решения задачи достаточно 2-х вопро­сов независимо от того, какое число было задумано. Совпадение меж­ду количеством информации и числом вопросов с бинарными ответами неслучайно,

Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи.

В рассмотренном примере два полученных ответа в выбороч­ном каскаде полностью сняли начальную неопределенность. По­добная процедура позволяет определить количество информа­ции в любой задаче, интерпретация которой может быть све­дена к парному выбору. Например, определение символа некото­рого алфавита, использованного для представления сообщения. Приведенное утверждение перестает быть справедливым в том случае, если каждый из двух возможных ответов имеет разную вероятность.

Легко получить следствие формулы (1) для случая, когда все п исходов равновероятны. В этом случае все  и, следовательно,(2)

Эта формула была выведена в 1928 г. американским инжене­ром Р. Хартли и носит его имя. Она связывает количество равно­вероятных состояний (п) и количество информации в сообщении (I), что любое из этих состояний реализовалось. Ее смысл в том, что, если некоторое множество содержит п элементов и х принад­лежит данному множеству, то для его выделения (однозначной идентификации) среди прочих требуется количество информации, равное log2п.

Частным случаем применения формулы (2) является си­туация, когда n = 2^k; подставляя это значение в (2), очевидно, получим:I= k бит.   (3)

Попытаемся понять смысл полученных ре­зультатов. Необходимо выделить ряд моментов.

1. Выражение (1) является статистическим определением понятия «информация», поскольку в него входят вероятности воз­можных исходов опыта. По сути дается операционное определе­ние новой величины, т.е. устанавливается процедура (способ) из­мерения величины. Как отмечалось ранее, в науке (научном зна­нии) именно такой метод введения новых терминов считается предпочтительным, поскольку то, что не может быть измерено, не может быть проверено и, следовательно, заслуживает меньшего доверия.

Выражение (**) можно интерпретировать следующим образом: если начальная энтропия опыта Н, а в результате сообщения ин­формации I энтропия становится равной Н₂ (очевидно, H1 > H₂), то I= H1 - H₂

т.е. информация равна убыли энтропии. В частном случае, если изначально равновероятных исходов было n1, а в результате пе­редачи информации I неопределенность уменьшилась, и число исходов стало n₂(очевидно, n₂< n1), то из (2) легко получить:

Таким образом, можно дать следующее определение:

Информация - это содержание сообщения, понижающего неопределенность некоторого опыта с неоднозначным исходом; убыль связанной с ним энтропии является количественной мерой информации.

В случае равновероятных исходов информация равна логарифму отношения числа возможных исходов до и после (получения сообщения).

2.  Как уже было сказано, в статистической механике энтропия характеризует неопределенность, связанную с недостатком  информации о состоянии системы. Наибольшей оказывается энтропия у равновесной  полностью беспорядочной системы - о ее состоянии   наша   осведомленность   минимальна.   Упорядочение системы  (наведение  какого-то  порядка) связано  с  получением некоторой дополнительной информации и уменьшением энтропии В теории  информации  энтропия также отражает  неопределенность, однако, это неопределенность иного рода - она связана с незнанием результата опыта с набором случайных возможных ис ходов. Таким образом, хотя между энтропией в физике и информатике много общего, необходимо сознавать и различие этих понятий.

Следствием  аддитивности  энтропии  независимых  опытов  оказывается аддитивность информации.

3. Вернемся к утверждению о том, что количество информации может быть измерено числом вопросов с двумя равновероятными ответами. Означает ли это, что  I должна быть всегда величиной целой?

Величина I, определяемая описанным выше образом, показы­вает, сколько в среднем необходимо сделать парных выборов для установления результата (полного снятия неопределенно­сти), если опыт повторить многократно (n -> °°).

5. Легко показать, что при р -> 0 и при р-> 1 функция I(р) -> 0. Ситуа­ция может быть проиллюстрирована графиком, из которого, в част­ности, видно, что кривая симметрична относительно р = 0,5 и достигает максимума при этом значении. Если теперь считать, что событие 1 - это утвердительный ответ на бинарный вопрос, а событие 2 - отрицательный, то приходим к заключению: Ответ на бинарный вопрос может содержать не более 1 бит информации; информация равна 1 бит только для равноверо­ятных ответов; в остальных случаях она меньше 1 бит.

6.  Нами рассмотрен вероятностный подход к определению количества информации. Он не является единственным. Количество информации можно связать с числом знаков в дискретном сообщении - такой способ измерения называется объемным. Можно доказать, что при любом варианте кодирования информации  Iвер<Iоб.

7.Объективность информации. При использовании людьми одна и та же информация может иметь различную оценку с точки зрения значимости (важности, ценности). Определяющим в такой оценке оказывается содержание (смысл) сообщения для конкретного потребителя. Однако при решении практических задач технического характера содержание сообщения может не играть роли. Например, задача телеграфной (и любой другой) линии связи является точная и безошибочная передача сообщения без анализа того, насколько ценной для получателя оказывается связанная с ним информация. Техническое устройство не может оценить важности информации - его задача без потерь передать или сохранить информацию. Выше определили информацию как результат выбора. Такое определение не зависит от того, кто и каким образом осуществляет выбор, а связанная с ним количественная мера ин­формации - одинаковой для любого потребителя. Следовательно, появляется возможность объективного измерения информации, при этом результат измерения - абсолютен. Это служит предпо­сылкой для решения технических задач. Нельзя предложить абсо­лютной и единой для всех меры ценности информации. С точки зрения формальной информации страница из учебника информа­тики или из романа «Война и мир» и страница, записанная бес­смысленными значками, содержат одинаковое количество инфор­мации. Количественная сторона информации объективна, смысло­вая - нет. Однако, жертвуя смысловой (семантической) стороной информации, получаем объективные методы измерения ее коли­чества, а также обретаем возможность описывать информационные процессы математическими уравнениями. Это является приближе­нием и в то же время условием применимости законов теории информации к анализу и описанию информационных процессов.

9. Информация и знание. На бытовом уровне, в науках социаль­ной направленности, например в педагогике «информация» отожде­ствляется с «информированностью», т.е. человеческим знанием, которое, в свою очередь, связано с оценкой смысла информации. В теории информации же, напротив, информация является мерой нашего незнания чего-либо (но что в принципе может произойти); как только это происходит и узнаем результат, информация, связан­ная с данным событием, исчезает.

Для оценки информации, связанной с выбором одного знака алфавита с учетом неравной вероятности их появления в сообще­нии (текстах) можно воспользоваться формулой .Из нее, в частности, следует, что если рi- вероятность (относительная час­тота) знака номер i данного алфавита из N знаков, то среднее коли­чество информации, приходящейся на один знак, равно: . Это и есть знаменитая формула К.Шеннона.