Вопрос 45.doc

Вероятность и энтропия как мера неопределенности.

Случайные события могут быть описаны с использованием понятия «вероятность. Соотношения теории вероятностей позволяют найти (вычислить) вероятности как одиночных случайных событий, так и сложных опытов, объединяющих несколько независимых или связанных между собой событий. Однако описать случайные события можно не только в терминах вероятностей.

То, что событие случайно, означает отсутствие полной уверенности в его наступлении, что, в свою очередь, создает неопределенность в исходах опытов, связанных с данным событием. Безусловно, степень неопределенности различна для разных ситуаций.

Попробуем ввести такую количественную меру неопределенности. Начнем с простой ситуации, когда опыт имеет п равновероятных исходов. Очевидно, что неопределенность каждого из них зависит от п, т.е. мера неопределенности является функцией числа исходов f(n).

Можно указать некоторые свойства этой функции:

1) f (1) = 0, поскольку при п - 1 исход опыта не является случайным и, следовательно, неопределенность отсутствует;

2) f(n) возрастает с ростом n, поскольку чем больше число возможных исходов, тем более затруднительным становится предсказание результата опыта.

Для определения явного вида функции f(n) рассмотрим два независимых опыта  и  с количествами равновероятных исходов, соответственно п и . Пусть имеет место сложный опыт, который состоит в одновременном выполнении опытов  и ; число возможных его исходов равно п , причем, все они равновероятны. Очевидно, неопределенность исхода такого сложного опыта  и  будет больше неопределенности опыта , поскольку к ней добавляется неопределенность  ; мера неопределенности сложного опыта равна f(п). С другой стороны, меры неопределенности отдельных  и  составляют, соответственно f(п) и f(). В первом случае (сложный опыт) проявляется общая (суммарная) неопределенность совместных событий, во втором – неопределенность каждого из событий в отдельности. Однако из независимости  и  следует, что в сложном опыте они никак не могут повлиять друг на друга и, в частности, а не может оказать воздействия на неопределенность , и наоборот. Следовательно, мера суммарной неопределенности должна быть равна сумме мер неопределенности каждого из опытов, т.е. мера неопределенности аддитивна:

f(п)= f(п) +f()       (1)

За меру неопределенности опыта с п равновероятными исходами можно принять число log(n).

logbn= logba logan

Переход к другому основанию состоит во введении одинакового для обеих частей выражения (1) постоянного множителя logb a, что равносильно изменению масштаба (т.е. размера единицы) измерения неопределенности. Поскольку это так, имеется возможность выбрать удобное (из каких-то дополнительных соображений)основание логарифма. Таким удобным основанием оказывается 2, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые можно обозначить, например, ИСТИНА (True) и ЛОЖЬ (False) и использовать для анализа таких событий аппарат математической логики.

Единица измерения неопределенности при двух возможных равновероятных исходах опыта называется бит.

Таким образом, нами установлен явный вид функции, описывающей меру неопределенности опыта, имеющего п равновероятных исходов:

f(n) = Iog2 n                   (2)

Эта величина получила название энтропия. В дальнейшем будем обозначать ее Н.

Вновь рассмотрим опыт с п равновероятными исходами. Поскольку каждый исход случаен, он вносит свой вклад в неопределенность всего опыта, но так как все п исходов равнозначны, разумно допустить, что и их неопределенности одинаковы. Из свойства аддитивности неопределенности, а также того, что согласно (2) общая неопределенность равна Iog2 п, следует, что неопределенность, вносимая одним исходом составляет

где  вероятность любого из отдельных исходов.

Таким образом, неопределенность, вносимая каждым из равновероятных исходов, равна:

Н = -Plog2 P.                               (3)

Теперь попробуем обобщить формулу (3) на ситуацию, когда исходы опытов неравновероятны, например, р(А1) и р(А2). Тогда:

 H1=-P(A1)*log2 P(A1) и H2=-P(A2)*log2 P(A2)

H=H1+H2=-P(A1)*log2 P(A1)- P(A2)*log2 P(A2)

Обобщая это выражение на ситуацию, когда опыт а имеет п неравновероятных исходов А1, А2 ... Ап, получим:

.       (4)

Введенная таким образом величина, как уже было сказано, называется энтропией опыта а. Используя формулу для среднего значения дискретных случайных величин, можно записать:

А() - обозначает исходы, возможные в опыте а.

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.

Свойства энтропии:

Рассмотрим ,

1)    H=0, если 1. P(Ai)=1 для i-го исхода.

                       2.P(Ai)=0 – все исходы не возможны.

2) Энтропия сложного опыта, состоящего из нескольких независимых, равна сумме энтропий отдельных опытов.

3) Наибольшую энтропию имеет опыт с равновероятными исходами.

Условная энтропия

Найдем энтропию сложного опыта а и В в том случае, если опыты не являются независимыми, т.е. если на исход В оказывает влияние результат опыта а.

Связь между а и В состоит в том, что какие-то из исходов мо­гут оказывать влияние на исходы из , т.е. некоторые пары собы­тий ; не являются независимыми. Но тогда в p() следу­ет заменять не произведением вероятностей, а p()=p()*p(B)

где - p(B) вероятность наступления исхода B при условии, что в первом опыте имел место исход . Тогда Iog₂ p()=Iog₂  p(A)+ Iog₂ p(B)

И получаем формулу: H

Это выражение представляет собой общее правило на­хождения энтропии сложного опыта.

Относительно условной энтропии можно высказать следующие утверждения:

1. Условная энтропия является величиной неотрицательной. Н_а(В) = 0 только в том случае, если любой исход а полностью определяет исход  В (как в примере с двумя шарами), т.е.

В этом случае Н() = Н(а).

2,  Если опыты а и В независимы, то Н_а(В) = Н(В), причем это оказывается наибольшим значением условной энтропии. Другими словами, опыт а не может повысить неопределенность опыта В; он может либо не оказать никакого влияния (если опыты независимы), либо понизить энтропию В.

Приведенные утверждения можно объединить одним неравен­ством:

0< Н_а(В)<Н(В), т.е. условная энтропия не превосходит безусловную.

3.  Из соотношений (1) и (2) следует, что

Н(аВ) < H(а) + H(В), причем равенство реализуется только в том случае, если опыты а и В независимы.