Слайды к лекции №4

1. Условная энтропия и взаимная информация.

2. Количество информации и избыточность

3. Аддитивность информационной меры

Условная энтропия и взаимная информация.

Пусть  и   - случайные величины с множеством возможных значений   

Условной энтропией величины  при наблюдении величины  называется

Справедливы соотношения:

Взаимной информацией  величин  и  называется

Справедливы следующие соотношения:

Если  и независимы, то =0.

Пример 1.

Дана матрица

,  .

Определить:      

Решение.

По формуле полной вероятности имеем:

Следовательно,

По теореме умножения

Следовательно,

Аналогично

Количество информации и избыточность

Количество информации  при наблюдении случайной величины

 с распределением вероятностей  задается формулой Шеннона:

Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

При равномерном распределении  количество информации задается формулой Хартли:

Справедливы следующие соотношения:

если  и  - независимы

Избыточностью называется

Пусть

    поэтому

Аддитивность информационной меры

Рассмотрим два источника информации:

При одновременном наблюдении

Мера Хартли:                       

Мера Шеннона

Пусть А и В независимы, тогда