Вероятностный подход
Информация для человека - ???
Сообщение несет информацию, если ???
есть
информация
нет
информации
На данный момент можем
различать две ситуации
Единица измерения информации
1 бит
Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации
Рассмотрим понятие неопределенности на примерах
Подбрасывание игрального кубика
Количество исходов :
6
Рассмотрим понятие неопределенности на примерах
Подбрасывание монеты
Количество исходов :
Неопределенность:
2
2
Рассмотрим понятие неопределенности на примерах
Подбрасывание игрального кубика
Количество исходов :
Неопределенность:
6
6
Примеры определения количества информации
Подбрасывание монеты
неопределенность:
количество информации:
2
1 бит
Примеры определения количества информации
Сдача экзамена. Можно получить «2», «3», «4», «5»
неопределенность:
количество информации:
4
2 бита
Примеры определения количества информации
Сообщение «Книга лежит на одной из 8 полок»
неопределенность:
количество информации:
8
3 бита
Попробуем определить закономерность:
N = 2; I = 1
N = 4; I =2
N = 8; I = 3
Получается формула
N - неопределенность; I – количество информации
N = 2I
Пример решения задачи.
Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?
N = 4 (всего 4 дорожки)
N = 2i
4 = 2i → i = 2 бита (реализовался один исход – дети плавают на дорожке № 3)
4 = 22
Алфавитный подход
Данный подход не связан с содержанием сообщения и зависит от мощности алфавита.
Мощность алфавита – полное число символов алфавита.
Мощность русского алфавита N = 54
Тогда согласно формуле
2i = N
N – мощность алфавита
i – вес одного символа
Один символ в русском алфавите несет
5,75 бит информации
Пример
Пусть в книге страница содержит 50 строк по 60 символов, тогда количество информации составит:
50 * 60 * 5, 75 =17 265 бит
Вывод: при алфавитном подходе к измерению информации количество информации не зависит от содержания, а зависит от объема текста и мощности алфавита
Удобнее всего измерять информацию, если мощность алфавита является степенью числа 2.
Если N = 16; i = 4
N = 32; i =5
N = 256; i = 8
Существует т. н. достаточный алфавит, в котором 1 символ весит 8 бит
Связь единиц измерения информации
1 байт = 8 бит
1 килобайт = 210 байт = 1024 байт
1 мегабайт = 210 килобайт = 1024 килобайт
1 гигабайт = 210 мегабайт = 1024 мегабайт
Материалы на данной страницы взяты из открытых источников либо размещены пользователем в соответствии с договором-офертой сайта. Вы можете сообщить о нарушении.