Формула Хартли. Информация и вероятность. Формула Шеннона
Оценка 4.8

Формула Хартли. Информация и вероятность. Формула Шеннона

Оценка 4.8
Разработки уроков
doc
информатика
11 кл
08.09.2023
Формула Хартли. Информация и вероятность. Формула Шеннона
Тема: Формула Хартли. Информация и вероятность. Формула Шеннона. Цели: ввести понятие «количество информации», сформировать у учащихся понимание вероятности, равновероятных событий, не равновероятных событий, научить находить количество информации. Ход урока I. Организационный момент Приветствие. Проверка присутствующих. Сообщение темы и целей урока II. Изучение нового материала 1. Существует два подхода к определению информации. Один из них называется содержательный или вероятностный. Из названия можно сделать вывод, что количество информации зависит от ее содержания. Задание 1 (устно) Определите количество информации с позиции «информативно» или «не информативно». 1. Столица России – Москва (не инф., т.к. уже знаем). 2. Сумма квадратов катетов равна квадрату гипотенузы (не инф., уже знаем). 3. Эйфелева башня имеет высоту 300 метров и вес 9000 тонн (инф.). 4. Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распространении в среде с резко выраженной оптической неоднородностью (не инф., т.к. непонятно). Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным. Следует отличать понятия информация и информативность. - Содержит ли учебник физики 11 класса информацию? (да) - Для кого он будет информативным – для ученика 11 класса или 1 класса? (для ученика 11 класса) Вывод: количество информации зависит от информативности. Информативность можно обозначить 1, не информативная информация равна 0. Но это не даёт точного определения количества информации. Существует 2 подхода при определении количества информации – содержательный и алфавитный. Содержательный применяется для измерения информации, используемой человеком, а алфавитный – компьютером. Компьютер не понимает смысла информации, поэтому для её измерения нужен другой подход. Информация передаётся с помощью сигналов. Горит зелёный свет – можно переходить улицу, горит красный – стой. Поднял руку на уроке – учитель понял, что ты можешь ответить на его вопрос. В этих примерах сигнал имеет два состояния, их двух вариантов мы выбираем один. Сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний. Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. (Выделенное курсивом учащиеся записывают в тетрадь). Для количественного выражения любой величины необходимо определить единицу измерения. Например, для измерения длины выбран определенный эталон метр, массы – килограмм. Минимальная единица информации называется бит. 1 бит – это такое количество информации, уменьшающее неопределенность знаний в два раза. Чтобы закодировать все символы нужна комбинация из 8 нулей и единиц, подобный набор называют двоичным кодом и это составляет 1 байт = 8 бит = 1 символ. 1 килобайт=1024 байт 1 мегабайт=1024 килобайт 1 гигабайт=1024 мегабайт 1 терабайт=1024 гигабайт Для человека получение новой информации приводит к расширению знаний, или к уменьшению неопределенности. Например, сообщение о том, что завтра среда, не приводит к уменьшению неопределенности, поэтому оно не содержит информацию. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. Мы знаем до броска, что может произойти одно из двух событий – монета окажется в одном из двух положений: «орел» или «решка». После броска наступает полная определенность (визуально получаем информацию о том, что выпал, например, «орел»). Информационное сообщение о том, что выпал «орел» уменьшает нашу неопределенность в 2 раза, так как получено одно из двух информационных сообщений. В окружающей действительности достаточно часто встречаются ситуации, когда может произойти больше, чем 2 равновероятных события. Так, при бросании шестигранного игрального кубика – 6 равновероятных событий. Событие выпадение одной из граней кубика уменьшает неопределенность в 6 раз. Чем больше начальное число событий, тем больше неопределенность нашего знания, тем больше мы получим информации при получении информационного сообщения. 2. Алфавитный подход к измерению информации Суть алфавитного подхода к измерению информации определяется по количеству использованных для ее представления знаков некоторого алфавита. Например, если при представлении числа XVIII использовано 5 знаков римского алфавита, то это и есть количество информации. То же самое число, т. е. ту же самую информацию, можно записать в десятичной системе (18). Как видим, получается 2 знака, т. е. другое значение количества информации. Алфавит – конечный набор символов, используемых для представления информации. Мощность алфавита – число символов в алфавите. (записать определение в тетрадь) Для того чтобы при измерении одной и той же информации получалось одно и то же значение количества информации, необходимо договориться об использовании определенного алфавита. Так как в технических системах применяется двоичный алфавит, то его же используют для измерения количества информации. Количество знаков в алфавите N=2, N=2 i , I – количество информации, I = 3 бита. N=2 i , где N – мощность алфавита, количество символов в алфавите, i - информационный вес каждого символа, измеряется в битах. I – информационный объем текста, высчитывается по формуле. I=K*i, где К – количество символов в тексте. Чем большее количество знаков в алфавите, тем большее количество информации несет 1 знак алфавита. 3. Содержательный подход к измерению информации N = 2 I, где N – количество возможных событий, I – количество информации. Задача № 1. Сколько бит информации несет сообщение о том, что из колоды карт достали даму пик? Ответ: 32=2 I, т.е. I=5 бит а) Если события равновероятны, то для измерения количества информации используется формула Хартли: N = 2I N – количество возможных событий, I – количество информации (в битах). б) Если события имеют различную вероятность, используется формула Шеннона:
Формула Хартли. Информация и вероятность. Формула Шеннона.doc

1-2 урок, 11 класс – теория

Учитель: Брух Т.В.

Дата:______________

Тема: Формула Хартли. Информация и вероятность. Формула Шеннона.

Цели: ввести понятие «количество информации», сформировать у учащихся понимание вероятности, равновероятных событий, не равновероятных событий, научить находить количество информации.

Ход урока

I.                  Организационный момент

Приветствие. Проверка присутствующих. Сообщение темы и целей урока

II.               Изучение нового материала

1. Существует два подхода к определению информации. Один из них называется содержательный или вероятностный. Из названия можно сделать вывод, что количество информации зависит от ее содержания.

Задание 1 (устно)

Определите количество информации с позиции «информативно» или «не информативно».

1.     Столица России – Москва (не инф., т.к. уже знаем).

2.     Сумма квадратов катетов равна квадрату гипотенузы (не инф., уже знаем).

3.     Эйфелева башня имеет высоту 300 метров и вес 9000 тонн (инф.).

4.     Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распространении в среде с резко выраженной оптической неоднородностью (не инф., т.к. непонятно).

Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным.

Следует отличать понятия информация и информативность.

- Содержит ли учебник физики 11 класса информацию? (да)

- Для кого он будет информативным – для ученика 11 класса или 1 класса? (для ученика 11 класса)

Вывод: количество информации зависит от информативности.

Информативность можно обозначить 1, не информативная информация равна 0. Но это не даёт точного определения количества информации.

Существует 2 подхода при определении количества информации – содержательный и алфавитный. Содержательный применяется для измерения информации, используемой человеком, а алфавитный – компьютером.

Компьютер не понимает смысла информации, поэтому для её измерения нужен другой подход. Информация передаётся с помощью сигналов. Горит зелёный свет – можно переходить улицу, горит красный – стой. Поднял руку на уроке – учитель понял, что ты можешь ответить на его вопрос. В этих примерах сигнал имеет два состояния, их двух вариантов мы выбираем один.

Сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений. (Выделенное курсивом учащиеся записывают в тетрадь).

Для количественного выражения любой величины необходимо определить единицу измерения. Например, для измерения длины выбран определенный эталон метр, массы – килограмм.

Минимальная единица информации называется бит.

1 бит – это такое количество информации, уменьшающее неопределенность знаний в два раза.

Чтобы закодировать все символы нужна комбинация из 8 нулей и единиц, подобный набор называют двоичным кодом и это составляет

1 байт = 8 бит = 1 символ.

1 килобайт=1024 байт

1 мегабайт=1024 килобайт

1 гигабайт=1024 мегабайт

1 терабайт=1024 гигабайт

Для человека получение новой информации приводит к расширению знаний, или к уменьшению неопределенности. Например, сообщение о том, что завтра среда, не приводит к уменьшению неопределенности, поэтому оно не содержит информацию.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. Мы знаем до броска, что может произойти одно из двух событий – монета окажется в одном из двух положений: «орел» или «решка». После броска наступает полная определенность (визуально получаем информацию о том, что выпал, например, «орел»). Информационное сообщение о том, что выпал «орел» уменьшает нашу неопределенность в 2 раза, так как получено одно из двух информационных сообщений.

В окружающей действительности достаточно часто встречаются ситуации, когда может произойти больше, чем 2 равновероятных события. Так, при бросании шестигранного игрального кубика – 6 равновероятных событий. Событие выпадение одной из граней кубика уменьшает неопределенность в 6 раз. Чем больше начальное число событий, тем больше неопределенность нашего знания, тем больше мы получим информации при получении информационного сообщения.

2. Алфавитный подход к измерению информации

Суть алфавитного подхода к измерению информации определяется по количеству использованных для ее представления знаков некоторого алфавита. Например, если при представлении числа XVIII использовано 5 знаков римского алфавита, то это и есть количество информации. То же самое число, т. е. ту же самую информацию, можно записать в десятичной системе (18). Как видим, получается 2 знака, т. е. другое значение количества информации.

Алфавит – конечный набор символов, используемых для представления информации.

Мощность алфавита – число символов в алфавите.

(записать определение в тетрадь)

Для того чтобы при измерении одной и той же информации получалось одно и то же значение количества информации, необходимо договориться об использовании определенного алфавита. Так как в технических системах применяется двоичный алфавит, то его же используют для измерения количества информации.

Количество знаков в алфавите N=2, N=2 i , I – количество информации, I = 3 бита.

N=2 i  , где N – мощность алфавита, количество символов в алфавите,

i -  информационный вес каждого символа, измеряется в битах. I – информационный объем текста, высчитывается по формуле. I=K*i, где К – количество символов в тексте.

Чем большее количество знаков в алфавите, тем большее количество информации несет 1 знак алфавита.

3. Содержательный подход к измерению информации

N = 2 I,  где N – количество возможных событий, I – количество информации.

Задача № 1. Сколько бит информации несет сообщение о том, что из колоды карт достали даму пик?

Ответ: 32=2 Iт.е. I=5 бит

а) Если события равновероятны, то для измерения количества информации используется формула Хартли:

N = 2I

N – количество возможных событий,

I – количество информации (в битах).

 

б)  Если события имеют различную вероятность, используется формула Шеннона:

I – количество информации;

N – количество возможных событий;

Рi – вероятность отдельных событий.

 

Задание

Заполнить пропуски числами:

а)__Гб=1536 Мб=__Кбайт

1536 Мб=1536:1024 Гб=1,5 Гб

1536 Мб= 1536*1024 Кб=1 572 864 Кб

б) 512 Кб=2_ байт=2_ бит

512 Кб= 512*1024 байт=524288 байт или 29*210=219 байт

219 байт=219*23 бит=222 бит, так как  в 1 байте 8 бит или 23

4. Решение задач

1) В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)?

           Решение:

т.к. вытаскивание любого из шаров равновероятно, то количество информации вычисляется по формуле 2I=N, где I – количество информации, а N – количество шаров. Тогда 2I=32, отсюда I = 5 бит.

2) Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

           Решение:

Поскольку выбор одной дорожки из 4-х равновероятен, то количество информации определяется по формуле: 2I=N, где I – количество информации, а N=4 – количество дорожек. Тогда 2I=4, отсюда I=2 бита.

3) При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

           Решение:

Поскольку выбор числа равновероятен из заданного диапазона, то количество информации определяется по формуле 2I=N, где I=6 бит, а N – количество чисел в искомом интервале. Отсюда: 26=N, N=64.

4) В корзине 15 яблок, 15 груш и 30 слив. Сколько бит информации несет сообщение о том, что выбранный из корзины фрукт – яблоко?

Решение:

1.        Найдем общее количество фруктов: 15 + 15 +30 = 60.

2.        Найдем вероятность выбора каждого из фруктов:

ря = 15/60 = ¼

рг = 15/60 = ¼

рс = 30/60 = ½

3.        Найдем количество информации:

I = - (1/4*log21/4 + 1/4*log21/4 + 1/2*log21/2) = - (1/4*(-2) + ¼*(-2) + ½*(-1)) = ½ + ½ + ½ = 0,5 + 0,5 + 0,5 = 1,5 бита

5. Закрепление нового материала.  Решение задач на определение количества информации.

№ 1. Определите самостоятельно количество информации, которое несет 1 буква русского алфавита.

Ответ: буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению информации).

№ 2.  Два текста содержат одинаковое число символов. Первый текст составлен в алфавите мощностью 32 символа, второй – мощностью 64 символа. Во сколько раз отличается количество информации в этих текстах?

Ответ: 1) 32=2 i ,  I = 5 бит

           2) 64 = 2 i , I = 6 бит

6. Подведение итогов урока.

- Какие существуют подходы к определению количества информации?

Ответ: существует 2 подхода к измерению количества информации – смысловой и технический или алфавитный.

- В чем состоит отличие одного подхода от другого?

 Ответ: при смысловом подходе количество информации – мера уменьшения неопределенности знания при получении информационного сообщения, при алфавитном – количество знаков в сообщении * количество информации, которое несет 1 знак алфавита.

- Назовите единицы измерения информации от самых маленьких до самых больших.

Ответ: бит, байт, Кб, Мб, Гб, Тб.

- На какую величину отличается байт от Кб, Кб от Мб, Мб от Гб?

Ответ: 1024 (210).

- Сколько битов содержится в 1 байте?

Ответ: 8.

- Что такое бит при смысловом и алфавитном подходе к определению количества информации?

Ответ: при смысловом подходе бит – уменьшение неопределенности знания в 2 раза при получении информационного сообщения;

при алфавитном подходе бит – информационная емкость одного знака при двоичном кодировании.

III.           Домашнее задание

Теория

Заполнить пропуски числами: 5 Кб = ___ байт = ___ бит;

___ Кб = ___ байт = 213 бит.


Учитель: Брух Т.В. Дата:______________

Учитель: Брух Т.В. Дата:______________

Минимальная единица информации называется бит

Минимальная единица информации называется бит

Задача № 1. Сколько бит информации несет сообщение о том, что из колоды карт достали даму пик?

Задача № 1. Сколько бит информации несет сообщение о том, что из колоды карт достали даму пик?

Найдем вероятность выбора каждого из фруктов: р я = 15/60 = ¼ р г = 15/60 = ¼ р с = 30/60 = ½ 2

Найдем вероятность выбора каждого из фруктов: р я = 15/60 = ¼ р г = 15/60 = ¼ р с = 30/60 = ½ 2
Материалы на данной страницы взяты из открытых истончиков либо размещены пользователем в соответствии с договором-офертой сайта. Вы можете сообщить о нарушении.
08.09.2023