Презентация по информатике "Измерение информации_вероятностный подход" (11 класс)

Измерение Измерение информации информации й й Вероятностны Вероятностны (содержатель (содержатель ный) подход к ный) подход к определению определению количества количества информации информации Количество информации как мера Количество информации как мера уменьшения неопределенности уменьшения неопределенности знания знания Человек получает информацию из окружающего мира с  помощью органов чувств, анализирует ее и выявляет  существенные закономерности с помощью мышления, хранит  полученную информацию в памяти. Процесс познания  окружающего мира можно изобразить в виде расширяющего  круга знания. знание незнание знание Количество информации как мера Количество информации как мера уменьшения неопределенности уменьшения неопределенности знания знания Процесс познания окружающего мира приводит к накоплению  информации в форме знаний. Получение новой информации  приводит к расширению знаний или, как иногда говорят, к  уменьшению неопределенности знания. Если некоторое  сообщение приводит к уменьшению неопределенности нашего  знания, то можно говорить, что такое сообщение содержит  информацию. Информационное сообщение об оценке за зачет приводит к  уменьшению неопределенности знания в два раза, так как  получено одно из двух возможных информационных сообщений  («зачет», «незачет»). Информационное сообщение об оценке за  контрольную работу – в четыре раза («2», «3», «4», «5») Количество информации как мера Количество информации как мера уменьшения неопределенности уменьшения неопределенности знания знания Ясно, что чем более неопределенна первоначальная ситуация  (чем большее количество информационных сообщений  возможно), тем больше мы получим новой информации при  получении информационного сообщения (тем в большее  количество раз уменьшится неопределенность знания) Количество информации можно рассматривать как  Количество информации меру уменьшения неопределенности знания при  получении информационных сообщений. Этот подход к информации позволяет количественно измерять  информацию по формуле:  N = 2N = 2ii N –количество информационных сообщений, i – количество информации, которое несет полученное сообщение Количество информации как мера Количество информации как мера уменьшения неопределенности уменьшения неопределенности знания знания Сообщение, уменьшающее неопределенность  Сообщение знаний в два раза, несет 1 бит информации. •Ожидание оценки  Ожидание оценки (неопределенность  знаний равна четырем) •Подбрасывание монеты Подбрасывание монеты  (неопределенность знаний равна двум) • Подбрасывание шестигранного кубика Подбрасывание шестигранного кубика  (неопределенность знаний равна шести) Неопределенность знаний о некотором событии – это количество возможных результатов события Примеры: Примеры: На книжном стеллаже 8 полок. Книга может быть  На книжном стеллаже 8 полок. Книга может быть поставлена на любую из них. Сколько информации поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? содержит сообщение о том, где находится книга? На экзамен приготовлено 30 билетов. Чему равно  На экзамен приготовлено 30 билетов. Чему равно количество событий, которые могут произойти количество событий, которые могут произойти при вытягивании билета? Чему равна при вытягивании билета? Чему равна неопределенность знаний ученика перед тем как неопределенность знаний ученика перед тем как он вытянет билет? Во сколько раз уменьшится он вытянет билет? Во сколько раз уменьшится неопределенность знания после того как ученик неопределенность знания после того как ученик билет вытянул? Зависит ли этот показатель от билет вытянул? Зависит ли этот показатель от номера вытянутого билета? номера вытянутого билета?  ИграИгра «Угадай число» Задаем вопросы. Необходимо на каждом шаге в два раза уменьшать неопределенность знания, тогда ответ «ДА» или «НЕТ» будет содержать 1 бит Задаем вопросы. Необходимо на каждом шаге в два раза уменьшать неопределенность знания, тогда ответ «ДА» или «НЕТ» будет содержать 1 бит (например, загадано число 5 из интервала от 1 до 16). Неопределенность знаний = 16 Неопределенность знаний = 16.. «Угадай число» (например, загадано число 5 из интервала от 1 до 16). информации. Подсчитав общее количество ответов на вопросы (бит), найдем полное количество информации, необходимое для отгадывания числа. информации. Подсчитав общее количество ответов на вопросы (бит), найдем полное количество информации, необходимое для отгадывания числа. Вопрос Вопрос Ответ Неопределеннос Неопределеннос Ответ ть знаний ть знаний Число > 8?> 8? НетНет Число Число > 4?> 4? ДаДа Число Число > 6?> 6? НетНет Число Число 5? ДаДа Число 5? Неопределенность знаний перед угадыванием равна 16. Количество информации, необходимое для определения одного  из 16 чисел, равно 4 бит.  88 44 22 11 кол-во кол-во Полученное Полученное информации информации 1 бит 1 бит 1 бит 1 бит 1 бит 1 бит 1 бит 1 бит Загадайте число из промежутка от 1 до  Загадайте число из промежутка от 1 до  32.32. i=i= 5 бит 5 бит N=2N=2ii 32=255 32=2 N=2N=2ii Выразим i (количество  информации) из этой формулы i=log22NN i=log Неравновероя Неравновероя тные события тные события i=log22(1/р) (1/р) i=log Как вычислить количество информации  Как вычислить количество информации в сообщении о таком событии? в сообщении о таком событии? i – количество информации р – вероятность события Вероятность события выражается в долях единицы и  вычисляется по формуле: рр=K/N=K/N К – величина, показывающая, сколько  раз произошло интересующее нас  событие N – общее число возможных исходов  какого – то процесса. Задача.   Задача. В мешке находятся 20 шаров.  В мешке находятся 20 шаров.  Из них 15 белых и 5 красных.  Из них 15 белых и 5 красных.  Какое количество информации  Какое количество информации  несет сообщение о том, что  несет сообщение о том, что  достали достали 1. Найдем вероятность того, что достали белый шар: рб = 15/20 =0,75 2. Найдем вероятность того, что достали красный шар: рк = 5/20 =0,25 3. Найдем количество информации в сообщении о вытаскивании белого шара: iб = log2(1/pб) = = log2(1/0,75)=log2(1,3)=0,3785 бит 4. Найдем количество информации в Дано: Дано: N=20 N=20 ККбб=15=15 ККкк=5=5 Найти: Найти: iiбб_?_? iiкк-?-? Решение: 1. рбб = 15/20 =0,75 2. ркк = 5/20 =0,25 3. iбб=log22(1/pбб) = =log22(1/0,75)= =log22(1,3)=0,3785 бит 4. iкк=log22(1/pкк)= =log22(1/0,25)= =log22(4)=2 бит Вероятность вытаскивания белого  Вероятность вытаскивания белого  шара больше, чем вероятность  шара больше, чем вероятность  вытаскивания красного шара, а  вытаскивания красного шара, а  информации при этом получилось  информации при этом получилось  меньше. Это качественная связь  меньше. Это качественная связь  между вероятностью события и  между вероятностью события и Для вычисления  количества  информации  можно  использовать  инженерный  калькулятор. log  xy ln ln x y