Лекция "Измерение информации: содержательный и алфавитный подходы. "

Билет № 2 1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации. Содержательный подход к измерению информации.  Для человека  информация — это знания человека.  Получение новой  информации  приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию. Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека.   Например,   прогноз   погоды   на   завтра   —   информативное   сообщение,   а   сообщение   о вчерашней погоде неинформативно, т.к. нам это уже известно. информативность одного и того же сообщения   может   быть   разной   для   разных   людей.   Например:   «2x2=4»   информативно   для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. Но для того чтобы сообщение было информативно оно должно еще быть понятно. Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными Очевидно, различать лишь две ситуации: «нет информации» — «есть информация» для измерения информации   недостаточно.   Нужна   единица   измерения,   тогда   мы   сможем   определять,   в   каком сообщении информации больше, в каком — меньше. Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так: Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации. Например,   после   сдачи   зачета   или   выполнения   контрольной   работы   ученик   мучается неопределенностью, он не знает, какую оценку получил. Наконец, учитель объявляет результаты, и он   получаете   одно   из   двух   информационных   сообщений:   «зачет»   или   «незачет»,   а   после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5». Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений. Неопределенность   знаний   о   некотором   событии   —   это   количество   возможных   результатов события. Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу: 2I = N Количество   информации,   содержащееся   в   сообщении   о   том,   что   произошло   одно   из   N равновероятных событий, определяется из решения показательного уравнения: 2I = N. Алфавитный подход к измерению информации. При алфавитном подходе  к определению количества информации отвлекаются  от содержания информации   и   рассматривают   информационное   сообщение   как   последовательность   знаков определенной знаковой системы. роще  всего  разобраться в  этом  на примере  текста,  написанного на  каком­нибудь  языке.  Для  нас удобнее, чтобы это был русский язык. Все множество используемых в языке символов будем традиционно называть алфавитом. Обычно под алфавитом  понимают  только  буквы,  но  поскольку  в  тексте могут  встречаться   знаки  препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами. При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита. При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации. Интересно, что сама единица измерения информации «бит» получила свое название   от   английского   сочетания   «binary   digit»   ­   «двоичная   цифра».   Удобнее   всего   измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 24 = 16. А если N =32, то один символ «весит» 5 бит. Компьютерные редакторы, в основном, работают с алфавитом размером 256 символов. Для   измерения   больших   объемов   информации   используются   следующие   производные   от   байта единицы:  1 килобайт = 1Кб = 210 байт = 1024 байта. 1 мегабайт = 1Мб = 210 Кб = 1024 Кб. 1 гигабайт = 1Гб = 210 Мб = 1024 Мб.