1.Понятие об информации, виды сообщений.

Любая наука начинается со строгих определений используемых ею понятий и терминов. Поэтому было бы вполне разумным начать изложение основ теории информации именно с ее точного определения. Определить какое-либо понятие - значит выразить его через другие понятия, уже определенные ранее. Сложность ситуации, однако, в том, что информация является одной из исходных категорий мироздания, и, следовательно, определение «информации вообще» невозможно свести к каким-то более простым, более «исходным» терминам.

На бытовом уровне и во многих научных дисциплинах он ассоциируется с понятиями сведения, знания, данные, известие, сообщение, управление и др. Общим во всех перечисленных примерах является то, в них существенным и значимым для использования является содержательная сторона информации - с позиций «здравого смысла».

Отделив информацию от ее семантической основы, получаем возможность построить определение информации и параллельно ввести ее объективную количественную меру. Будет использован способ определения, который называется операционным и который состоит в описании метода измерения или нахождения значения определяемой величины - такому способу отдается предпочтение в научном знании, поскольку он обеспечивается однозначность и объективность, чего трудно добиться для категорий, не имеющих меры (например, попробуйте определить понятие «доброта»).

Материальный объект или среду, которые служат для представления или передачи информации, будем называть ее материальным носителем. Материальным носителем информации может быть бумага, воздух, лазерный диск, электромагнитное поле и пр. При этом хранение информации связано с некоторой характеристикой носителя, которая не меняется с течением времени.

Хранение информации связано с фиксацией состояния носителя, а распространение - с процессом, который протекает в носителе. Состояния и процессы могут иметь физическую, химическую, биологическую или иную основу - главное, что они материальны.

Однако не с любым процессом можно связать информацию. В частности, стационарный процесс, т.е. процесс с неизменными в течение времени характеристиками, информацию не переносит. Примером может служить постоянный электрический ток, ровное горение лампы, или равномерный гул - они содержат лишь ту информацию, что процесс идет, т.е. что-то функционирует.

Таким образом, для передачи необходим нестационарный процесс, т.е. процесс, характеристики которого могут изменяться; при этом информация связывается не с существованием процесса, а именно с изменением какой-либо его характеристики.

Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале измерений, называется параметром сигнала

Например: способ передачи – звук; процесс – звуковые волны; параметры сигнала – высота и громкость звука.

Однако одиночный сигнал, как увидим в дальнейшем, не может содержать много информации. Поэтому для передачи информации используется ряд следующих друг за другом сигналов.

Последовательность сигналов называется сообщением.

Таким образом, от источника к приемнику информация передается в виде сообщений. Можно сказать, что сообщение выступает в качестве материальной оболочки для представления информации при передаче. Следовательно, сообщение служит переносчиком информации, а информация является содержанием сообщения.

Соответствие между сообщением и содержащейся в нем информацией называется правилом интерпретации сообщения.

Это соответствие может быть однозначным и неоднозначным.

В первом случае сообщение имеет лишь одно правило интерпретации. Например, по последовательности точек, тире и пауз в азбуке Морзе однозначно восстанавливается переданная буква.

     Информационный процесс - это изменение с течением времени содержания информации или представляющего его сообщения.

     Различных видов информационных процессов оказывается немного:

• порождение (создание) новой информации;

• преобразование информации (т.е. порождение новой информации в результате обработки имеющейся);

• уничтожение информации;

• передача информации (распространение в пространстве).

     На самом деле все перечисленные события происходят не непосредственно с самой информацией, а с сообщением, т.е. ее материальной оболочкой. И с этих позиций возможны лишь два типа процессов: изменение сообщения с сохранением содержащейся в нем информации и изменение сообщения, сопровождающееся преобразованием информации. К процессам первого типа относятся передача информации без потерь и обратимая перекодировка; к процессам второго типа - создание-уничтожение, необратимая перекодировка, передача с потерями, обработка с появлением новой информации.

     Отдельно следует остановиться на хранении информации. Как уже было сказано, хранение связывается с фиксацией параметра материального носителя, который далее с течением времени не меняется. Следовательно, запись информации на носитель (непосредственно момент фиксации параметра) и ее последующее считывание подпадают под определение информационного процесса, но само хранение - нет. Хранение следовало бы назвать информационным состоянием, однако, такое понятие в информатике не используется.

С передачей информации связана еще одна пара исходных сопряженных понятий - источник и приемник информации.

Источник информации - это субъект или объект, порождающий информацию и представляющий ее в виде сообщения.

Приемник информации - это субъект или объект, принимающий сообщение и способный правильно его интерпретировать.

В этих определениях сочетание «субъект или объект» означает, что источники и приемники информации могут быть одушевленными (человек, животные) или неодушевленными (технические устройства, природные явления). Для того чтобы объект (или субъект) считался источником информации, он должен не только ее породить, но и иметь возможность инициировать какой-то нестационарный процесс и связать информацию с его параметрами, т.е. создать сообщение.

Понятия «приемник сообщения» и «приемник информации» не тождественны. Например, слыша речь на незнакомом языке, человек оказывается приемником сообщения, но не приемником информации.

Промежуточные устройства-преобразователи получили название технические средства связи, а в совокупности с соединяющей их средой они называются линией связи. К ним относятся телеграф, телефон, радио и телевидение, компьютерные телекоммуникации и пр. При использовании таких средств возникает необходимость преобразования сообщения из одного вида в другой без существенной для получателя потери информации, а также увязки скорости передачи сообщения (т.е. интервала следования и величины отдельных сигналов) с возможностями линии связи и приемника. Обе эти проблемы оказываются центральными в теории информации.

2. Преобразование сообщений, дискретизация, теорема Котельникова.

Передача информации производится с помощью сигналов, а самим сигналом является изменение некоторой характеристики носителя с течением времени. При этом в зависимости от особенностей изменения этой характеристики (т.е. параметра сигнала) с течением времени выделяют два типа сигналов: непрерывные и дискретные.

Сигнал называется непрерывным (или аналоговым), если его параметр может принимать любое значение в пределах некоторого интервала.

     Примерами непрерывных сигналов являются речь и музыка, изображение, показание термометра (параметр сигнала – высота столба спирта или ртути - имеет непрерывный ряд значений) и пр.

Сигнал называется дискретным, если его параметр может принимать конечное число значений в пределах некоторого интервала.

Поскольку последовательность сигналов есть сообщение, качество прерывности-непрерывности сигналов переносится и на сообщение- существуют понятия «непрерывное сообщение» и «дискретное сообщение». Очевидно, что дискретным будет считаться сообщение, построенное из дискретных сигналов. Гораздо меньше оснований приписывать данное качество самой информации, поскольку информация - категория нематериальная и не может обладать свойством дискретности или непрерывности. С другой стороны, одна и та же информация, как уже было Сказано, может быть представлена посредством различных сообщений, в том числе и отличающихся характером сигналов.

     В информатике существуют и используются сочетания «непрерывная информация» и «дискретная информация». Их нужно понимать только как сокращение полных фраз: «информация, представленная посредством непрерывных сигналов» и «информация, представленная посредством дискретных сигналов» - именно в таком контексте эти понятия будут использоваться в дальнейшем.

     Принципиальным и важнейшим различием непрерывных и дискретных сигналов является то, что дискретные сигналы можно обозначить, т.е. приписать каждому из конечного чисел возможные значения сигнала знак, который будет отличать данный сигнал от другого.

Знак - это элемент некоторого конечного  множества отличных друг от друга сущностей.

     Вся совокупность знаков, используемых для представления дискретной информации, называется набором знаков. Таким образом, набор есть дискретное множество знаков.

Набор знаков, в котором установлен порядок их следования, называется алфавитом.

Следовательно, алфавит - это упорядоченная совокупность знаков. Порядок следования знаков в алфавите называется лексикографическим.

Поскольку при передаче сообщения параметр сигнала должен меняться, очевидно, что минимальное количество различных его значений равно двум и, следовательно, алфавит содержит минимум два знака - такой алфавит называется двоичным. Верхней границы числа знаков в алфавите не существует; примером могут служить иероглифы, каждый из которых обозначает целое понятие, и общее их количество исчисляется десятками тысяч.

Знаки, используемые для обозначения фонем человеческого языка, называются буквами, а их совокупность - алфавитом языка.

Поскольку имеются два типа сообщений, между ними, очевидно, возможны четыре варианта преобразований:

Непрерывное 1(N1)              Непрерывное 2 (N2)

Дискретное 1(D1)               Дискретное 2 (D2)

Осуществимы и применяются на практике все четыре вида преобразований. Рассмотрим примеры устройств и ситуаций, связанных с такими преобразованиями, и одновременно попробуем отследить, что при этом происходит с информацией.

Примерами устройств, в которых осуществляется преобразование типа N1 —> N2, являются микрофон (звук преобразуется в электрические сигналы); магнитофон и видеомагнитофон (чередование областей намагничения ленты превращается в электрические сигналы, которые затем преобразуются в звук и изображение); телекамера (изображение и звук превращаются в электрические сигналы); радио и телевизионный приемник (радиоволны преобразуются в электрические сигналы, а затем в звук и изображение); аналоговая вычислительная машина (одни электрические сигналы преобразуются в другие). Особенностью данного варианта преобразования является то, что оно всегда сопровождается частичной потерей информации. Потери связаны с помехами (шумами), которые порождает само информационное техническое устройство и которые воздействуют извне. Эти помехи примешиваются к основному сигналу и искажают его.

Теперь обсудим общий подход к преобразованию типа N –> D. С математической точки зрения перевод сигнала из аналоговой формы в дискретную означает замену описывающей его непрерывной функции времени Z(t) на некотором отрезке [t1;t2] конечным множеством (массивом) (i=0…n, где п - количество точек разбиения временного интервала). Подобное преобразование

называется дискретизацией непрерывного сигнала и осуществляется посредством двух операций: развертки по времени и квантования по величине сигнала.

Развертка по времени состоит в том, что наблюдение за значением величины Z производится не непрерывно, а лишь в определенные моменты времени с интервалом .

Квантование по величине - это отображение вещественных значений параметра сигнала в конечное множество чисел, кратных некоторой постоянной величине - шагу квантования ().

Теорема Котельникова: Непрерывный сигнал можно полностью отобразить и точно воссоздать по последовательности измерений или отсчетов величины этого сигнала через одинаковые интервалы времени, меньшие или равные половине периода максимальной частоты, имеющейся в сигнале.

Смысл теоремы в том, что дискретизация не приведет к потере информации и по дискретным сигналам можно будет полностью восстановить исходный аналоговый сигнал, если развертка по времени выполнена в соответствии со следующим соотношением: , где – минимальный из периодов колебаний, содержащихся в сигнале.

Можно перефразировать теорему отсчетов:

Развертка по времени может быть осуществлена без потери информации, связанной с особенностями непрерывного (аналогового) сигнала, если шаг развертки не будет превышать , определяемый в соответствии с , где – минимальный из периодов колебаний, содержащихся в сигнале.

Преобразование сигналов типа N—> D, как и обратное D –>N, может осуществляться без потери содержащейся в них информации.

Преобразование типа D1 -> D2 состоит в переходе при представлении сигналов от одного алфавита к другому - такая операция носит название перекодировка и может осуществляться без потерь. Примерами ситуаций, в которых осуществляются подобные преобразования, могут быть: запись-считывание с компьютерных носителей информации; шифровка и дешифровка текста; вычисления на калькуляторе.

Таким образом, за исключением N1 -> N2 в остальных случаях оказывается возможным преобразование сообщений без потерь содержащейся в них информации. При этом на первый взгляд непрерывные и дискретные сообщения оказываются равноправными. Однако на самом деле это не так. Сохранение информации в преобразованиях N -> D и D –> N обеспечивается именно благодаря участию в них дискретного представления. Другими словами, преобразование сообщений без потерь информации возможно только в том случае, если хотя бы одно из них является дискретным. В этом проявляется несимметричность видов сообщений и преимущество дискретной формы. К другими ее достоинствам следует отнести:

• высокую помехоустойчивость;

• простоту и, как следствие, надежность и относительную дешевизну устройств по обработке информации;

• точность обработки информации, которая определяется количеством обрабатывающих элементов и не зависит от точности их изготовления;

• универсальность устройств.