Элементарная единица информации, количество информации

Одной из элементарных и распространенных единиц измерений информации является 1 бит. Это связано с цифровой техникой. 1 бит - это то кол-во информации, которое вдвое уменьшает неопределенность знаний о чем либо. Другими словами это может быть информация вида «Да» или «Нет», «Включено» или «Выключено», «Горячо» или «Холодно», «Истина» или «Ложь», «1» или «0» и т.д. соответственно. В цифровой технике эта информация часто представлена в виде выставленных соответствующим образом уровней напряжения.

Связь между количеством информации и количеством событий определяется формулой Хартли:

Из формулы следует, что если нам известно количество равновероятных событий , то можно вычислить какое количество информации несет каждое событие:

Если события не равновероятны, то среднее количество информации, которое несет каждое из них можно рассчитать по формуле Шеннона:

, где - количество информации, - вероятность - го события, - количество возможных событий. Знак минус в формуле не значит, что количество информации - отрицательное значение. Согласно определению , а значит будет отрицательным числом и в итоге формула даст положительное значение.

Кстати, формула Хартли это частный случай формулы Шеннона для равновероятных событий. Если

, то

Кроме этой формулы, Шенноном была предложена абстрактная схема связи, состоящая из пяти элементов (источника информации, передатчика, линии связи, приемника и адресата), и сформулированы теоремы о пропускной способности, помехоустойчивости, кодировании и т.д. Все это применяется в системах передачи данных, связи, компьютерных сетях.

Давайте дадим всему этому некоторый практический смысл:

Подбросив монетку мы можем получить некоторую определенную информацию. Выпасть может как одна сторона, так и другая. Соответственно мы имеем 2 равновероятных события. По формуле Хартли получим . Каждое событие несёт 1 бит информации («орёл» или «решка»)

Задача 1

В русском алфавите 33 буквы. Для простоты расчетов исключим одну, например «Ё», так как её часто заменяют «Е». Рассчитать информационный объем одной буквы русского алфавита.

И так, у нас 32 события (буквы) . Ответ: 5 бит.

Иллюстрация:

Как может быть закодирована буква алфавита с помощью 5 бит? Давайте пронумеруем все буквы алфавита от 1 до 32 и попробуем определить 18-ую букву «С».

Это номер больше 16 : Да

Это номер больше 24 : Нет

Это номер больше 20 : Нет

Это номер больше 18 : Нет

Это номер больше 17 : Да

Задав 5 вопросов и получая на них в ответ только «Да» или «Нет» (1 бит информации) мы получили число такое, что . Принцип прост, каждый ответ сокращает область поиска вдвое. Каждый следующий сокращает диапазон еще вдвое, и в конечном счете мы однозначно определяем номер буквы.

Задача 2

Влажность воздуха измеряется значением от 0 до 100 процентов. Какой информационный объем будут составлять 8 замеров? , так как невозможно найти целую степень то производится округление в большую сторону. Ближайшая степень двойки большая 101 это 128, , значит что информационный объем одного измерения 7 бит, для 8 измерений получим 56 бит. Ответ 56 бит.

В современных компьютерах минимальный блок данных составляет 1 байт равный 8-ми битам. 1 байт может принимать 256 различных значений. Для предыдущей задачи объем данных составит 7 байт.

Замечание!

1 байт на разных платформах может быть равен другому количеству бит, например 10, 12, 36 и т.п. Для исключения двусмысленности применяется слово «Октет», в отличии от байта это всегда 8 бит независимо от платформы.

Задача 3

Рассчитать среднее количество информации которое можно получить подбрасывая асимметричную пирамидку, где вероятности выпадения каждой грани соответственно равны 1/8, 1/4, 1/2, 1/8.

По формуле Шеннона получим:

Ответ: 1,75 бит.

В задаче 3 нет округления, т.к. формула дает среднее количество информации на одно событие, т.е. удельную информативность источника.