Вероятностный подход к измерению количества информации

Вероятностный подход к оценке количества информации

Различные жизненные ситуации обладают различной степенью вероятности. К примеру, при подбрасывании монетки с весовой разницей сторон «орел» и «решка» будут выпадать с различной вероятностью.

Вероятность может быть выражена числом от 0 до 1 и вычисляется по формуле:

\(p=\frac nN\)

• при p, равном нулю, событие никогда не случается;
• при p, равном 0,5, событие случается в 50 % от общего числа экспериментов;
• при p, равной единице, событие случается всегда.

Задача 1

На детском празднике в беспроигрышном розыгрыше можно выиграть 2 набора карандашей, 5 раскрасок, 10 шоколадок и 13 наборов пластилина. Необходимо вычислить вероятность выигрыша карандашей.

Решение

1. Сначала найдем общее число исходов. Для этого суммируем все возможные ситуации:

2+5+10+13=20

2. Теперь вычислим искомую вероятность по формуле:

\(p=\frac nN=\frac2{20}=\frac1{10}=0,1\)

Вероятность выигрыша набора карандашей составляет 0,1, то есть карандаши можно выиграть в одном случае из 10.

Ответ: 0,1.

Для определения количества информации в случае равновероятностных событий используют формулу вида:

\(N=2^i\)

Здесь N — число возможных вариантов, показатель степени i означает количество информации.

Формула Шеннона в информационных потоках

Предыдущий метод не применим для разновероятностных событий. Вероятностный подход подразумевает нахождение этой величины по формуле, предложенной американским математиком Клодом Шенноном и названной в его честь. Данное выражение означает средний объем данных, приходящийся на один выход источника, и обозначается термином энтропия источника сообщений:

\(I=-\sum_{i=1}^Np_i\log_2\left(p_i\right)\)

Значение переменных в данном выражении: I — количество информации; N — число возможных исходов; p_i — вероятность события i.

Зависимость событийной вероятности и объема информации можно сформулировать так: чем больше вероятность события, тем меньше информации заключено в сообщении о данном событии.

Подход Шеннона подразумевает под информацией меру сокращения неопределенности.

Задача 2

При подкидывании неправильной пирамиды с четырьмя гранями вероятности каждого события равняются:

\(p_1=\frac12,\;p_2=\frac14,\;p_3=\frac18,\;p_4=\frac18\)

Найти объем информации при реализации одного из заданных событий.

Решение

Подставим переменные в формулу Шеннона:

\(I=-\sum_{i=1}^Np_i\log_2\left(p_i\right)=-\left(p_1\log_2\left(p_1\right)+p_2\log_2\left(p_2\right)+...+p_N\log_2\left(p_N\right)\right)=-\left(\frac12\log_2\left(\frac12\right)+\frac14\log_2\left(\frac14\right)+\frac18\log_2\left(\frac18\right)+\frac18\log_2\left(\frac18\right)\right)=\)

\(=\left(\frac12+\frac24+\frac38+\frac38\right)=\frac48+\frac48+\frac38+\frac38=\frac{4+4+3+3}8=\frac{14}8=1\frac68=1\frac34=1,75\)

Исходя из этих вычислений, можно сделать вывод: данные, содержащиеся в сообщении после осуществления одного из предполагаемых событий, будет равна 1,75 битам.

Ответ: 1,75 бит.

Теорема Шеннона-Хартли

При рассмотрении всевозможных многоуровневых и многофазных способах шифрования, утверждение Шеннона-Хартли звучит следующим образом.

Здесь: С — пропускная способность канала (бит/с), B — полоса пропускания канала (Гц), S — полная мощность сигнала над полосой пропускания (Вт или В²), N — полная шумовая мощность над полосой пропускания (Вт или В²).

Согласно рассматриваемой теореме, максимальная скорость достигается посредством расширения пропускной полосы и усилении мощности сигнала при уменьшении шума. Иными словами, скорость увеличится, если обеспечить преобладание уровня полезного сигнала над шумом.

При существовании аналогового канала с отсутствием шума и неограниченной полосой пропускания возможность передачи данных без искажения за определенное время не ограничена в объеме. В реальности таких каналов не бывает: они имеют лимит по частоте и характеризуются наличием шума.

Теорема Шеннона-Хартли берет во внимание присутствие шума в канале и предполагает, что приемник воспринимает комплекс из сигналов и шума. Это сочетание необходимой информации и случайного шума кодируется и распознается устройством. Понимания присутствия шума дает возможность получить оригинальную информацию при декодировании.

Значение

Выведем формулу эффективного числа M. Для этого выполним сравнение пропускной способности и меры Хартли:

\(2B\log_2\left(M\right)=B\log_2\left(1+\frac SN\right)\)

\(M=\sqrt{1+\frac SN}\)

Взаимосвязь пропускной способности и формулы Хартли не означает, что для передачи данных без искажения достаточно уровня сигнала в количестве M. Для исправления неточностей понадобится больше уровней. M из формулы Хартли означает максимальную скорость передачи информации, достигаемую путем кодирования.