Вероятностный подход к измерению количества информации
Вероятностный подход к оценке количества информации
Различные жизненные ситуации обладают различной степенью вероятности. К примеру, при подбрасывании монетки с весовой разницей сторон «орел» и «решка» будут выпадать с различной вероятностью.
Вероятность случайного события (p) — это отношение количества желаемых исходов данного события (n) к общему количеству исходов (N). Другими словами, p — это коэффициент, указывающий на частоту данного события в результате большого числа идентичных испытаний.
Вероятность может быть выражена числом от 0 до 1 и вычисляется по формуле:
Осторожно! Если преподаватель обнаружит плагиат в работе, не избежать крупных проблем (вплоть до отчисления). Если нет возможности написать самому, закажите тут.
\(p=\frac nN\)
- при p, равном нулю, событие никогда не случается;
- при p, равном 0,5, событие случается в 50 % от общего числа экспериментов;
- при p, равной единице, событие случается всегда.
Задача 1
На детском празднике в беспроигрышном розыгрыше можно выиграть 2 набора карандашей, 5 раскрасок, 10 шоколадок и 13 наборов пластилина. Необходимо вычислить вероятность выигрыша карандашей.
Решение
1. Сначала найдем общее число исходов. Для этого суммируем все возможные ситуации:
2+5+10+13=20
2. Теперь вычислим искомую вероятность по формуле:
\(p=\frac nN=\frac2{20}=\frac1{10}=0,1\)
Вероятность выигрыша набора карандашей составляет 0,1, то есть карандаши можно выиграть в одном случае из 10.
Ответ: 0,1.
Для определения количества информации в случае равновероятностных событий используют формулу вида:
\(N=2^i\)
Здесь N — число возможных вариантов, показатель степени i означает количество информации.
Формула Шеннона в информационных потоках
Предыдущий метод не применим для разновероятностных событий. Вероятностный подход подразумевает нахождение этой величины по формуле, предложенной американским математиком Клодом Шенноном и названной в его честь. Данное выражение означает средний объем данных, приходящийся на один выход источника, и обозначается термином энтропия источника сообщений:
\(I=-\sum_{i=1}^Np_i\log_2\left(p_i\right)\)
Значение переменных в данном выражении: I — количество информации; N — число возможных исходов; pi — вероятность события i.
Зависимость событийной вероятности и объема информации можно сформулировать так: чем больше вероятность события, тем меньше информации заключено в сообщении о данном событии.
Подход Шеннона подразумевает под информацией меру сокращения неопределенности.
Измерение информации осуществляется в битах. Возможно получение нецелого числа I. При необходимости оценки размера двоичного кода, в который закодирована эта информация, величина I округляется в большую сторону.
Задача 2
При подкидывании неправильной пирамиды с четырьмя гранями вероятности каждого события равняются:
\(p_1=\frac12,\;p_2=\frac14,\;p_3=\frac18,\;p_4=\frac18\)
Найти объем информации при реализации одного из заданных событий.
Решение
Подставим переменные в формулу Шеннона:
\(I=-\sum_{i=1}^Np_i\log_2\left(p_i\right)=-\left(p_1\log_2\left(p_1\right)+p_2\log_2\left(p_2\right)+...+p_N\log_2\left(p_N\right)\right)=-\left(\frac12\log_2\left(\frac12\right)+\frac14\log_2\left(\frac14\right)+\frac18\log_2\left(\frac18\right)+\frac18\log_2\left(\frac18\right)\right)=\)
\(=\left(\frac12+\frac24+\frac38+\frac38\right)=\frac48+\frac48+\frac38+\frac38=\frac{4+4+3+3}8=\frac{14}8=1\frac68=1\frac34=1,75\)
Исходя из этих вычислений, можно сделать вывод: данные, содержащиеся в сообщении после осуществления одного из предполагаемых событий, будет равна 1,75 битам.
Ответ: 1,75 бит.
Теорема Шеннона-Хартли
При рассмотрении всевозможных многоуровневых и многофазных способах шифрования, утверждение Шеннона-Хартли звучит следующим образом.
Пропускная способность канала (С), являющаяся верхним пределом передачи данных, передаваемых со средней мощностью сигнала (S) через аналоговый канал, на который воздействует гауссовский шум с мощностью (N), вычисляется так:
\(C=B\log_2\left(1+\frac SN\right)\)
Здесь: С — пропускная способность канала (бит/с), B — полоса пропускания канала (Гц), S — полная мощность сигнала над полосой пропускания (Вт или В2), N — полная шумовая мощность над полосой пропускания (Вт или В2).
Согласно рассматриваемой теореме, максимальная скорость достигается посредством расширения пропускной полосы и усилении мощности сигнала при уменьшении шума. Иными словами, скорость увеличится, если обеспечить преобладание уровня полезного сигнала над шумом.
При существовании аналогового канала с отсутствием шума и неограниченной полосой пропускания возможность передачи данных без искажения за определенное время не ограничена в объеме. В реальности таких каналов не бывает: они имеют лимит по частоте и характеризуются наличием шума.
Теорема Шеннона-Хартли берет во внимание присутствие шума в канале и предполагает, что приемник воспринимает комплекс из сигналов и шума. Это сочетание необходимой информации и случайного шума кодируется и распознается устройством. Понимания присутствия шума дает возможность получить оригинальную информацию при декодировании.
Значение
Выведем формулу эффективного числа M. Для этого выполним сравнение пропускной способности и меры Хартли:
\(2B\log_2\left(M\right)=B\log_2\left(1+\frac SN\right)\)
\(M=\sqrt{1+\frac SN}\)
Взаимосвязь пропускной способности и формулы Хартли не означает, что для передачи данных без искажения достаточно уровня сигнала в количестве M. Для исправления неточностей понадобится больше уровней. M из формулы Хартли означает максимальную скорость передачи информации, достигаемую путем кодирования.
Заметили ошибку?
Выделите текст и нажмите одновременно клавиши «Ctrl» и «Enter»
Нашли ошибку?
Текст с ошибкой:
Расскажите, что не так