Навигация
Бит информации - количество информации, посредством которого выделяется одно из двух равновероятных состояний объекта
18776
знаков
0
таблиц
0
изображений
1 бит информации - количество информации, посредством которого выделяется одно из двух равновероятных состояний объекта.
Рассмотрим пример.
Пусть имеется два объекта. С каждого из них в определенные моменты времени диспетчеру передается одно из двух сообщений: включен или выключен объект. Диспетчеру известны типы сообщений, но неизвестно, когда и какое сообщение поступит.
Пусть также, объект А работает почти без перерыва, т.е. вероятность того, что он включен, очень велика (например, р_А_вкл=0,99 и р_А_выкл=0,01, а объект Б работает иначе и для него р_Б_вкл=р_Б_выкл=0,5).
Тогда, если диспетчер получает сообщение том, что А включен, он получает очень мало информации. С объектом Б дела обстоят иначе.
Подсчитаем для этого примера среднее количество информации для указанных объектов, которое получает диспетчер:
Объект А : I = -(0,99*log(0,99)+0,01*log(0,01))=0,0808.
Объект Б : I = -(0,50*log(0,50)+0,50*log(0,50))=1.
Итак, каждое сообщение объекта Б несет 1 бит информации.
Формула Шеннона, в принципе, может быть использована и для оценки количества информации в непрерывных величинах.
При оценке количества дискретной информации часто используется также формула Хартли:
I = log(n) ,
где n - число возможных равновероятных состояний;
log() - функция логарифма при основании 2.
Формула Хартли применяется в случае, когда вероятности состояний, в которых может находиться объект, одинаковые.
Приведем пример. Пусть объект может находиться в одном из восьми равновероятных состояний. Тогда количество информации, поступающей в сообщении о том, в каком именно он находится, будет равно
I = log(8) = 3 [бита].
Оценим количество информации в тексте.
Точно ответить на вопрос, какое количество информации содержит 1 символ в слове или тексте, достаточно сложное дело. Оно требует исследования вопроса о частотах использования символов и всякого рода сочетаний символов. Эта задача решается криптографами. Мы же упростим задачу. Допустим, что текст строится на основе 64 символов, и частота появления каждого из них одинакова, т.е. все символы равновероятны.
Тогда количество информации в одном символе будет равно
I = log(64) = 6 [бит].
Из двух символов данного алфавита может быть образовано n=64*64=4096 различных сочетаний. Следовательно, два символа несут в себе I=log(4096)=12 бит информации.
Оценим количество информации, содержащейся в числах.
Если предположить, что цифры 0, 1, ..., 9 используются одинаково часто (равновероятны), то
одна цифра содержит I = log(10) = 3,32 [бит];
четырехзначное число из диапазона [0..9999], если все его значения равновероятны, содержит
I = log(10000)=13,28 [бит];
а восьмиразрядное число - I=log(100000000)=26,56 [бита].
Итак, количество информации в сообщении зависит от числа разнообразий, присущих источнику информации и их вероятностей.
Повторим основные положения, рассмотренные выше.
1. Информация - отражение предметного или воображаемого мира с помощью знаков и сигналов.
2. Информация может существовать либо в непрерывной, либо в дискретной формах.
3. Информация о чем-либо может быть представлена многими способами. В качестве носителей информации могут использоваться разнообразные физические величины такой же природы (для непрерывной информации - непрерывные физические величины, для дискретной - дискретные).
4. Физический процесс является сигналом, если какая-либо присущая ему физическая величина несет в себе информацию.
5. Чтобы представить дискретную информацию, надо перечислить (поименовать) все разнообразия, присущие объекту или явлению (цвета радуги, виды фигур и др.).
Дискретная информация представляется:
числами (как цифровая),
символами некоторого алфавита (символьная),
графическими схемами и чертежами (графическая).
6. Дискретная информация может использоваться и для представления непрерывной. Удобной формой дискретной информации является символьная.
7. Разные алфавиты обладают одинаковой “изобразительной силой”: с помощью одного алфавита можно представить всю информацию, которую удавалось представить на основе другого алфавита. А значит, информацию обо всем окружающем человека мире можно представить в дискретной форме с использованием алфавита, состоящего только из двух символов (т.е. с использованием двоичной цифровой формы).
8. Форма представления информации, отличная от естественной, общепринятой, называется кодом.
Широко известны такие коды, как почтовые индексы, нотная запись музыки, телеграфный код Морзе, цифровая запись программ для ЭВМ (программирование в кодах), помехозащищенные коды в системах передачи данных.
9. Информация уничтожает неопределенность знаний об окружающем мире. Степень неопределенности принято характеризовать с помощью понятия “вероятность”.
Вероятность - величина, которая может принимать значения в диапазоне [0,1] и которая может рассматриваться как мера возможности наступления какого-либо события. Если событие никогда не может произойти, его вероятность считается равной 0, а если событие происходит всегда, его вероятность равна 1.
Для оценки количества информации в технике чаще всего используется способ, предложенный Клодом Шенноном. Для случая, когда все состояния, в которых может находиться объект, равновероятны, применяют формулу Хартли. Одна единица информации называется битом.
Список литературы
Для подготовки данной работы были использованы материалы с сайта http://referat2000.bizforum.ru/
Похожие работы
... совокупности изображаются не геометрическими фигурами, а символами или знаками, воспроизводящими в какой-то степени внешний образ статистических данных. Достоинство такого способа графического изображения заключается в высокой степени наглядности, в получении подобного отображения, отражающего содержание сравниваемых совокупностей. Важнейший признак любой диаграммы - масштаб. Поэтому чтобы ...
... . Это влияло на входную информацию, например, такие ЭВМ не были способны на работу в многозадачном режиме, в режиме реального времени (обработки сообщений по мере получения входных данных). Информация по отношению к конечному результату проблемы бывает: исходная (на начало актуализации этой информации); промежуточная (от начала до завершения актуализации информации); результирующая (после ...
... навыков, умений. Да и наша педагогическая теория недостаточно помогает в этом. В специальных исследованиях, в отдельных педагогических изданиях самостоятельная работа чаще всего рассматривается или в общем виде, или же даются отдельные указания для её использования. Освещаются и классифицируются виды и формы этой работы, раскрываются условия их применения, направленные на вооружение обучаемых ...
... . Соотношение по объему выполнения работ внутренними и внешними службами определяется из соотношения экономической рациональности для предприятия. Маркетинговые исследования услуги разделяются по характеру выполнения исследования на "плановые" и "внеплановые" мероприятия. Плановые мероприятия - это комплекс маркетинговых исследований, ориентированных на получение стандартизированного объема (по ...
0 комментариев