Условная энтропия

2.3 Условная энтропия

До сих пор предполагалось, что все элементы сообщения независимы, т.е. появление каждого данного элемента никак не связано с предшествующими элементами.

Рассмотрим теперь два ансамбля

Х = (х₁, x₂, ... ,x_r)

Y = (y₁, y₂, ..., y_s) ,

которые определяются не только собственными вероятностями р(х_i) и p(y_j), но и условными вероятностями p_xi(y_j), p_yj(x_i), где i = 1, 2, ... , r ; j = 1, 2, ... , s.

Систему двух случайных величин (сообщений) Х, Y можно изобразить случайной точкой на плоскости. Событие, состоящее в попадании случайной точки (X, Y) в область D, принято обозначать в виде (X, Y) Ì D.

Закон распределения системы двух случайных дискретных величин может быть задан с помощью табл. 2.5.

Таблица 2.5.

где Р_ij - вероятность события, заключающегося в одновременном выполнении равенства Х = x_i, Y = y_j. При этом

.

Закон распределения системы случайных непрерывных величин (Х, Y) задают при помощи функции плотности вероятности р(x, y).

Вероятность попадания случайной точки (Х,Y) в область D определяется равенством

.

Функция плотности вероятности обладает следующими свойствами:

1)   р(x,y) ³ 0

2)  

Если все случайные точки (X,Y) принадлежат области D, то

.

Условным распределением составляющей Х при Y = y_j (yj сохраняет одно и то же значение при всех возможных значениях Х) называют совокупность условных вероятностей P_yj(x₁), P_yj(x₂), ... , P_yj(x_r)

Аналогично определяется условное распределение составляющей Y.

Условные вероятности составляющих X и Y вычисляют соответственно по формулам:

Для контроля вычислений целесообразно убедиться, что сумма вероятностей условного распределения равна единице.

Так как условная вероятность события y_j при условии выполнения события x_i принимается по определению

то вероятность совместного появления совокупности состояний

P(x_i,y_j) = P(x_i) P_xi(y_j).

Аналогично, условимся вероятность события x_i при условии выполнения события y_j:

.

Поэтому общую энтропию зависимых ансамблей X и Y определяют по формуле Шеннона:

С учетом соотношения  получают

Н(Х,Y) = H(X) + H_X(Y), где Н(Х) - энтропия ансамбля Х;

H_X(Y) - условная энтропия ансамбля Y при условии, что сообщение ансамбля Х известны:

Для независимых событий Х и Y: P_xi(y_j) = P(y_j) и поэтому

H_X(Y) = Н(Y) и, следовательно, Н(Х,Y) = H(X) + H(Y).

Если Х и Y полностью зависимы, т.е. при появлении x_i неизбежно следует y_j, то Р(x_i,y_j) равна единице при i = j и нулю при i ¹ j. Поэтому Н_X(Y) = 0, и , следовательно, Н(X,Y) = Н(Х), т.е. при полной зависимости двух ансамблей один из них не вносит никакой информации.

Полученное выражение для условной энтропии

можно использовать и как информативную характеристику одного ансамбля Х, элементы которого взаимно зависимы. Положив Y = X, получим

Например, алфавит состоит из двух элементов 0 и 1. Если эти элементы равновероятны, то количество информации, приходящееся на один элемент сообщения: Н₀ = log m = log 2 = 1 бит. Если же, например, Р(0)=ѕ, а Р(1) = ј, то

В случае же взаимной зависимости элементов, определяемой, например, условными вероятностями Р₀(0) = 2/3; P₀(1) = 1/3; P₁(0) = 1; P₁(1) = 0, то условная энтропия

Энтропия при взаимно зависимых элементах всегда меньше, чем при независимых, т.е. H’<H.

Пример9: Задано распределение вероятностей случайной дискретной двумерной величины:

Таблица 2.6.

Найти законы распределения составляющих Х и Y.

Решение: 1) Сложив вероятности “по строкам”, получим вероятности возможных значений Х:

Р(3) = 0,17 + 0,10 = 0,27

P(10) = 0,13 +0,30 = 0,43

P(12) = 0,25 + 0,05 = 0,30.

Запишем закон распределения составляющей Х:

Таблица 2.7.

Контроль: 0,27 + 0,43 + 0,30 = 1

2)   Сложив вероятности “по столбцам”, аналогично найдем распределение составляющей Y:

Таблица 2.8.

Контроль: 0,55 + 0,45 = 1

Пример10: Задана случайная дискретная двумерная величина (X,Y):

Таблица 2.9.

Найти: безусловные законы распределения составляющих; условный закон распределения составляющей Х при условии, что составляющая Y приняла значение y₁ = 0,4; условный закон распределения составляющей Y при условии, что составляющая Х приняла значение х₂ = 5

Решение: 1) Сложив вероятности “по строкам”, напишем закон распределения Х.

Таблица 2.10.

2)   Сложив вероятности “по столбцам”, найдем закон распределения Y.

Таблица 2.11.

3)   Найдем условные вероятности возможных значений Х при условии, что составляющая Y приняла значение y₁ = 0,4

Напишем искомый условный закон распределения Х:

Таблица 2.12.

Контроль: 3/16 + 3/8 + 7/16 = 1

Аналогично найдем условный закон распределения Y:

Таблица 2.13.

Контроль: 5/7 + 2/7 = 1.

Пример11: Закон распределения вероятностей системы, объединяющей зависимые источники информации X и Y, задан с помощью таблицы:

Таблица 2.14.

Определить энтропии Н(Х), H(Y), H_X(Y), H(X,Y).

Решение: 1. Вычислим безусловные вероятности Р(x_i) и Р(y_j) системы:

а) сложив вероятности “по строкам” , получим вероятности возможных значений Х: P(x₁) = 0,5

P(x₂) = 0,3

P(x₃) = 0,2

б) сложив вероятности “по столбцам”, получим вероятности возможных значений Y:

P(y₁) = 0,4

P(y₂) = 0,3

P(y₃) = 0,3

2.    Энтропия источника информации Х:

3.    Энтропия источника информации Y:

4. Условная энтропия источника информации Y при условии, что сообщения источника Х известны:

Так как условная вероятность события y_j при условии выполнения события х_i принимается по определению

поэтому найдем условные вероятности возможных значений Y при условии, что составляющая Х приняла значение x₁:

Для х₂:

Для х₃:

Поэтому: H_X(Y) = - [0,5 (0,8 log 0,8 + 0,2 log 0,2) +

+0,3 (0,67 log 0,67 + 0,33 log 0,33) + 0,2 (1 log 1)] = 0,635

5.    Аналогично, условная энтропия источника информации Х при условии, что сообщения источника Y известны:

Для у₁:

Для у₂:

Для у₃:

6. Общая энтропия зависимых источников информации Х и Y:

Проверим результат по формуле:

Н(Х,Y) = H(X) +H_X(Y) = 1,485 + 0,635 = 2,12 бит

Н(Х,Y) = H(Y) +H_Y(X) = 1,57 + 0,55 = 2,12 бит

Пример12: Известны энтропии двух зависимых источников Н(Х) = 5бит; Н(Y) = 10бит. Определить, в каких пределах будет изменяться условная энтропия Н_Х(Y) в максимально возможных пределах.

Решение: Уяснению соотношений между рассматриваемыми энтропиями источников информации способствует их графическое отображение.

При отсутствии взаимосвязи между источниками информации:

Рис. 2.5.

Если источники информации независимы, то Н_Х(Y) = Н(Y) = 10 бит, а Н_Y(X) = H(X) = 5 бит, и, следовательно, Н(X,Y) = H(X) + H(Y) = 5 +10 = 15 бит. Т.е., когда источники независимы Н_Х(Y) = Н(Y) = 10 бит и поэтому принимают максимальное значение.

По мере увеличения взаимосвязи источников Н_Х(Y) и Н_Y(X) будут уменьшаться:

Рис. 2.6.

При полной зависимости двух источников один из них не вносит никакой информации, т.к. при появлении x_i неизбежно следует у_j , т.е. Р(x_i, у_j) равно единице при i = j и нулю при i ¹ j. Поэтому

Н_Y(X) = 0 и, следовательно, Н(X,Y) = Н_Х(Y) .

Рис. 2.7.

При этом Н_Х(Y) = Н(Y) - Н(Х) = 10 - 5 = 5 бит. Поэтому Н_Х(Y) будет изменяться от 10 бит до 5 бит при максимально возможном изменении Н_y(Х) от 5 бит до 0 бит.

Пример13: Определите Н(Х) и Н_Х(Y), если Р(х₁,y₁) = 0,3; P(x₁,y₂) = 0,2;

P(x₃,y₂) = 0,25; P(x₃,y₃) = 0,1

Пример14: Определите Н(Х), H(Y), H(X,Y), если Р(х₁,y₁) = 0,2; P(x₂,y₁) = 0,4;

P(x₂,y₂) = 0,25; P(x₂,y₃) = 0,15

Похожие работы

Энтропия. Теория информации

Скачать

63729

48

3

... порядок чередования букв формируется согласно правилам, заданным верхними иерархическими уровнями текста, то есть не «снизу вверх», а «сверху вниз». Что же касается исполь­зуемой теорией информации вероятностной функции энтропии, то она может быть использована в качестве точного математического инструмента только на нижних уровнях иерархии текста, поскольку только на этих уровнях удается найти ...

Классическая теория информации и еe ограничения

Скачать

12754

0

0

... , 1968. - 340 с.]. В связи с этим логично было бы далее предположить, что она не предполагает строго количественного эквивалента, подобно энергии или материи. Но парадокс классической теории информации именно в том и состоит, что в её основе лежит предположение Р.Хартли, согласно которому информация допускает количественную оценку [Hartley R.V.L. Transmission of Information // BSTJ.- 1928. - V.7 - ...

Прикладная теория информации

Скачать

88587

0

39

... связано с приложением теории в технике связи - рассмотрением проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют теорией информации и кодирования или прикладной теорией информации. Другая точка зрения состоит в том, что глобальной проблемой теории информации следует считать разработку принципов оптимизации системы связи в целом. В ...

Концепции общей теории информации

Скачать

96932

1

1

... с явлениями, которых, может быть, никогда не было и никогда не будет. Память каждого объекта всегда ограничена, а большая часть поступающей информации так и остается невостребованной. При этом общее ее количество (с точки зрения переносящих ее информационных кодов), безусловно, превышает возможности полного ее запоминания. Для предотвращения переполнения памяти и соответственно потери возможности ...