Расчёт информационных характеристик источников дискретных сообщений

1. Расчёт информационных характеристик источников дискретных сообщений

 

1.1 Задача № 1.38

Ансамбли событий X и Y объединены, причем вероятности совместных событий равны: ;;; ; ; ; ; .Найти: энтропии ансамблей X и Y соответственно  ; энтропию объединенного ансамбля ; условные энтропии ансамблей

Решение:

1)   Известны вероятности совместных событий, и с учётом соотношения

 находятся безусловные вероятности p(x_k) и p(y_k), которые потребуются при дальнейшем решении:

;

;

;

;

.

2) По формуле определения энтропии (1.4), находятся энтропии ансамблей H(X) и H(Y):

3) Для нахождения среднего количества информации, даваемое сообщением X при условии, что сообщение ансамбля Y уже известно, т.е. нахождение энтропии ансамбля H(X,Y), используется формула определения энтропии объединённого ансамбля:

 

т.о., в нашем случае H(X,Y) будет равна

 

4) Итак, была найдена энтропия объединённого ансамбля. Далее по заданию требуется определить условные энтропии ансамблей H(X/Y) и H(Y/X). Формулу условной энтропии можно получить из формулы количества информации, содержащейся Y относительно X и наоборот.

1.2 Задача № 1.66

Принимаемый сигнал может иметь амплитуду  (событие ) или  (событие ), а также сдвиг фазы  (событие ) или  (событие ) режимах. Вероятности совместных событий имеют следующие значения:

; ; ;.

Вычислить количество информации получаемой о фазовом сдвиге сигнала, если станет известной его амплитуда.

Решение:

Количество информации вычисляется по формуле:

Величина I(Y,X) показывает, сколько в среднем бит информации о реализации ансамбля Y дает наблюдение реализации ансамбля Z. Подставив в эту формулу в выражение для вычисления энтропии и условной энтропии:

Учитывая, что

,

последнее выражение можно записать в виде:

Вычисляются необходимые величины.

p(y₁) = p(x₁, y₁) + p(x₂, y₁) = 0.47 + 0.27 = 0.74

p(y₂) = p(x₁, y₂) + p(x₂, y₂) = 0.17 + 0.09 = 0.26

p(x₁) = p(x₁, y₁) + p(x₁, y₂) = 0.47 + 0.17 = 0.64

p(x₂) = p(x₂, y₁) + p(x₂, y₂) = 0.27 + 0.09 = 0.36

Все величины подставляются в формулу: