Задача № 1.84

1.3 Задача № 1.84

Дискретный источник выбирает сообщения из ансамбля

.

Длительности сообщений соответственно равны: t_u1=0,96 c, t_u2=0,44 c, t_u3=0,67 c, t_u4=0,39 c. Определить производительность источника.

Решение:

Производительность источника рассчитывается по формуле,

 

где T – время, затрачиваемое в среднем на каждое сообщение при передаче, и определяемое в соответствии со следующим выражением:

а энтропия источника H(U) в соответствии с формулой (1.4) [1] равна:

Итак, производительность источника равна:

2. Расчёт информационных характеристик дискретного канала

 

2.1 Задача № 2.23

На вход дискретного симметричного канала, показанного на рисунке 2, без памяти поступают двоичные символы  и  с априорными вероятностями p(U₁)=0,75 и p(U₂)=0,25.

Рисунок 2 – Дискретный симметричный канал

Переходные вероятности  в таком канале задаются соотношением

 ,

где p=0,1 – вероятность ошибки. Определить все апостериорные вероятности .

Решение:

 - переходные вероятности того, что на выходе будет символ z_jпри условии, что на входе был символ u_i.

 - апостериорные вероятности того, что на входе канала имел место символ u_i при условии, что на выходе наблюдается z_j.

По формуле Байеса:

Итак,

 

2.2 Задача № 2.48

Двоичный источник с равновероятными элементами имеет производительность U’=1500 бит в секунду. При передачи по каналу в среднем один из 100 символов принимается ошибочно. Определить скорость передачи инфориации по данному каналу.

Решение:

U₁ Z₁ “1”

U₂ Z₂ “0”

Рисунок 3 – Дискретный канал

Ситуация в канале характеризуется данным рисунком 3. В среднем один из 100 символов принимается ошибочно, поэтому вероятность ошибки будет составлять р_о=1/100=0,01. Тогда вероятность правильного принятия будет вычисляться из следующего выражения: 1-р₀=1-0,01=0,99.

Таким образом, канал описывается распределением вероятностей:

P(Z₁/U₁)=P(Z₂/U₂)=0,99

P(Z₁/U₂)=P(Z₁/U₂)=0,01

P(U₁)=P(U₂)=0,5- дано по условию

Скорость передачи информации вычисляется по формуле:

I’(U,Z)=H’(U)-H’(U/Z),

а энтропия будет равна 1 биту, так как

0,5log₂+0,5log₂=1

H’(U)=V_C*H(U), где V_C=1500 c^-1

I’(U,Z)=H’(U)-H’(U/Z)

H’(U/Z)=V_C*H(U/Z)

Условные вероятности можно найти по формуле Байеса:

H(U/Z)=-P(Z₁)[P(U₁/Z₁)log₂P(U₁/Z₁)+P(U₂/Z₁)log₂P(U₂/Z₁)]-P(Z₂)[P(U₁/Z₂)log₂P(U₁/Z₂)+ P(U₂/Z₂)log₂P(U₂/Z₂)]

H(U/Z)=-(0.5+0.5)(-2*0.99log(0.99)-2*0.01*log(0.01))=0.16

H’(U/Z)=V_C*H(U/Z)=1500*0,16=241 (бит)

I’(U,Z)=H’(U)-H(U/Z)=1500-241=1259(бит/с)