Розрахунки інформаційних характеристик джерела повідомлень і первинних сигналів

3.   Розрахунки інформаційних характеристик джерела повідомлень і первинних сигналів.

Повідомлення неперервного джерела перетворюється в первинний аналоговий сигнал b(t) за звичай без втрати інформації , тому розрахунки ін формаційних характеристик джерела будемо проводити для первинного сигналу.

1) Епсилон-ентропія розраховується за формулою:

(3.1)

h(B)-диференційна ентропія
- умовна ентропія.

Диференціальна ентропія залежить від виду розподілу імовірності P(b) та дисперсії сигналу . Так, як за умовою задано гаусів розподіл, то

біт/відлік (3.2)

Так як середнє значення первинного сигналу дорівнює нулю, то . Так як помилка відтворення на виході системи передачі є гаусовою, то умовну ентропію знайдемо за формулою :

(3.3)

де  -дисперсія помилки відтворення.

Підставимо формули 3.3 та 3.2 в формулу 3.4, одержимо вираз для визначення епсилон-ентропії ,при цьому переведемо дБ в рази

(3.4).

Підставивши числові значення, одержимо :

біт/відлік

2) Коефіцієнт надлишку джерела обчислюється за формулою :

ǽ=, де - епсилон-ентропія джерела ;

 - максимально можливе значення , що досягається за нормального розподілу імовірності сигналу b(t) та тій самій дисперсії сигналу .

,де  раз

 біт/відлік

З вище розрахованого отримуємо ǽ=

3) Продуктивність джерела , яку називають епсилон-продуктивністю, обчислюють за умови, що відліки беруться через інтервал Котельникова, по формулі :

 ,де - максимальна частота спектра первинного сигналу  , кГц.

біт/с

 біт/с.

Причини надлишковості джерела :

Під надлишковістю розуміють щось лишнє. Надлишковими в джерелі вважаються ті повідомлення, які переносять малу, а іноді і нульову кількість інформації. Час на їхню передачу затрачується, а інформації передається мало.

Присутність надлишковості означає, що частину повідомлень можна і не передавати по каналу зв’язку, а відновити на прийомі по відомим статистичним зв’язкам.

Основними причинами надлишковості являються :

1.       Будь-які імовірності окремих повідомлень.

2.       Присутність статистичних зв’язків між повідомленнями джерела.

Вимоги до пропускної можливості каналу зв’язку.

Найбільше значення швидкості R передачі інформації по каналу зв’язку при заданих обмеженнях називають пропускною можливістю каналу, яка вимірюється в [біт/с] :

Під заданими обмеженнями розуміють тип каналу (дискретний або неперервний ) , характеристики сигналів та завад . Пропускна можливість каналу зв’язку характеризує потенційні можливості передачі інформації. Вони описані в фундаментальній теоремі теорії інформації, відомій як основна теорема кодування К.Шенона. Для дискретного каналу вона формулюється слідуючим чином : якщо продуктивність джерела  менше пропускної можливості каналу С ,тобто  , то існує спосіб кодування (перетворення повідомлень в сигнал на вході ) та декодування ( перетворення сигналу в повідомлення на виході каналу ), при якому імовірність помилкового декодування дуже мала.

Пропускна можливість каналу, як граничне значення безпомилкової передачі інформації, являється одною з основних характеристик будь-якого каналу. Знаючи пропускну можливість каналу та інформаційні характеристики повідомлень (первинних сигналів) можна передавати по заданому каналу.