ЭНТРОПИЯ ИСТОЧНИКА НЕПРЕРЫВНЫХ СООБЩЕНИЙ

2. ЭНТРОПИЯ ИСТОЧНИКА НЕПРЕРЫВНЫХ СООБЩЕНИЙ

 

ДИФФЕРЕНЦИАЛЬНАЯ ЭНТРОПИЯ

Для описания информационных свойств непрерывного источника (сигнала) используется понятие дифференциальной энтропии. Для ее получения воспользуемся формулой для энтропии дискретных сообщений. В соответствии с графиком функции плотности вероятности (рис. 6.) можно записать p(x_i) =? . Где p(x_i) - вероятность того, что x лежит в пределах i-го шага квантования.

f(x)

 

f(x_i)

 

 

0 Dx x_i x

Рис. 6. График функции плотности вероятности

При этом, выражение для энтропии можно представить в виде

 (9)

Переходим к пределу:

.

Полная энтропия источника непрерывных сообщений состоит из двух слагаемых, одно из которых определяется законом распределения, а второе является постоянной величиной, определяющей шаг квантования, который влияет на точность измерений. Этот член выражения определяет постоянную составляющую и исключается из рассмотрения.

Значение первого слагаемого определяется законом распределения и характеризует дифференциальную энтропию непрерывного источника (т. к. f(x) - плотность вероятности или дифференциальный закон распределения)

, (20)

Дифференциальная энтропия- часть энтропии источника непрерывных сообщений, которая зависит от плотности вероятности сигнала x(t), выдаваемого источником.

Различные классы физических явлений и процессов подчиняются различным законам распределения. Непрерывные сигналы полностью характеризуются законами распределения (интегральным или дифференциальным). На любые реальные сигналы накладываются определенные ограничения, например: по средней мощности (нагрев аппаратуры); по мгновенной или пиковой мощности (перегрузки).

Так как дифференциальная энтропия зависит от плотности вероятности, определим, для какого закона она максимальна. Т. е. при каком распределении вероятности, сигнал заданной мощности имеет максимальную энтропию. Для нахождения максимального значения энтропии необходимо воспользоваться вариационной теоремой с использованием неопределенных множителей Лагранжа при условиях нормировки и неизменности среднего квадрата:

; .

При этом,

Решив уравнения, получим симметричный нормальный закон распределения

. (11)

Если среднюю мощность не ограничивать

то получим равномерный закон распределения.

Определим дифференциальную энтропию для нормального распределения, т. е. сигнала с ограниченной средней мощностью. Полученное в результате решения вариационной задачи нормальное распределение является симметричным. Если в интеграле для дифференциальной энтропии произвести замену x = y-m_x,то интеграл не изменится, а значит, энтропия не зависит от математического ожидания и равна энтропии центрированной случайной величины.

Определим максимальное значение для энтропии:

 

Дифференциальная энтропия для нормального распределения равна:

 

 (12)

Полная энтропия для нормального распределения равна:

 . (13)

Если учесть что h(x)- это математическое ожидание функции [-log₂ f(x)] от случайной величины x с плотностью f(x), то можно записать.

В соответствии с центральной предельной теоремой нормальным законам распределения подчиняются широкий класс, так называемых гауссовых случайных процессов или реальных сигналов.

Белый шум - помеха с наиболее ''зловредными" свойствами , т. е. передает максимальное количество вредящих сведений при заданной средней мощности и позволяет упростить расчеты для наихудшего случая.

Для того чтобы сигнал с ограниченной пиковой мощностью имел максимальную информативность необходимо, чтобы он имел равномерное распределение (рис. 9). Определим дифференциальную энтропию для равномерного распределения, т. е. сигнала с ограниченной пиковой мощностью. Если P-пиковая мощность, то  - максимальная амплитуда. Уравнение для дифференциальной энтропии с учетом ограничений имеет вид:

Дифференциальная энтропия для равномерного распределения равна:

 

 (14)

 

 

 

 

 

 

Полная энтропия сигнала с равномерным распределением равна:

, (15)

где m-число уровней квантования.

Определим дифференциальную энтропию для экспоненциального распределения. Это распределение широко используется для определения интенсивности отказов в радиоэлектронной аппаратуре

Полная энтропия для экспоненциального распределения равна:

 . (16)

Список Литературы

1.    Коганов А. В. Векторные меры сложности, энтропии, информации. “Математика. Компьютер. Образование”. Вып. 7, ч. 2, “Прогресс-Традиция”, М., 2000, с. 540 — 546

2.    Яглом А. М., Яглом И. М. Вероятность и информация. М., 1957.

3.    Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.

4.    Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.

5.    Цымбал В. П. Теория информации и кодирование. — М.: Выща Школа, 1977. — 288 с.

6.    Вероятностные методы в вычислительной технике. /Под ред. А.Н. Лебедева, Е.А.Чернявского. –М.: Высш. шк., 1986.

7.    Седов Е.А. Взаимосвязь информации, энергии и физической энтропии в процессах управления и самоорганизации. Информация и управ­ление. М., Наука, 1986.