Аналогично (54.2) числа

54.2. Аналогично (54.2) числа

(54.5)

называются центральными смешанными моментами, порядка . Наиболее важной групповой характеристикой двух случайных величин среди чисел (54.5) является ковариация

, (54.6)

которая является центральным смешанным моментом порядка . Для ковариации используется также обозначение: . Если , то  - совпадает с дисперсией случайной величины .

Если  и  - независимы, то из (54.6) следует, что ковариация

.

Обратное утверждение в общем случае неверно, т.е. из равенства  в общем не следует независимость случайных величин  и . В частности, обратное утверждение справедливо, если  и  - гауссовы случайные величины. Более подробно этот вопрос обсуждается ниже.

54.3. Найдем связь между корреляцией  и ковариацией  случайных величин  и . Из определения ковариации (54.6) следует

.

Таким образом, ковариация  и корреляция  связаны соотношением

. (54.7)

Верхняя и нижняя границы корреляции и ковариации

55.1. Пусть случайные величины  и  имеют математические ожидания , , дисперсии , , корреляцию  и ковариацию . Рассмотрим неравенство

 . (55.1)

Возведем в квадрат, затем оператором математического ожидания подействуем на каждое слагаемое, тогда (55.1) принимает вид:

,

что далее сводится к неравенству

. (55.2)

Его левая часть  может быть как положительной так и отрицательной, правая часть - только положительна. Поэтому неравенство (55.2) обычно записывается в более сильном варианте:

. (55.3)

Таким образом, корреляция  случайных величин  и  принимает значения из интервала .

Соотношение, аналогичное (55.3) можно получить и для ковариации , если в исходном выражении (55.1) вместо  подставить центрированную случайную величину  и вместо  соответственно . При этом необязательно выполнять все преобразования, аналогичные (55.1) - (55.3), достаточно учесть, что замена  и  приводит к замене  на ,  на , а также  на . Поэтому из (55.3) следует

. (55.4)

55.2. Неравенства, определяющие область значений корреляции  и ковариации , аналогичные (55.3), (55.4), можно получить в другом виде на основе следующего очевидного неравенства:

. (55.5)

Отсюда , поэтому справедливо неравенство

. (55.6)

Если в (55.5)  заменить соответственно на  и , то в (55.6)  заменяется на ,  на  и  на . Поэтому (55.6) принимает вид:

. (55.7)

Ковариация и независимость двух случайных величин

 

Для независимых случайных величин  и  ковариация . В отличие от этого рассмотрим другой крайний случай, когда случайные величины  и  связаны функциональной зависимостью:

, (56.1)

где  - числа. Вычислим ковариацию  случайных величин  и :

. (56.2)

Из (56.1) следует . Подставим этот результат в (56.2), тогда

 . (56.3)

Из (56.1) определим дисперсию

, (56.4)

откуда . Это равенство подставим в (56.3), тогда

(56.5)

Таким образом, ковариация линейно связанных случайных величин  и  принимает максимальное значение , если , или минимальное значение , если , на отрезке  допустимых значений для  в общем случае (согласно формуле (55.4)).

В связи с этим можно выдвинуть предположение о том, что ковариация  является мерой статистической связи между случайными величинами  и . Действительно, для двух крайних случаев получены подходящие для этого результаты, а именно: для независимых величин , а для линейно связанных  максимален. Далее будет показано, что это предположение верно, но не в общем, а только для статистической связи линейного типа. Эта связь характерна тем, что при усилении этой связи растет , и в пределе связь вырождается в линейную зависимость (56.1).

Однако если связь имеет нелинейный характер, то величина  не отражает меру (степень) этой связи. Рассмотрим следующий пример. Пусть , , и  - случайная величина с равномерным на интервале  распределением вероятностей. Случайные величины  и  связаны между собой соотношением: . Таким образом, между величинами  и  существует функциональная связь, а не статистическая, и следовало ожидать, что величина  максимальна. Однако, прямые вычисления приводят к результату . Действительно,

, (56.6)

где

- плотность распределения вероятностей случайной величины . С учетом этого (56.6) преобразуется:

.

Аналогично

,

теперь ковариация

.

Таким образом, для нелинейной связи между случайными величинами их ковариация не может использоваться как мера статистической связи, поскольку значение ковариации не отражает степень этой связи.

 

Ковариация и геометрия линий равного уровня плотности вероятности

Ковариация случайных величин  и  определяется через их совместную плотность вероятности  соотношением:

 . (57.1)

Подынтегральная функция в (57.1) неотрицательна для таких , , при которых , то есть при ,  или , . И наоборот, при ,  или ,  подынтегральная функция (57.1) отрицательна либо равна нулю. Знак ковариации зависит от того, какие значения, положительные или отрицательные преобладают в подынтегральной функции. Поэтому знак числа  определяется расположением линий равного уровня плотности вероятности . На рис. 57.1 представлен пример линий равного уровня функции , для которой . Штриховкой

Рис. 57.1.

Линии равного уровня плотности вероятности при .указана часть плоскости, на которой , и следовательно неотрицательна подынтегральная функция. Поскольку в заштрихованной области (положительные значения подынтегральной функции) плотность  имеет в среднем большее значение, чем в нештрихованной области (отрицательные значения подынтегральной функции), то ковариация . На рис. 57.2 представлены линии равного уровня плотности  при . Случай  соответствует симметричному расположению линий относительно прямой  (или ). Например, эти линии могут быть эллипсами, у которых большая полуось совпадает по направлению с прямой  (или ). Другой пример – линии являются окружностями с центром в точке .

Рис. 57.2. Линии равного уровня плотности

вероятности при .

Отметим, что если , а линии равного уровня имеют ось симметрии, например, на рис. 57.1 линии – это эллипсы, тогда можно выполнить преобразование (вращение) системы координат , такое, что в новой системе ковариация . Это означает также и преобразование случайных величин ,  с ненулевой ковариацией к новым случайным величинам, для которых ковариация равна нулю.

 

Коэффициент корреляции

58.1. Коэффициентом корреляции двух случайных величин  и  называется число

. (58.1)

Коэффициент корреляции является ковариацией:  двух безразмерных случайных величин

, , (58.2)

полученных из исходных величин  и  путем преобразования специального вида (58.2) (нормировки), которое обеспечивает нулевые средние ,  и единичные дисперсии , .

Коэффициент корреляции (58.1) можно представить через ковариацию  случайных величин  и :

. (58.3)

Поскольку , то из (58.3) следует

 . (58.4)

Коэффициент корреляции является безразмерной величиной, принимает значения на интервале  и поэтому используется как мера статистической связи линейного типа между случайными величинами  и , в отличие от ковариации , для которой интервал значений  зависит от дисперсий случайных величин. Рассмотрим примеры вычисления коэффициента корреляции, позволяющие выяснить свойства  как меры статистической связи между случайными величинами.

58.2. Пусть  - случайная величина с математическим ожиданием , дисперсией  и . Ковариация случайных величин  и  определяется формулой (56.5):  . Подставим это соотношение в (58.3) , тогда:

(58.4)

Таким образом, для случайных величин , , связанных линейной зависимостью коэффициент корреляции  принимает либо максимальное значение , либо минимальное - .

58.3. Рассмотрим обобщение линейной функции, связывающей случайные величины  и  на линейную случайную функцию следующего вида:

(58.5)

где  и  - независимые случайные величины. В частном случае  - число и (58.5) – линейная функция, определяющая  через . Для детерминированной линейной связи  - принимает максимальное значение. Если  - случайная величина, то связь (58.5) становится статистической (стохастической, случайной), то есть не столь жесткой как детерминированная функциональная связь. Это приводит к . В зависимости от свойств случайной величины  статистическая связь между  и  может быть сильной, , или слабой, . Для того, чтобы ответить на вопрос, какова мера связи между случайными величинами  и  (58.5) вычислим их коэффициент корреляции.

Пусть , , , . Тогда из (58.5) следует, в силу независимости  и:

.

Выразим дисперсию случайные величины  через параметры случайных величин ,:

 . (58.6)

Теперь по формуле (58.3):

 . (58.7)

Если , то из (58.7) следует , что соответствует слабой связи между случайными величинами  и . Если , из (58.7) следует , связь становится сильной и в пределе при  переходит в детерминированную линейную связь.

Коэффициент корреляции и расстояние

59.1. Пусть  - множество элементов  Расстоянием (метрикой) между элементами  множества  называется неотрицательная функция , удовлетворяющая следующим трем аксиомам:

, причем .

.

.

Вторая аксиома называется условием симметрии, а третья – неравенством треугольника. Если аксиому 1 ослабить: , тогда  называется псевдометрикой. Для псевдометрики из условия  не обязательно следует .

Пусть  - множество случайных величин. Для каждой пары  элементов этого множества можно также ввести расстояние  вида

. (59.1)

Покажем, что функция  является псевдометрикой. Аксиома 1 – очевидна: , причем из условия  следует . Аксиома 2 также очевидна. Рассмотрим аксиому 3. Справедливы следующие преобразования:

(59.2)

Пусть  - корреляция двух случайных величин  и . Известно, что  удовлетворяет неравенству (55.2)

 . (59.3)

Подставим (59.3) в (59.2), тогда

 , (59.4)

что и доказывает третью аксиому.