Общие выкладки из теории

1. Общие выкладки из теории

1.1. Общая постановка проблемы идентификации

Основной задачей системного анализа является опре­деление выходного сигнала системы по известному вход­ному сигналу и характеристикам системы. Здесь обсуждается задача, которую иногда называют обратной задачей системного анализа, по заданным входному и выходному сигналам определить уравнения, описывающие поведение системы. Т.е. необходимо получить правило или такую связь,

которая позволяла бы приписать неизвестному параметру рассматриваемого объекта некоторое числовое значение (оценку) , причем эта оценка зависит от последовательности наблюдений , где - есть управление. Рассматриваемая ситуация изображена на рис.1.

Часто подразумевается, что идентификация начинается из ”ничего” без всякой априорной информации об объекте. Но в большинстве технических задач такое предположение не реа­листично; из структуры объекта и, по крайней мере, частич­ного понимания его функционирования можно извлечь определенную априорную информацию и, в частности, вид структуры модели. В этом случае остается только получить информацию о числовых значениях ряда пара­метров (коэффициентов дифференциальных уравнений, опи­сывающих динамику объекта, и т. д.). В результате задача идентификации сводится к задаче оценивания параметров. Под оцениванием параметров понимается эксперимен­тальное определение значений параметров, характеризую­щих динамику поведения объекта, в предположении, что структура модели объекта известна.

При оценивании используют различные виды оценок, которые различаются объемом исходной информации об объекте. Например, при нахождении оценки по методу наименьших квадратов предполагается, что дина­мика объекта может быть аппроксимирована выбранной моделью. При получении ”марковских” оценок считается также известной ковариационная матрица шума. Для вычисления оценок максимального правдоподобия необ­ходимо знание плотности вероятности измеряемого слу­чайного процесса. Байесовские оценки, или оценки с минимальным риском, требуют знания априорных плот­ностей вероятности неизвестных параметров и величины штрафа за ошибки.

В данной работе мы будем рассматривать частный случай показанной выше ситуации, т.е. рассмотрим параметрическое оценивание параметров динамической системы без управления, а неизвестные параметры будем оценивать методом максимального правдоподобия.

1.2. Оценка максимального правдоподобия

Известно, что при оценивании существенный интерес представляет информация о рассматриваемых параметрах, в частности плотность вероятности или . Эта функция зависит от продолжительности интервала наблюдений или, что то же самое, от размера выборки и представляет собой наиболее пол­ную информацию, которую можно получить, применяя статистические методы.

Пусть известна плотность вероятности шума . По ней можно рассчитать плотность вероятности измерений , которая зависит от параметров объекта и обозначается через . Также положим, что априорное распределение вероятностей параметра в области возможных значений параметра. Тогда разумно выбирать , совпадающее со значением , максимизирующим . В соответствии с формулой Байеса

для произвольного имеем

.

Априорная плотность вероятности имеет вид

Апостериори после измерений выборочных значений , или , совместная плотность вероятности обозначается как

и называется функцией правдоподобия. По функции правдоподобия находиться оценка , причем логично выбирать такое значение , которое максимизирует . Тогда необходимое условие максимума имеет вид

или в силу монотонности логарифма

Эту формулу называют уравнением правдоподобия и, отыскивая решение этой системы уравнений, которое обеспечивает наибольшее значение или , находим оценку максимального правдоподобия, а, находя оценку максимального правдоподобия, мы тем самым находим неизвестные параметры системы.

Таким образом, задача оценивания может быть сформулирована как задача нахождения наибольшего (наименьшего) значения некоторого функционала. Но т.к. значения параметров непосредственному наблюдению не доступны, то критерием выбора оптимума должен быть функционал от выходных сигналов или от математического ожидания ошибок оценок параметров. Примером такого функционала может служить либо функция правдоподобия, либо ее логарифм. Т.е. если - это выход объекта, -соответствующий выход модели и, также когда, невязки ошибок предсказания являются независимыми и имеют гауссовское совместное распределение с нулевым средним и матрицами ковариаций , тогда выражение для обратного логарифма функции максимального правдоподобия имеет следующий вид:

Тогда нахождение оценки максимального правдоподобия эквивалентно минимизации следующего функционала:

(1.2.1)

Тогда