Поиск оптимальных решений

Міністерство освіти і науки України

Національний технічний університет

“ХАРКІВСЬКИЙ ПОЛІТЕХНІЧНИЙ ІНСТИТУТ”

Кафедра “Обчислювальної техніки та програмування”

Реферат з курсу “Введение в численные методы”

Тема: “ПОИСК ОПТИМАЛЬНЫХ РЕШЕНИЙ”

Виконав: студент групи

Перевірив:

Харків

Содержание

 

1. Основные понятия оптимизационных задач

2. Итерационные процессы с учетом градиента

3. Функционал для градиентного равенства

4. Функционалы в задачах условной оптимизации

Литература

 

1. Основные понятия оптимизационных задач

К задачам поиска нулей функций сводятся многие задачи нахождения наибольших или наименьших значений многомерных функций в заданной области. В литературе такого рода задачи называются задачами оптимизации. В этих задачах дополнительно оговариваются условия, при которых оптимум должен быть достигнут. В качестве условий могут выступать системы алгебраических уравнений, или системы неравенств, или и то и другое одновременно. Оптимизируемая функция при этом является, как правило, критериальной, т.е. описывающей показатель качества объекта.

Простым примером оптимизационной задачи может быть метод наименьших квадратов (МНК), где критерием качества аппроксимации служила сумма квадратов отклонений заданной системы точек от искомой аппроксимирующей кривой. Аналогичным образом построенные многопараметрические критериальные выражения в литературе называют функционалами, минимуму которых и необходимо удовлетворить соответствующим выбором параметров функционала.

Если функционал построен, включает в себя параметры и не содержит ограничений или условий на характер и диапазон изменения параметров, то система уравнений относительно неизвестных значений параметров получается приравниванием частных производных по всем параметрам нулю. В результате задача оказывается сведенной к решению линейной, как в МНК, или в общем случае нелинейной системы уравнений. Такие задачи называются задачами безусловной оптимизации.

2. Итерационные процессы с учетом градиента

Ограничения и условия в задачах оптимизации встраивают тем или иным образом в общий функционал, после чего решают задачу поиска экстремума. Наиболее популярной структурой функционала является взвешенная сумма квадратов невязок, полученных из условий и ограничений. Это обеспечивает всему функционалу квадратичную зависимость по каждому неизвестному параметру и, как следствие, локальный минимум всему функционалу.

Изменение искомых параметров можно подчинить какой-либо детерминированной динамической процедуре, обеспечивающей сходимость итерационного процесса движения к точке минимума. Наиболее распространенным, имеющем множество модификаций, процессом является метод градиента: вектор скорости изменения неизвестных параметров пропорционален с обратным знаком вектору градиента функционала:

Это условие соответствует выбору наибольшей скорости убывания функционала, что несложно увидеть, рассмотрев выражение для производной функционала по времени:

.

Правую часть можно рассматривать как скалярное произведение двух n-компонентных векторов: вектора градиента

и вектора скорости изменения координат-параметров

.

Скалярное произведение максимально, когда векторы коллинеарные.

В результате система градиентных уравнений наискорейшего приближения к значениям оптимальных параметров приобретает вид:

 .

Вид функционала существенно влияет на достижение локального минимума в итерационном процессе решения полученного градиентного уравнения. Численная итерационная процедура для решения последнего легко записывается, если производные правых частей системы представить конечными разностями первого порядка и переписать уравнения, разрешенными относительно очередных приближений искомых решений:

Равенство нулю градиента функционала может означать остановку итерационного процесса на одной из седловых точек, когда производные первого порядка по всем переменным  равны нулю, а некоторые из производных второго порядка имеют разные знаки по обе стороны от точки остановки решения. Это возможно, когда функция  нелинейная. Чтобы сдвинуться с точки промежуточной остановки на пути к локальному минимуму, необходимо провести оценку знаков вторых смешанных производных по всем неизвестным. В общем виде, в случае многомерного нелинейного функционала, смешанные производные второго порядка могут быть представленными в векторной форме. Для этого в разложении Тейлора достаточно произвести перегруппировку частных производных так, чтобы группы слагаемых представляли скалярные произведения векторов и матриц из частных производных:

,

где , – вектор-столбец и вектор-строка очередных приращений,

 – строчная форма записи вектора градиента,

 – матрица вторых частных производных (гессиан),

 – квадратичная форма с матрицей Гессе,

.

Условием достижения локального минимума является положительная определенность квадратичной формы с матрицей Гессе  в точке остановки, в которой . Квадратичная форма положительна тогда и только тогда, когда все главные миноры ее квадратной матрицы, например, матрицы A, положительны:

 .

Из проведенных рассмотрений можно сделать заключение, что для линейных функционалов любая остановка итерационного процесса соответствует локальному экстремуму, так как производные выше второй равны нулю.