Численные методы

МЕТОДИ РОЗВ’ЯЗАННЯ СИСТЕМ ЛІНІЙНИХ АЛГЕБРАЇЧНИХ РІВНЯНЬ.

Розглянемо чисельні методи розв’язання систем лінійних алгебраїчних рівнянь

Ax=f T (1)

де A - матриця m*m, x = ( x1, x2 , ... ,xm ) - шуканий вектор,

Т

f =(f1, f2, ... , fm) -заданий вектор.

Припускаємо, що та визначник матриці А відмінний від нуля, так що існує єдиний розв’язок х. З курсу алгебри відомо, що систему (1) можна розв’язати за формулами Крамера*. Для великих m цей спосіб практично нереалізований тому, що потребує порядку m! aрифметичних дій. Тому широко використовуються інші методи розв’язання, наприклад, метод Гаусса**, який потребує дій.

Методи чисельного розв’язання системи (1) поділяються на дві групи:

-прямі методи;

-ітераційні методи.

У прямих (або точних) методах розв’язок x системи (1) відшукується за скінченну кількість арифметичних дій. Внаслідок похибок заокруглення прямі методи насправді не приводять до точного розв’язку системи (1) і назвати їх точними можливо лише залишаючи осторонь похибки заокруглення.

Ітераційні методи (їх також називають методами послідовних наближень) полягають у тому, що розв’язок x системи (1) відшукується як границя при послідовних наближень де n- номер ітерації. Як правило, за скінченну кількість ітерацій ця границя не досягається.

______________________

* Крамер Габрієль (1704-1752)- швейцарський математик.

** Гаус Карл Фридрих (1777-1855)- німецький математик, астроном, фізик, геодезист, професор Гетінгенського університету.

МЕТОД ГАУССА .

Запишемо систему (1) у розгорнутому вигляді:

а11x1+a12x2+...+a1mxm=f1 ,

a21x1+a22x2+...+a2mxm =f2 , (2)

......................................

am1x1+am2x2+...+ammxm =fm .

Метод Гаусса розв’язання системи (2) полягає у послідовному вилученні невідомих x1, x2, ..., xm-1 з цієї системи.

Припустимо, що a110 . Поділив перше рівняння на a11, одержимо

x1+c12x2 +...+c1m xm =y1 , (3)

де : c1j=a1j /a11 ; j=2,m ; y1=f1/a11 .

Розглянемо тепер рівняння системи (2), що залишилися

ai1x1+ai2x2+...+aimxm=fi ; i= 2,m . (4)

Помножимо (3) на ai1 та віднімемо одержане рівняння з і-го рівняння системи (4), i=2,m.

У результаті одержимо наступну систему рівнянь:

x1+c12x2+...+c1jxj+...+c1mxm =y1 ,

(1) (1) (1) (1)

a22x2+... +a2jxj+...+a2mxm=f2 ,

............................................ (5)

(1) (1) (1) (1)

am2x2+...+amjxj+...+ammxm=fm .

Tут позначено:

(1) (1)

aij=aij-c1jai1; fi=fi -y1ai1; i,j=2,m . (6)

Матриця системи (5) має вигляд:

.

Матриці такої стуктури заведено позначати так:

де хрестиками позначені ненульові елементи.

У системі (5) невідоме х міститься тільки в першому рівнянні, тому у подальшому достатньо мати справу із скороченою системою рівнянь:

(1) (1) (1) (1)

a22x2 +...+a2jxj +...+a2mxm =f2 ,

.............................................. (7)

(1) (1) (1) (1)

am2x2 +...+amjxj +...+ammxm =fm .

Тим самим ми здійснили перший крок методу Гаусса . Коли , то з системи (7) зовсім аналогічно можна вилучити невідоме x2 і прийти до системи, еквівалентній (2),що має матрицю такої структури:

При цьому перше рівняння системи (5) залишається без зміни.

Вилучая таким же чином невідомі х 3, х4 ,... ,x m-1 , приходимо остаточно до системи рівнянь виду:

x1 +c12x2 +...+c1,m-1xm-1+c1mxm =y1,

x2 +...+c2,m-1xm-1+c2mxm =y2 ,

................................

xm-1+cm-1,mxm=ym-1,

xm=ym ,

що еквівалентна початковій системі (2) .

Матриця цієї системи

містить нулі усюди нижче головної діагоналі. Матриці такого виду називаються верхніми трикутними матрицями. Нижньою трикутною матрицею називається така матриця, у якої дорівнюють нулю усі елементи, що містяться вище головної діагоналі.

Побудова системи (8) складає прямий хід методу Гаусса. Зворотнiй хід полягає у відшуканні невідомих х1, ... ,хm з системи (8). Тому що матриця системи має трикутний вигляд, можна послідовно, починаючи з хm, відшукати всі невідомі. Дійсно, xm=ym,

x m-1 =ym-1 -cm-1,m x m i т. д.

Загальні форми зворотнього ходу мають вигляд:

m

xi =yi - е cijxj ; i=m-1,1; xm =ym . (10)

j=i+1

При реалізації на ЕОМ прямого ходу методу Гаусса немає необхідності діяти із змінними x1 ,x2 ,... ,xm. Досить вказати алгоритм,за яким початкова матриця А перетворюється до трикутного вигляду (9), та вказати відповідне перетворення правих частин системи.

Одержимо ці загальні формули.

Нехай вже здійснені перші к-1 кроків, тобто вже вилучені змінні

x1 , x2,..., xk-1 .

Тоді маємо систему:

x1+c12 x2 +...+c1,k-1xk-1+ c1kxk+....+c1mxm =y1 ,

x2 +...+c2,k-1xk-1+ c2kxk+....+c2mxm =y2 ,

..............................................

xk-1+ck-1,kxk+...+ck-1,mxm=yk-1 , (11)

(k-1) (k-1) (k-1)

akkxk+...+akmxm =fk ,

............................

(k-1) (k-1) (k-1)

amkxk+...+ammxm =fm .

Розглянемо К-те рівняння цієї системи:

(k-1) (k-1) (k-1)

akkxk+...+akmxm=fk ,

та припустимо, що . Поділивши обидві частини цього рівняння на , одержимо

xk+ck,k+1xk+1+...+ckmxm=yk , (12)

(k-1) (k-1) (k-1) (k-1)

де ckj=akj / akk ; j=k+1,m ; yk=fk / akk .

Далі помножимо рівняння (12) на та віднімемо одержане співвідношення з i-го рівняння системи (11). У результаті остання група рівнянь системи (11) набуває наступного вигляду:

x k+ck,k+1xk+1 +...+ ckmxm=yk,

(k) (k) (k)

ak+1,k+1xk+1+...+ ak+1,mxm=fk+1,

.......................................

(k) (k) (k)

am,k+1xk+1+... + ammxm=fm ,

(k) (k-1) (k-1) (k) (k-1) (k-1)

де: aij =aij - aikckj ; i,j=k+1,m ; fi= fi - aikyk ; i=k+1,m .

Таким чином, у прямому ході методу Гаусса коефіцієнти рівнянь перетворюються за наступним правилом

(0)

akj =akj ; k,j=1,m ;

(k-1) (k-1)

ckj=akj /akk ; j=k+1,m ; k=1,m ; (13)

(k) (k-1) (k-1)

aij =aij - aikckj ; i,j=k+1,m ; k=1,m . (14)

Обчислення правих частин системи (8) здійснюється за формулами:

(0) (k-1) (k-1)

fk=fk ; yk = fk / akk ; k=1,m ; (15)

(k) (k-1) (k-1)

fi = fi - aikyk ; k=1,m . (16)

Коефіціенти cij і праві частини yi ; i=1,m ; j=i+1,m зберігаються у пам’яті ЕОМ і використовуються при здійсненні зворотнього ходу за формулами (10).

Основним обмеженням методу є припущення, що усі елементи , на які здійснюється ділення, відрізняються від нуля. Число називається провідним елементом на К-му кроці вилучення. Навіть, якщо деякий провідний елемент не дорівнює нулеві, а просто є близьким до нуля, в процесі обчислень може мати місце нагромадження похибок. Вихід з цієї ситуації полягає в тому, шо як провідний елемент вибирається не , а інше число ( тобто на К-му кроці вилучається не xk, а інша змінна xj , ) . Така стратегія вибору провідних елементів здійснюється в методі Гаусса з вибором головного елементу, який буде розглянуто пізніш.

А тепер підрахуємо число арифметичних дій, що необхідні для розв’язання системи за допомогою методу Гаусса. Оскільки виконання операцій множення і ділення на ЕОМ потребує набагато більше часу, ніж виконання додавання і віднімання, обмежимось підрахуванням числа множень і ділень.

1.Обчислення коефіцієнтів за формулами (13) потребує:

(m-k)=1+2+...+(m-1)= ділень .

2.Обчислення усіх коефіцієнтів за формулами (14) потребує

множень (тут ми використовуємо легко перевіряєму за індукцією рівність ).

Таким чином, обчислення ненульових елементів трикутної матриці С потребує

операцій множення і ділення.

3.Обчислення правих частин yk за формулами (15) потребує m

ділень, а відшукання за формулами (16)

множень. Разом, обчислення правих частин перетвореної системи (8) потребує

дій множення і ділення.

Усього для реалізації прямого ходу методу Гаусса необхідно виконати

дій.

4.Для реалізації зворотнього ходу методу Гаусса за формулами (10) необхідно

множень.

Всього, для реалізації методу Гаусса необхідно виконати

дій множення і ділення, причому основний час витрачається на прямий хід. Для великих m число дій множення і ділення у методі Гаусса близьке до За витратами часу та необхідній машинній пам’яті метод Гаусса придатний для розв’язання систем рівнянь (2) загального вигляду з кількістю змінних m порядку 100.

ЧИСЛЕННОЕ ДИФФЕРЕНЦИРОВАНИЕ .

Пусть имеется функция которую необходимо продифференцировать несколько раз и найти эту производную в некоторой точке.

Если задан явный вид функции, то выражение для производной часто оказывается достаточно сложным и желательно его заменить более простым. Если же функция задана только в некоторых точках (таблично), то получить явный вид ее производных ввобще невозможно. В этих ситуациях возникает необходимость приближенного (численного) дифференцирования.

Простейшая идея численного дифференцирования состоит в том, что функция заменяется интерполяционным многочленом (Лагранжа, Ньютона) и производная функции приближенного заменяется соответствующей производной интерполяционного многочлена

Рассмотрим простейшие формулы численного дифференцирования, которые получаются указанным способом.

Будем предполагать, что функция задана в равностоящих узлах

Ее значения и значения производных в узлах будем обозначать

Пусть функция задана в двух точках и ее значения

Посстроим интерполяционный многочлен первой степени

Производная равна

Производную функцию в точке приближенно заменяем производной интерполяционного многочлена

(1)

Величина называется первой разностной производной.

Пусть задана в трех точках

Интерполяционный многочлен Ньютона второй степени имеет вид

Берем производную

В точке она равна

Получаем приближенную формулу

(2)

Величина называется центральной разностной производной.

Наконец, если взять вторую производную

получаем приближенную формулу.

(3)

Величина называется второй разностной производной.

Формулы (1)-(3) называются формулами численного дифференцирования.

Предполагая функцию достаточное число раз непрерывно дифференцируемой, получим погрешности приближенных формул (1)-(3).

В дальнейшем нам понадобится следующая лемма.

Лемма 1. Пусть произвольные точки, Тогда существует такая точка что

Доказательство. Очевидно неравенство

По теореме Больцано-Коши о промежуточных значениях непрерывной функции на замкнутом отрезке она принимает все значения между и Значит существует такая точка что выполняет указанное в лемме равенство.

Погрешности формул численного дифференцирования дает следующая лемма.

Лемма 2.

1.Предположим, что Тогда существует такая точка , что

(4)

Если то существует такая точка , что

(5)

Когда то существует такая, что

(6) Доказательство. По формуле Тейлора

откуда следует (4).

Если то по формуле Тейлора

(7)

где

Подставим (7) в Получаем

Заменяя в соответствии с леммою 1

получаем

Откуда и следует (6).

Равенство (5) доказывается аналогично ( доказательство провести самостоятельно).

Формулы (4)-(6) называются формулами численного дифференцирования с остаточными членами.

Погрешности формул (1)-(3) оцениваются с помощью следующих неравенств, которые вытекают из соотношений (4)-(6):

Говорят, что погрешность формулы (1) имеет первый порядок относительно (или порядка ), а погрешность формул (2) и (3) имеет второй порядок относительно (или порядка ). Также говорят, что формула численного дифференцирования (1) первого порядка точности (относительно ), а формулы (2) и (3) имеют второй порядок точности.

Указанным способом можно получать формулы численного дифференцирования для более старших производных и для большего количества узлов интерполирования.

Выбор оптимального шага. Допустим, что граница абсолютной погрешности при вычислении функции в каждой точке удовлетворяет неравенству

(8)

Пусть в некоторой окрестности точки производные, через которые выражаются остаточные члены в формулах (5), (6), непрерывны и удовлетворяют неравенствам

(9)

где - некоторые числа. Тогда полная погрешность формул (2), (3) (без учета погрешностей округления) в соответствии с (5), (6), (8), (9)не превосходит соответственно величин

Минимизация по этих величин приводит к следующим значениям :

(12)

при этом

(13)

Если при выбранном для какой-либо из формул (2), (3) значении отрезок не выходит за пределы окрестности точки , в которой выполняется соответствующее неравенство (9), то найденное есть оптимальным и полная погрешность численного дифференцирования оценивается соответствующей величиной (13).

ИНТЕРПОЛИРОВАНИЕ СПЛАЙНАМИ.

Интерполирование многочленом Лагранжа или Ньютона на отрезке с использованием большого числа узлов интерполяции часто приводит к плохому приближению, что объясняется сильным накоплением погрешностей в процессе вычислений. Кроме того из-за расходимости процесса интерполяции увеличение числа узлов не обязано приводить к повышению точности. Для того, чтобы избежать больших погрешностей, весь отрезок разбивают на частичные отрезки и на каждом из частичных отрезков приближенно заменяют функцию многочленом невысокой степени ( так называемая кусочно-полиномиальная интерполяция).

Одним из способов интерполяции на всем отрезке является интерполирование с помощью сплайн-функций. Сплайн-функцией или сплайном называют кусочно-полиномиальную функцию, определенную на отрезке и имеющую на этом отрезке некоторое число непрерывных производных.

Слово ,,сплайн’’ (английское spline) означает гибкую линейку, используемую для проведения гладких кривых через заданные точки плоскости.

Преимущество сплайнов перед обычной интерполяцией является, во-первых, их сходимость, и, во-вторых, устойчивость процесса вычислений.

Рассмотрим частный, но распространенный в вычислительной практике случай, когда сплайн определяется с помощью многочленов третьей степени ( кубический сплайн).

Пусть на задана непрерывная функция. Введем узлы ( сетку):

и обозначим

Интерполяционным кубическим сплайном, соответствующим данной функции и данным узлам, называеться функция , удовлетворяющая следующим усовиям:

а) на кождом сегменте функция является многочленом третьей степени;

б) функция , а так же ее первая и вторая производные непрерывны на ;

в)

Последнее условие называется условием интерполирования.

Докажем существование и единственность сплайна, определяемого перечисленными условиями (плюс некоторые граничные условия, которые будут введены в процессе доказательства). Приводимое ниже доказательство содержит также способ построения сплайна.

На каждом из отрезков будем искать функцию в виде многочлена третьей степени

(1)

где - коэффициенты, подлежащие определению. Выясним смысл введенных коэффициентов. Имеем

поэтому

Из условий интерполирования получаем, что

Доопределим , кроме того , .

Далее , требование непрерывности функции приводит к условиям

Отсюда,учитывая выражения для функций получаем при уравнения

Обозначая перепишем эти уравнения в виде

(2)

Условия непрерывности первой производной

приводят к уравнениям

(3)

Из условий непрерывности второй производной получаем уравнения

. (4)

Объединяя (2) -(4) , получим систему уравнений относительно неизвестных

Два недостающих условия получают, задавая те или иные граничные условия для Предположим, например, что функция удовлетворяет условиям Тогда естественно требовать, чтобы Отсюда получаем

т.е.

Заметим, что условие совпадает с уравнением (4) при . Таким образом, приходим к замкнутой системе уравнений для определения коэффициентов кубического сплайна:

Убедимся в том, что эта система имеет единственное решение. Исключим из (5)- (7) переменные и получим систему, содержащую только Для этого рассмотрим два соседних уравнения (7) :

и вычтем второе уравнение из первого. Тогда получим

Подставляя найденное выражение для в правую часть уравнения (6), получим

(8)

Далее, из уравнения (5) получаем

И подставляя эти выражения в (8) , приходим к уравнению

Окончательно для определения коэффициентов получаем систему уравнений

(9)

В силу диагонального преобладания система (9) имеет единственное решение. Так как матрица системы трехдиагональная, решение можно найти методом прогонки. По найденным коэффициентам коэффициенты і определяются с помощь явных формул

(10)

Таким образом, доказано, что существует единственный кубический сплайн, определяемый условиями а)-в) и граничными условиями Заметим , что можно рассматривать и другие граничные условия.

ЧИСЛЕННОЕ ИНТЕГРИРОВАНИЕ.

На практике редко удается вычислить точно определенный интеграл. Например, в элементарных функциях не вычисляется функция Лапласа

широко используемая в теории вероятностей для вычисления вероятностей, связанных с нормально распределенными случайными величинами.

Рассмотрим некотрые широко используемые приемы приближенного вычисления определенных интегралов.

Квадратурные формулы.

Введем понятие квадратурные формулы. Пусть дан определенный интеграл

(1)

от непрерывной на отрезке функции . Приближенное неравенство

(2)

где - некоторые числа, - некотрые точки отрезка , называется квадратурной формулой, определяемой весами и узлами .

Говорят, что квадратурная формула точна для многочленов степени , если при замене на произвольный алгебраический многочлен степени приближенное равенство (2) становится точным.

Рассмотрим наиболее простые квадратурные формулы.

Формула прямоугольников. Допустим, что . Положим приближенно

(3)

где , т.е. площадь криволинейной трапеции, ограниченной сверху графиком функции , аппроксимируется площадью прямоугольника, высота которого равна значению в средней точке основания трапеции .

Найдем остаточный член , т.е. погрешность формулы (3) .

Пусть

(4)

Так как

то согласно формуле Тейлора с остаточным членом в форме Лагранжа имеем

(5)

где -некоторые точки ,

Функция является первообразной для Поэтому для интеграла, стоящего в левой части приближенного равенства (3), из формулы Ньтона - Лейбница с расчетом (5) вытекает следующее соотношеие

Отсюда с помощью ранее доказанной леммы получаем формулу прямоугольников с остаточным членом :

(6)

Формула трапеций. Пусть Полагаем

(7)

где т.е. интеграл приближенно заменяется площадью заштрихованной трапеции, показанной на рисунке.

Найдем остаточный член, т.е. погрешность формулы (7). Выразим і где - функция (4), по формуле Тейлора с остаточным членом в интегральной форме :

(8)

(9)

Согласно (8) имеем

(10)

Отделив в правой части (9) слагаемое и заменив его выражением (10), с учетом того, что находим

Преобразуем теперь второе слагаемое в правой части, используя обобщенную теорему о среднем.

* Формула Тейлора с остаточным членом в интегральной форме

Теорема 1 (обобщенная теорема о среднем). Пусть причем на Тогда существует такая точка что

Доказательство. Положим

(11)

Тогд, так как то

и, следовательно,

Если то и в качестве можн взять любую точку из

Если то вытекает существование такого числа с, удовлетворяющего неравенствам ( для этого делим все части на ):

(12)

что

(13)

По теореме о промежуточных значениях непрерывной функции в силу (11) , (12) найдется точка , в которой что вместе с равенством (13) доказывает теорему .

Теперь, так как то по доказанной теоремою

где - некоторая точка . Подставляя полученное в , приходим к формуле трапеций с остаточным членом :

(14)

Формула Симпсона . Предположим, что Интеграл приближенного заменяем площадью заштрихованной криволинейной трапеции, ограниченной сверху параболой, проходящей через точки де

Указанная парабола задается уравнением

в чем нетрудно убедиться, положив поочередно (ее можно также получить, построив интерполяционный многочлен второй степени и приводя подобные ) Отсюда находи ( проверить самостоятельно)

Таким образом , формула Симпсона , называемая также формулой парабол , имеет вид

(15)

Положим где -функция (4). Поскольку

то согласно формул Тейлора с остаточным членом в интегральной форме имеем

Отсюда получаем

(16)

т.к. остальные члены взаимно уничтожаются.

Поскольку то применяя к интегралу (16) теорему 1 , а затем к полученному результату лемму, находим

(17)

где нектрые точки.

Принимая во внимание, что из (16), (17) приходим к формуле

(18) т.е. к формуле Симпсона с остаточным членом.

Рассмотрим квадратурные формулы прямоугольников (3), трапеций (7) и Симпсона (15) называются каноничными.

Усложненные квадратурные формулы.

На практике, если требуется вычислить приближенно интеграл (1) , обычно делят заданный отрезок на равных частей и на кождом частичном отрезке применяют какую-либо одну каноничную квадратурную формулу, а затем суммируют полученные результаты. Построенная таким путем квадратурная формула на отрезке называется усложненной. При применении формул прямугольников и трапеций длину частичных отрезков удобно применять за , а при использовании формулы Симпсона - за .

Остановимся сначала на применении формулы прямоугольников. Пусть Обозначим частичные отрезки через

где

В соответствии с (3) полагаем

(19)

где значение в середине частичного отрезка . При этом справедливо аналогичное (6) равенство

(20) где некоторая точка.

Суммирование по всем частичным отрезкам приближенного равенства (19) приводит к усложненной квадратурной формуле прямоугольников:

(21)

а суммирование равенств (20) с учетом того,что по лемме

где -некоторая точка отрезка , дает усложненную формулу прямоугольников с остаточным членом:

(22) Совершенно аналогично при услвии, что с использованием формул (7), (14) получается усложненная квадратурная формула трапеций

(23)

и отвечающая ей формула с остаточным членом

(24)

где некоторая точка.

Пусть теперь и, как обычно, Перепишем каноническую квадратурную формулу Симпсона (15) применительно к отрезку длины :

Суммируя левую и правую части этого соотношения от 0 до

N-1, получаем усложненную квадратурную формулу Симпсона (25)

Сответствующая ей формула с остаточным членом, полученная суммированием по частичным отрезкам равенств вида (18), при условии, что , такова :

(26)

где

Введем краткие обозначения

(27)

где а также положим

(28)

где

Приближенные равенства

(29)

(30)

назовем сответственно формулами прямоугольников, трапеций и формулой Симпсона, опуская слова ‘’усложненная квадратурная’’.

Из виражений остаточных членов в (22), (24), (26) видно, что формулы (29) прямоугольников трапеций точны для многочленов первой степени, т.е. для линейных функций, а формула (30) Симпсона точна для многочленов третьей степени (для них остаточный член равен нулю ). Погрешность формул (29) имеет второй порядок относительно (заведомо не лучше, если непрерывна на и не обращается в нуль), а формула Симпсона при соответствующей гладкости является формулой четвертого порядка точности. Поэтму для функций класса при малом формула Симпсона обычно дает более высокую точность, чем формула (29).

Погрешность формулы прямугольников и формулы Симпсона при вычислении интеграла (1) в силу (22), (26) удовлетворяет неравенствам

(31)

(32)

Аналогичное неравенство имеет место и для погрешности формули трапеций.

Наряду с оценками погрешноси сверху полезны оценки снизу. В частности, для погрешности формулы прямоугольников оценка снизу, вытекающая из (22), такова:

(33)

Пример. Исследовать погрешность квадратурных формул для интеграла

при .

Имеем

о

на

Согласно (31)-(33) получаем

Формулы прямоугольников трапеций в отдельности уступают при интегрировании гладких функций формуле Симпсона. Однако в паре они обладают ценным качеством, а именно, если не изменяет знака на то формулы (29) дают двусторонние приближения для интеграла (1), так как согласно (22), (24) их остаточные члены имеют противоположные знаки.

В рассмотренном примере Поэтому

В данной ситуации естественно положить

Тогда т.е. погрешность оценивается через самые приближенные значения интеграла.

УМОВИ ЗАСТОСУВАННЯ МЕТОДУ ГАУССА.

Раніш було показано, що метод Гаусса перетворює вихідну систему рівнянь

(1)

до еквівалентної системи

, (2)

де С- верхня трикутна матриця з одиницями на головнїй діагоналі. З’ясуємо тепер, як зв’язанi між собою вектори правих частин f та y.

Раніш ми переконалися, що праві частини системи (2) обчислюються за формулами

,

З цих співвідношень можна послідовно одержати

, (3)

де -числові коефіцієнти, причому .

Співвідношення (3) можна записати у матричному вигляді

, (4)

де B -нижня трикутна матриця з елементами на головній діагоналі.

Нагадаємо, що головне припущення при формуліровці методу Гаусса полягало у тому, що усі Тому на діагоналі матриці В стоять ненульові елементи, , тобто В має обернену, a . Підставляючи останнє у (2), приходимо до рівняння

звідки

. (5)

Порівнюючи (5) з рівнянням (1), приходимо до висновку, що як наслідок застосування методу Гаусса одержане розкладання вихідної матриці А у добуток A=BC , де В- нижня трикутна матриця з ненульовими елементами на головній діагоналі, С-верхня трикутна матриця з одиничною головною діагоналлю.

Зараз можно тлумачити метод Гаусса таким чином. Нехай задано матрицю A і вектор f. Спочатку утворюється розклад А у добуток двох трикутних матриць . Далі послідовно розв’язуються дві системи рівнянь

(6)

(7)

з трикутними матрицями, звідки і одержується шуканий вектор x. Розклад А=ВС відповідає прямій ході методу Гаусса, а розв’язання системи (6)- (7)- зворотній ході. Зауважимо, що у наведеному раніш алгоритмі розклад A=BC та розв’язання системи (6) провадиться одночасно.

Водночас з сказаного можна зробити наступний висновок. Тому що

,

то метод Гаусса дозволяє одночасно з ров’язаннням системи (1) обчислити визначник матриці А простим множенням ведучих елементів. Коли ж задачею є просто обчислення визначника матриці, то це можна зробити методом Гаусса, при цьому немає необхідності обчислювати праві частини перетворюємих рівнянь.

Далі, додержуючись стандартних позначень, нижні трикутні матриці будемо позначати L (від англійського lower- нижній), та верхні трикутні - літерою U (від англійського upper-верхній).

Позначимо через -кутовий мінор порядку j матриці А, тобто

.

Теоретичне обгрунтування можливості розкладу матриці у добуток двох трикутних матриць містить наступна теорема.

Теорема про LU- розклад. Нехай усі кутові мінори матриці А відмінні від нуля, . Тоді матрицю А можна подати єдиним чином у вигляді добутка

А=LU , (8)

де L- нижня трикутна матриця з ненульовими діагональними елементами і U -верхня трикутна матриця з одиничною головною діагоналлю.

Доведення. Доведемо сформульоване твердження спочатку для матриць другого порядку. Будемо шукати розклад матриці

у вигляді

,

де - невідомі досі числа. Для відшукання цих чисел маємо систему рівнянь:

,

яка має єдиний розвязок

.

За припущенням теореми , тобто елементи та відмінні від нуля.

Подальше доведення проведемо методом математичної індукції. Нехай твердження вірне для матриць порядку доведемо, що воно вірне і для матриць порядку к.

Подамо матрицю А порядку К у вигляді

(9)

та позначимо

; ,

.

Згідно з умовами теореми і тоді за припущеннями індукції існує розклад матриці ;

де -відповідно нижня і верхня трикутні матриці, що володіють вказаними у теоремі властивостями. Будемо шукати розклад матриці (9) у вигляді

, (10)

де - невідомі досі вектори.

Помножимо матриці в правій частині рівняння (10) і, враховуючи (9), приходимо до системи рівнянь

; (11)

; (12)

; (13)

З припущенння індукції виходить існування матриць ;. Тому з (11) і (12) одержуємо

;

і,далі, з (13)

.

Таким чином,-розклад матриці А існує. З розкладу (10) виходить, що

.

За умовами теореми , а за припущеннями індукції , і тому . Тим самим індукція завершена і доведена можливість шуканого розкладу.

Доведемо тепер, що такий розклад єдиний. Припустимо, що матрицю А можна розкласти двома способами

.

Тоді i . (14)

Матриця у лівій частині рівняння (14) є верхньою трикутною, а в правій частині - нижньою трикутною. Така рівність можлива лише у випадку. якщо матриці і діагональні. Але на діагоналі матриці (а тому і матриці ) стоять одиниці, отже ці матриці одиничні

.

Звідси одержуємо ; ,тобто розклад (8) єдиний. Теорема повністю доведена.

Зауважимо, що коли хоча б один з углових мінорів матриці А дорівнював нулеві, то вказаний - розклад неможливий. Це легко побачити на прикладі матриць другого порядку.

Висновок. Метод Гаусса можливо використовувати тоді, та й лише тоді, коли усі кутові мінори матриці А відмінні від нуля.

Було показано, що метод Гаусса приводить до розкладу вихідної матриці у добуток двох трикутних. Більш детально описати структуру цих трикутних матриць можливо за допомогою так званих елементарних трикутних матриць.

Матриця називається елементарною нижньою трикутною матрицею, якщо вона має вигляд

.

У матриці усі елементи головної діагоналі окрім дорівнюють одиниці. З решти елементів відмінними від нуля можуть бути лише елементи -го стовпчика, що розташовані нижче . Оберненою до є елементарна нижня трикутна матриця

.

Розглянемо спочатку для наочності систему , що складається з трьох рівнянь:

,

, (15)

.

Після першого кроку виключення за методом Гаусса перетворена система приймає вигляд

,

, (16)

.

Звідси видно, що матриця системи (16) одержується з вихідної матриці А шляхом множення А зліва на елементарну матрицю

(17)

так, що .При цьому систему (16) можна записати у вигляді

.

Матрицю (17) будемо називати елементарною трикутною матрицею, що відповідає першому кроку виключення методу Гаусса.

Перепишемо систему (16) у вигляді

,

, (18)

.

Здійснимо другий крок методу Гаусса, тобто виключимо невідому з останнього рівняння.

Тоді одержимо систему вигляду

,

, (19)

.

Можна переконатися,що перехід від (18) до (19) здійснюється завдяки множення системи (18) на елементарну трикутну матрицю

. (20)

Таким чином,після другого кроку виключення приходимо до системи

, (21)

де матриці і означені згідно (17), (20).

Нарешті, перемножаючи (21) на матрицю

одержимо систему

, (22)

матриця якої є верхньою трикутною матрицею з одиничною головною діагоналлю.

Звідки виходить, зокрема, що A=LU, де -нижня трикутна матриця.

Таким чином, -розклад матриці А може бути одержаний за допомогою елементарних трикутних матриць: спочатку будуються матриці та обчислюється , а потім відшукується .Відзначимо, що матриці мають простий вигляд

; ; ;

.

причому на діагоналі матриці містяться ведучі елементи методу виключення.

Запис методу Гаусса у вигляді (22) детально описує процес виключення.

Усе згадане раніш переноситься без винятку на системи рівнянь довільного порядку (2).

Процес виключення можна записати формулою

, (23)

де елементарна нижня трикутна матриця на к-му кроці виключення має вигляд

.

Матриця здійснює виключення невідомого з рівнянь з номерами к+1, к+2, ... ,m.

Матриці існують і мають вигляд

.

МЕТОД ГАУССА С ВЫБОРОМ ГЛАВНОГО ЭЛЕМЕНТА.

Основная идея метода. Может оказаться, что система

Ax=f (1)

имеет единственное решение, хотя какой-либо из угловых миноров матрицы А равен нулю. В этом случае обычный метод Гаусса оказывается непригодным, но может быть применен метод Гаусса с выбором главного элемента.

Основная идея метода состоит в том, чтобы на очередном шаге исключать не следующее по номеру неизвестное, а то неизвестное, коэффициент при котором является наибольшим по модулю. Таким образом, в качестве ведущего элемента здесь выбирается главный, т.е. наибольший по модулю элемент. Тем самым, если , то в процессе вычислений не будет происходить деление на нуль.

Различные варианты метода Гаусса с выбором главного элемента проиллюстрируем на примере системы из двух уравнений

(2)

Предположим, что . Тогда на первом шаге будем исключать переменное . Такой прием эквивалентен тому, что си­стема (2) переписывается в виде

(3)

и к (3) применяется первый шаг обычного метода Гаусса. Указанный способ исключения называется методом Гаусса с выбором главного элемента по строке. Он эквивалентен применению обычного метода Гаусса к системе, в которой на каждом шаге исключения про­водится соответствующая перенумерация переменных.

Применяется также метод Гаусса с выбором главного элемента по столбцу. Предположим, что . Перепишем систему (2) в виде

и к новой системе применим на первом шаге обычный метод Гаусса. Таким образом, метод Гаусса с выбором главного элемента по столбцу эквивалентен применению обычного метода Гаусса к системе, в которой на каждом шаге исключения проводится соответствующая перенумерация уравнений.

Иногда применяется и метод Гаусса с выбором главного элемента по всей матрице, когда в качестве ведущего выбирается максималь­ный по модулю элемент среди всех элементов матрицы системы.

Матрицы перестановок. Ранее было показано, что обычный метод Гаусса можно записать в виде

где -элементарные нижние треугольные матрицы. Чтобы получить аналогичную запись метода Гаусса с выбором главного элемента, необходимо рассмотреть матрицы перестановок.

ОПРЕДЕЛЕНИЕ 1. Матрицей перестановок Р называется квад­ратная матрица, у которой в каждой строке и в каждом столбце только один элемент отличен от нуля и равен единице.

ОПРЕДЕЛЕНИЕ 2. Элементарной матрицей перестановок на­зывается матрица, полученная из единичной матрицы перестановкой к-й и l-й строк.

Например, элементарными матрицами перестановок третьего по­рядка являются матрицы

Можно отметить следующие свойства элементарных матриц перестановок, вытекающие непосредственно из их определения .

Произведение двух (а следовательно, и любого числа) элементар­ных матриц перестановок является матрицей перестановок (не обязательно элементарной).

Для любой квадратной матрицы А матрица отличается от А перестановкой к-й и l-й строк.

Для любой квадратной матрицы А матрица отличается от А перестановкой к-го и l-го столбцов.

Применение элементарных матриц перестановок для описания метода Гаусса с выбором главного элемента по столбцу можно пояснить на следующем примере системы третьего порядка:

(4)

Система имеет вид (1), где

(5)

Максимальный элемент первого столбца матрицы А находится во второй строке. Поэтому надо поменять местами вторую и первую строки и перейти к эквивалентной системе

(6)

Систему (6) можно записать в виде

(7)

т.е. она получается из системы (4) путем умножения на матрицу

пе­рестановок

Далее, к системе (6) надо применить первый шаг обычного метода ис­ключения Гаусса. Этот шаг эквивалентен умножению системы (7) на элементарную нижнюю треугольную матрицу

В результате от системы (7) перейдем к эквивалентной системе

(8)

или в развернутом виде

(9)

Из последних двух уравнений системы (9) надо теперь исключить перемен­ное . Поскольку максимальным элементом первого столбца уко­роченной системы

(10)

является элемент второй строки, делаем в (10) перестановку строк и тем самым от системы (9) переходим к эквивалентной системе

(11)

которую можно записать в матричном виде как

. (12)

Таким образом система (12) получена из (8) применением элемен-тар­ной матрицы перестановок

Далее к системе (11) надо применить второй шаг исключения обычного метода Гаусса. Это эквивалентно умножению системы (11) на элементарную нижнюю треугольную матрицу

В результате получим систему

(13)

или

(14)

Заключительный шаг прямого хода метода Гаусса состоит в замене последнего уравнения системы (14) уравнением

что эквивалентно умножению (13) на элементарную нижнюю треугольную мат­рицу

Таким образом, для рассмотренного примера процесс исключения Гаусса с вы­бором главного элемента по столбцу записывается в

виде

(15)

По построению матрица

(16)

является верхней треугольной матрицей с единичной главной диаго­налью.

Отличие от обычного метода Гаусса состоит в том, что в качестве сомножителей в (16) наряду с элементарными треугольными матри­цами могут присутствовать элементарные матрицы перестановок .

Покажем еще, что из (16) следует разложение

PA=LU, (17)

где L -нижняя треугольная матрица, имеющая обратную, P - матрица перестановок.

Для этого найдем матрицу

(18)

По свойству 2) матрица получается из матрицы переста­новкой второй и третьей строк,

Матрица согласно свойству 3) получается из перестановкой второго и третьего столбцов

т.е. -нижняя треугольная матрица, имеющая обратную.

Из (18), учитывая равенство , получим

(19)

Отсюда и из (16) видно, что

где обозначено . Поскольку Р-матрица перестановок и L-нижняя треугольная матрица, свойство (17) доказано. Оно означает, что метод Гаусса с выбором главного элемента по столбцу эквивалентен обычному методу Гаусса, примененному к мат­рице РА, т.е. к системе, полученной из исходной системы перестанов­кой некоторых уравнений.

Общий вывод. Результат, полученный ранее для очень частного примера, справедлив и в случае общей системы уравнений (1).

А именно, метод Гаусса с выбором главного элемента по столбцу можно записать в виде

(20)

где - элементарные матрицы перестановок такие, что

и -элементарные нижние треугольные матрицы.

Отсюда, используя соотношения перестановочности, аналогичные (19), можно показать, что метод Гаусса с выбором главного элемента эквивалентен обычному методу Гаусса, примененному к си­стеме

PAx=Pf, (21)

где Р - некоторая матрица перестановок.

Теоретическое обоснование метода Гаусса с выбором главного элемента содержится в следующей теореме.

ТЕОРЕМА 1. Если то существует матрица перестано-

вок Р такая, что матрица РА имеет отличные от нуля угловые ми-

норы.

Доказательство в п.4.

СЛЕДСТВИЕ. Если то существует матрица престана-

вок Р такая, что справедливо разложение

РА=LU, (22)

где L- нижняя треугольная матрица с отличными от нуля диагональными элементами и U- верхняя треугольная матрица с единичной главной диагональю. В этом случае для решения системы (1) можно применять метод Гаусса с выбором главного элемента.