2. Марковські випадкові процеси з дискретними станами

Випадковий процес, що протікає в деякій системі S з можливими станами S1, S2, S3, …, називається Марковським, або випадковим процесом без наслідку, якщо для будь-якого моменту часу t0 імовірні характеристики процесу в майбутньому (при t>t0) залежить тільки від його стану в цей момент t0 і не залежать від того, коли і як система прийшла в цей стан; тобто не залежать від її поводження в минулому (при t<t0).

Прикладом Марковського процесу: система S – лічильник у таксі. Стан системи в момент t характеризується числом кілометрів (десятих часток кілометрів), пройдених автомобілем до даного моменту. Нехай у момент t0 лічильник показує S0/ Імовірність того, що в момент t>t0 лічильник покаже те або інше число кілометрів (точніше, що відповідає число рублів) S1 залежить від S0, але не залежить від того, у які моменти часу змінилися показання лічильника до моменту t0.

Багато процесів можна приблизно вважати Марковськими. Наприклад, процес гри в шахи; система S – група шахових фігур. Стан системи характеризується числом фігур супротивника, що збереглися на дошці в момент t0. Імовірність того, що в момент t>t0 матеріальна перевага буде на боці одного із супротивників, залежить у першу чергу від того, у якому стані перебуває система в цей момент t0, а не від того, коли й у якій послідовності зникли фігури з дошки до моменту t0.

У ряді випадків передісторією розглянутих процесів можна просто зневажити й застосовувати для їхнього вивчення Марковські моделі.

Марковським випадковим процесом з дискретними станами й дискретним часом (або ланцюгом Маркова) називається Марковський процес, у якому його можливі стани S1, S2, S3, … можна заздалегідь перелічити, а перехід зі стану в стан відбувається миттєво (стрибком), але тільки в певні моменти часу t0, t1, t2, ..., називані кроками процесу.

Позначимо pij – імовірність переходу випадкового процесу (системи S) зі стану I у стан j. Якщо ці ймовірності не залежать від номера кроку процесу, то такий ланцюг Маркова називається однорідної.

Нехай число станів системи звичайно й дорівнює m. Тоді її можна характеризувати матрицею переходу P1, що містить всі ймовірності переходу:

p11 p12 … p1m

p21 p22 … p2m

… … … …

Pm1 pm2 … pmm


Природно, по кожному рядку ∑ pij = 1, I = 1, 2, …, m...

Позначимо pij(n) – імовірністю того, що в результаті n кроків система перейде зі стану I у стан j. При цьому при I = 1 маємо ймовірності переходу, що утворять матрицю P1, тобто pij(1) = pij

Необхідно, знаючи ймовірності переходу pij, знайти pij(n) – імовірності переходу системи зі стану I у стан j за n кроків. Із цією метою будемо розглядати проміжне (між I і j) стан r, тобто будемо вважати, що з первісного стану I за k кроків система перейде в проміжний стан r з імовірністю pir(k), після чого за що залишилися n-k кроків із проміжного стану r вона перейде в кінцевий стан j з імовірністю prj(n-k). Тоді по формулі повної ймовірності

Pij(n) = ∑ pir (k) prj (n-k) – рівність Маркова.

Переконаємося в тім, що, знаючи всі ймовірності переходу pij = pij(1), тобто матрицю P1 переходу зі стану в стан за один крок, можна знайти ймовірність pij(2), тобто матрицю P2 переходи зі стану в стан за два кроки. А знаючи матрицю P2, - знайти матрицю P3 переходи зі стану в стан за три кроки, і т.д.

Дійсно, думаючи n = 2 у формулі Pij(n) = ∑ pir (k) prj (n-k), тобто k=1 (проміжне між кроками стан), одержимо

Pij(2) = ∑ pir(1)prj (2-1) = ∑ pir prj

Отримана рівність означає, що P2 =P1P1 = P21

Думаючи n = 3, k = 2, аналогічно одержимо P3 = P1P2 = P1P12 = P13, а в загальному випадку Pn = P1n

Приклад

Сукупність родин деякого регіону можна розділити на три групи:

родини, що не мають автомобіля й не збираються його купувати;

родини, що не мають автомобіля, але які бажаютьйого придбати;

родини, що мають автомобіль.

Проведене статистичне обстеження показало, що матриця переходу за інтервал в один рік має вигляд:

0,8 0,1 0,1

0 0,7 0,3

0 0 1

(У матриці P1 елемент р31 = 1 означає ймовірність того, що родина, що має автомобіль, також буде його мати, а, наприклад, елемент р23 = 0,3 – імовірність того, що родина, що не мала автомобіля, але намагаються його придбати, здійснить свій намір у наступному році, і т.д.)

Знайти ймовірність того, що:

родина, що не мала автомобіля й не хоче його придбати, буде перебувати в такій же ситуації через два роки;

родина, що не мала автомобіля, але які бажають його придбати, буде мати автомобіль через два роки.

Рішення: знайдемо матрицю переходу Р2 через два роки:

0,8 0,1 0,1 0,8 0,1 0,1 0,64 0,15 0,21

0 0,7 0,3 0 0,7 0,3 0 0,49 0,51

0 0 1 0 0 1 0 0 1

Тобто шукані в прикладі 1) і 2) імовірності рівні відповідно

р11 =0,64, р23 =0,51

Далі розглянемо Марковський випадковий процес із дискретними станами й безперервним часом, у якому, на відміну від розглянутої вище ланцюга Маркова, моменти можливих переходів системи зі стану не фіксовані заздалегідь, а випадкові.

При аналізі випадкових процесів з дискретними станами зручно користуватися геометричною схемою – так званим графіком подій. Звичайно стану системи зображуються прямокутниками (кружками), а можливі переходи зі стану в стан - стрілками (орієнтованими дугами), що з'єднують стану.

Приклад. Побудувати граф станів наступного випадкового процесу: пристрій S складається із двох вузлів, кожний з яких у випадковий момент часу може вийти з ладу, після чого миттєво починається ремонт вузла, що триває заздалегідь невідомий випадковий час.

Рішення. Можливі стани системи: S0 – обидва вузли справні; S1 – перший вузол ремонтується, другий справний; S2 – другий вузол ремонтується, перший справний; S3 – обидва вузли ремонтуються.

Стрілка, напрямку, наприклад, з S0 в S1, означає перехід системи в момент відмова першого вузла, з S1 в S0 – перехід у момент закінчення ремонту цього вузла. На графі відсутні стрілки з S0 в S3 і з S1 в S2. Це пояснюється тим, що виходи вузлів з ладу передбачається незалежними друг від друга й, наприклад, імовірностями одночасного виходу з ладу двох вузлів (перехід з S0 в S3) або одночасне закінчення ремонтів двох вузлів (перехід з S3 в S0) можна зневажити.


Информация о работе «Випадковий процес в математиці»
Раздел: Математика
Количество знаков с пробелами: 28357
Количество таблиц: 0
Количество изображений: 0

Похожие работы

Скачать
19748
0
2

... ії   Метод конденсації полягає в утворенні нерозчинних сполук за допомогою реакцій обміну, гідролізу, відновлення, окислення. Здійснюючи ці реакції в сильно розбавлених розчинах і з деяким надлишком одного з компонентів, дістають не осади, а колоїдні розчини. До конденсаційних методів належить також добування ліозолів за допомогою заміни розчинника. Наприклад, колоїдний розчин каніфолі можна ...

Скачать
66342
16
14

... іжності між емпіричними і теоретичними частотами розподілу не можуть бути випадковими і припущення про близькість емпіричного розподілу до нормального повинна бути спростоване. Розділ 3. Кореляційний аналіз виробництва льоноволокна Одним з найважливіших завдань статистики є вивчення об'єктивно існуючих зв'язків між явищами. При дослідженні таких зв'язків з'ясовуються причинно-наслідкові ві ...

Скачать
111172
0
2

... –2007 навчальний рік) була визначена сфера і проблема дослідження; вивчалася педагогічна, методична література з даної теми; аналізувалася робота вчителів початкових класів у галузі методики розв’язування простих задач, що розкривають конкретний зміст арифметичних дій, шляхом диференційованого навчання; формулювалася гіпотеза та завдання дослідження. В процесі експериментального етапу (2007–2008 ...

Скачать
104386
0
9

... без опану­вання системи понять цієї науки. Це великою мірою сто­сується математики. Найважливішим завданням викладання математики є формування в учнів правильних математичних понять. 1.3. Суттєві і несуттєві властивості понять. Прийоми їх виявлення.   Засвоєння математичних понять відбувається у процесі аналітико – синтетичної діяльності учнів, спрямованої на виявлення істотних загальних ...

0 комментариев


Наверх