Навигация
Марковські випадкові процеси з дискретними станами
28357
знаков
0
таблиц
0
изображений
2. Марковські випадкові процеси з дискретними станами
Випадковий процес, що протікає в деякій системі S з можливими станами S1, S2, S3, …, називається Марковським, або випадковим процесом без наслідку, якщо для будь-якого моменту часу t0 імовірні характеристики процесу в майбутньому (при t>t0) залежить тільки від його стану в цей момент t0 і не залежать від того, коли і як система прийшла в цей стан; тобто не залежать від її поводження в минулому (при t<t0).
Прикладом Марковського процесу: система S – лічильник у таксі. Стан системи в момент t характеризується числом кілометрів (десятих часток кілометрів), пройдених автомобілем до даного моменту. Нехай у момент t0 лічильник показує S0/ Імовірність того, що в момент t>t0 лічильник покаже те або інше число кілометрів (точніше, що відповідає число рублів) S1 залежить від S0, але не залежить від того, у які моменти часу змінилися показання лічильника до моменту t0.
Багато процесів можна приблизно вважати Марковськими. Наприклад, процес гри в шахи; система S – група шахових фігур. Стан системи характеризується числом фігур супротивника, що збереглися на дошці в момент t0. Імовірність того, що в момент t>t0 матеріальна перевага буде на боці одного із супротивників, залежить у першу чергу від того, у якому стані перебуває система в цей момент t0, а не від того, коли й у якій послідовності зникли фігури з дошки до моменту t0.
У ряді випадків передісторією розглянутих процесів можна просто зневажити й застосовувати для їхнього вивчення Марковські моделі.
Марковським випадковим процесом з дискретними станами й дискретним часом (або ланцюгом Маркова) називається Марковський процес, у якому його можливі стани S1, S2, S3, … можна заздалегідь перелічити, а перехід зі стану в стан відбувається миттєво (стрибком), але тільки в певні моменти часу t0, t1, t2, ..., називані кроками процесу.
Позначимо pij – імовірність переходу випадкового процесу (системи S) зі стану I у стан j. Якщо ці ймовірності не залежать від номера кроку процесу, то такий ланцюг Маркова називається однорідної.
Нехай число станів системи звичайно й дорівнює m. Тоді її можна характеризувати матрицею переходу P1, що містить всі ймовірності переходу:
p11 p12 … p1m
p21 p22 … p2m
… … … …
Pm1 pm2 … pmm
Природно, по кожному рядку ∑ pij = 1, I = 1, 2, …, m...
Позначимо pij(n) – імовірністю того, що в результаті n кроків система перейде зі стану I у стан j. При цьому при I = 1 маємо ймовірності переходу, що утворять матрицю P1, тобто pij(1) = pij
Необхідно, знаючи ймовірності переходу pij, знайти pij(n) – імовірності переходу системи зі стану I у стан j за n кроків. Із цією метою будемо розглядати проміжне (між I і j) стан r, тобто будемо вважати, що з первісного стану I за k кроків система перейде в проміжний стан r з імовірністю pir(k), після чого за що залишилися n-k кроків із проміжного стану r вона перейде в кінцевий стан j з імовірністю prj(n-k). Тоді по формулі повної ймовірності
Pij(n) = ∑ pir (k) prj (n-k) – рівність Маркова.
Переконаємося в тім, що, знаючи всі ймовірності переходу pij = pij(1), тобто матрицю P1 переходу зі стану в стан за один крок, можна знайти ймовірність pij(2), тобто матрицю P2 переходи зі стану в стан за два кроки. А знаючи матрицю P2, - знайти матрицю P3 переходи зі стану в стан за три кроки, і т.д.
Дійсно, думаючи n = 2 у формулі Pij(n) = ∑ pir (k) prj (n-k), тобто k=1 (проміжне між кроками стан), одержимо
Pij(2) = ∑ pir(1)prj (2-1) = ∑ pir prj
Отримана рівність означає, що P2 =P1P1 = P21
Думаючи n = 3, k = 2, аналогічно одержимо P3 = P1P2 = P1P12 = P13, а в загальному випадку Pn = P1n
Приклад
Сукупність родин деякого регіону можна розділити на три групи:
родини, що не мають автомобіля й не збираються його купувати;
родини, що не мають автомобіля, але які бажаютьйого придбати;
родини, що мають автомобіль.
Проведене статистичне обстеження показало, що матриця переходу за інтервал в один рік має вигляд:
0,8 0,1 0,1
0 0,7 0,3
0 0 1
(У матриці P1 елемент р31 = 1 означає ймовірність того, що родина, що має автомобіль, також буде його мати, а, наприклад, елемент р23 = 0,3 – імовірність того, що родина, що не мала автомобіля, але намагаються його придбати, здійснить свій намір у наступному році, і т.д.)
Знайти ймовірність того, що:
родина, що не мала автомобіля й не хоче його придбати, буде перебувати в такій же ситуації через два роки;
родина, що не мала автомобіля, але які бажають його придбати, буде мати автомобіль через два роки.
Рішення: знайдемо матрицю переходу Р2 через два роки:
0,8 0,1 0,1 0,8 0,1 0,1 0,64 0,15 0,21
0 0,7 0,3 0 0,7 0,3 0 0,49 0,51
0 0 1 0 0 1 0 0 1
Тобто шукані в прикладі 1) і 2) імовірності рівні відповідно
р11 =0,64, р23 =0,51
Далі розглянемо Марковський випадковий процес із дискретними станами й безперервним часом, у якому, на відміну від розглянутої вище ланцюга Маркова, моменти можливих переходів системи зі стану не фіксовані заздалегідь, а випадкові.
При аналізі випадкових процесів з дискретними станами зручно користуватися геометричною схемою – так званим графіком подій. Звичайно стану системи зображуються прямокутниками (кружками), а можливі переходи зі стану в стан - стрілками (орієнтованими дугами), що з'єднують стану.
Приклад. Побудувати граф станів наступного випадкового процесу: пристрій S складається із двох вузлів, кожний з яких у випадковий момент часу може вийти з ладу, після чого миттєво починається ремонт вузла, що триває заздалегідь невідомий випадковий час.
Рішення. Можливі стани системи: S0 – обидва вузли справні; S1 – перший вузол ремонтується, другий справний; S2 – другий вузол ремонтується, перший справний; S3 – обидва вузли ремонтуються.
Стрілка, напрямку, наприклад, з S0 в S1, означає перехід системи в момент відмова першого вузла, з S1 в S0 – перехід у момент закінчення ремонту цього вузла. На графі відсутні стрілки з S0 в S3 і з S1 в S2. Це пояснюється тим, що виходи вузлів з ладу передбачається незалежними друг від друга й, наприклад, імовірностями одночасного виходу з ладу двох вузлів (перехід з S0 в S3) або одночасне закінчення ремонтів двох вузлів (перехід з S3 в S0) можна зневажити.
Похожие работы
... ії Метод конденсації полягає в утворенні нерозчинних сполук за допомогою реакцій обміну, гідролізу, відновлення, окислення. Здійснюючи ці реакції в сильно розбавлених розчинах і з деяким надлишком одного з компонентів, дістають не осади, а колоїдні розчини. До конденсаційних методів належить також добування ліозолів за допомогою заміни розчинника. Наприклад, колоїдний розчин каніфолі можна ...
... іжності між емпіричними і теоретичними частотами розподілу не можуть бути випадковими і припущення про близькість емпіричного розподілу до нормального повинна бути спростоване. Розділ 3. Кореляційний аналіз виробництва льоноволокна Одним з найважливіших завдань статистики є вивчення об'єктивно існуючих зв'язків між явищами. При дослідженні таких зв'язків з'ясовуються причинно-наслідкові ві ...
... –2007 навчальний рік) була визначена сфера і проблема дослідження; вивчалася педагогічна, методична література з даної теми; аналізувалася робота вчителів початкових класів у галузі методики розв’язування простих задач, що розкривають конкретний зміст арифметичних дій, шляхом диференційованого навчання; формулювалася гіпотеза та завдання дослідження. В процесі експериментального етапу (2007–2008 ...
... без опанування системи понять цієї науки. Це великою мірою стосується математики. Найважливішим завданням викладання математики є формування в учнів правильних математичних понять. 1.3. Суттєві і несуттєві властивості понять. Прийоми їх виявлення. Засвоєння математичних понять відбувається у процесі аналітико – синтетичної діяльності учнів, спрямованої на виявлення істотних загальних ...
0 комментариев