Знаходимо спряжені змінні за формулами (12) – (13)

5. Знаходимо спряжені змінні за формулами (12) – (13).

Визначаємо наступні наближення до оптимального керування ,

в момент  як розв’язки задачі (15) або (16):

, .

7. Обчислюємо відповідну стратегії  траєкторію

за формулами (4), (6):

, , .

8. Знаходимо наступне наближення цільового функціонала

 за формулою (5).

9. Якщо , то переходимо до п. 10, інакше вважаємо, що

, ,  і переходимо до п. 13.

10. Перевіряємо, чи виконується задана точність обчислень. Якщо

 і ,

то переходимо до п. 13, інакше – до п. 11.

11. Позначаємо

, , .

12. Виконуємо наступний крок ітераційного методу – п. 5.

13. Позначаємо

, ,  – розв’язок, отриманий із кроком розбиття .

1 Якщо крок  не ділився, то переходимо до п. 15, інакше – до п. 1

15. Ділимо крок

. Тоді  і переходимо до п. 2 при .

1 Перевіряємо задану точність. Якщо

 і ,

то переходимо до п. 18, інакше переходимо до п. 17.

17. Позначаємо

, , , , і переходимо до п. 15 – наступного кроку подвійного перерахування.

18. , ,  – розв’язок задачі.

Кінець алгоритму.

3. Оптимальне стохастичне керування: формулювання із зовнішнім інтегралом

Розглянемо відображення , що задане формулою

, (17)

за таких припущень:

 параметр  приймає значення з вимірного простору . Для будь-якої фіксованої пари  задана ймовірнісна міра  на просторі , а символ  у формулі (12) означає зовнішній інтеграл відносно цієї міри. Отже,

;

 функції  і  відображують множину  відповідно в множини  і , тобто , ;

 скаляр  додатний.

Формули (1), (6) є окремими випадками відображення  з (12). Очевидно, що відображення (1) для детермінованої задачі випливає з (12), якщо множина  складається з єдиного елемента, а відображення (6) (для стохастичної задачі зі зліченним простором збурень) відповідає випадку, коли множина  зліченна, а  є -алгеброю, складеною із всіх підмножин .

Очевидно, що відображення  з (12) задовольняє припущенню монотонності. Якщо на множини ,  і функції ,  і  накласти вимоги вимірності, то витрати за  кроків  можна визначити в термінах звичайного інтегрування для будь-якої стратегії , для якої функції ,  вимірні.

Для початкового стану  і стратегії  ймовірнісні міри

, ...,

у сукупності із системою рівнянь

, (18)

визначають єдину міру  на -кратному прямому добутку  копій простору . У випадку, якщо , , і виконується одна з умов

 або

,

то функція витрат за  кроків, що відповідає вимірній стратегії , приводиться до звичайного вигляду
,

де стани ,  виражено як функції змінних , ...,  за допомогою рівнянь (13) та початкового стану .

Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:

, ,

де  – щільність розподілу величини .

4 Оптимальне стохастичне керування: мультиплікативний функціонал витрат

Розглянемо відображення , що задане формулою

, (19)

за припущення, що параметр  приймає значення зі зліченної множини  відповідно до заданого розподілу ймовірностей, що залежать від стану  і керування . Вважатимемо також, що , , , . Тоді відображення  з формули (14) задовольняє припущенню монотонності.

Якщо , , то задача оптимального керування з мультиплікативним функціоналом витрат і скінченним горизонтом  матиме такий вигляд:

, (20)

. (21)

а відповідна задача з нескінченним горизонтом:

, (22)

. (23)

Границя в (23) існує, якщо :  або .

Самостійний інтерес становить задача з експоненціальною функцією витрат

,

,

де .

Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:

, ,

де  – щільність розподілу величини .

5. Мінімаксне керування

Розглянемо задачу керування системою, у якій некерованими впливами є стратегії супротивника (або явища природи) , , що обираються залежно від поточного стану  і керування . Вважатимемо, що припустимі стратегії супротивника приймають значення із множини , . Будемо обчислювати стратегію керування , орієнтуючись на найгіршу поведінку супротивника. Розглянемо відображення , задане формулою

,

за таких припущень:

 параметр  приймає значення з деякої множини , а  – непуста підмножина  при будь-яких , ;

 функції  і  відображують множину  в множини  та  відповідно, тобто , ;

 скаляр  додатний.

За таких умов припущення про монотонність для відображення  має місце. Якщо при цьому ,  і  для всіх , , , то відповідну -крокову задачу мінімаксного керування можна сформулювати так:

, (17)

. (18)

Задача з нескінченним горизонтом формулюється аналогічно:

, (24)

. (25)

Границя у співвідношенні (25) існує при виконанні будь-якої з умов:

·  , , , ;

·  , , , ;

·  , , , ,  і деякого .

Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:

, ,

,

.