Применение Байесовых сетей

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

ВОЛГОГРАДСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ

УНИВЕРСИТЕТ

КАФЕДРА САПР и ПК

Применение Байесовых сетей.

ПО КУРСУ «МОДЕЛИРОВАНИЕ»

Выполнил слушатель

группы ИВТ-363

Ефанов П.А.

Проверил

Кузнецов В.В.

Волгоград 2006

Содержание.

Содержание. 2

Введение. 3

Основные понятия и определения. 5

Законы теории вероятностей. 5

Законы сложения вероятностей. 6

Условные вероятности. 6

Формула Байеса. 7

Введение в байесовские сети доверия. 7

Моделирование в условиях неопределенности. 8

Экспертные системы и формальная логика. 8

Особенности вывода суждений в условиях неопределенности. 9

Определение d-разделимости. 11

Использование Байесовых сетей. 13

Вероятности прогнозируемых значений отдельных переменных. 13

Пример построения простейшей байесовской сети доверия. 13

Расчет в байесовской сети. 15

Байесовские сети доверия как одно из направлений современных экспертных систем. 16

Представление знаний с использованием байесовской сети доверия и условная независимость событий. 16

Замечание о субъективных вероятностях и ожидания. 17

Синтез сети на основе априорной информации. 18

Пример использования Байесовых сетей. 19

Медицина. 19

Космические и военные применения. 19

Компьютеры и системное программное обеспечение. 19

Обработка изображений и видео. 19

Финансы и экономика. 20

Описание прикладных программ.. 21

AUAI — Ассоциация анализа неопределенности в искусственном интеллекте. 21

NETICA.. 21

Knowledge Industries. 22

Data Digest Corporation. 22

BayesWare, Ltd. 22

HUGIN Expert 22

Выводы.. 24

Список используемой литературы. 25

Введение

Байесовы сети представляют собой графовые модели вероятностных и причинно-следственных отношений между переменными в статистическом информационном моделировании. В байесовых сетях могут органически сочетаться эмпирические частоты появления различных значений перемен­ных, субъективные оценки «ожиданий» и теоретические представления о математических вероятностях тех или иных следствий из априорной ин­формации. Это является важным практическим преимуществом и отличает байесовы сети от других методик информационного моделирования.

Наблюдаемые события редко могут быть описаны как прямые следствия строго детерминированных причин. На практике широко применяется ве­роятностное описание явлений. Обоснований тому несколько: и наличие неустранимых погрешностей в процессе экспериментирования и наблю­дений, и невозможность полного описания структурных сложностей изу­чаемой системы, и неопределенности вследствие конечности объема наблюдений.

На пути вероятностного моделирования встречаются определенные слож­ности, которые (если отвлечься от чисто теоретических проблем) можно условно разделить на две группы:

•  технические (вычислительная сложность, «комбинаторные взрывы» и т.п.);

•  идейные (наличие неопределенности, сложности при постановке за­дачи в терминах вероятностей, недостаточность статистического ма­териала).

Для иллюстрации одной из «идейных» сложностей рассмотрим простой пример из области вероятностного прогнозирования. Требуется оценить вероятность положительного исхода в каждой из трех ситуаций:

•  Знатная леди утверждает, что она может отличить на вкус, был ли чай налит в сливки или наоборот — сливки в чай. Ей удалось это проделать 10 раз в течение бала.

•  Азартный игрок утверждает, что он может предсказать, орлом или решкой выпадет монета (которую вы ему дадите). Он смог выиграть такое пари уже 10 раз за этот вечер, ни разу не проиграв!

•  Эксперт в классической музыке заявляет, что он в состоянии разли­чить творения Гайдна и Моцарта лишь по одной странице партитуры. Он уверенно проделал это 10 раз в музыкальной библиотеке.

Удивительная особенность — во всех трех случаях мы формально име­ем одинаковые экспериментальные свидетельства в пользу высказанных утверждений — в каждом случае они достоверно подтверждены 10 раз. Од­нако мы с восхищением и удивлением отнесемся к способностям леди, весьма скептически воспримем заявления бравого игрока, и совершенно естественно согласимся с доводами музыкального эксперта. Наши субъ­ективные оценки вероятности этих трех ситуаций весьма отличаются. И, несмотря на то, что мы имеем дело с повторяющимися событиями, весьма непросто совместить их с классическими положениями теории вероятно­стей.

Особенно затруднительно получить формулировку, понятную вычисли­тельной машине.

Другая сторона идейных трудностей возникает при практической необ­ходимости вероятностного прогнозирования событий, к которым не вполне применимы классические представления о статистической повторяемости. Представим себе серию экспериментов с бросанием кубика, сделанного из сахара, на влажную поверхность стола. Вероятности исходов последу­ющих испытаний зависят от относительной частоты исходов предыдущих испытаний, при этом исследуемая система каждый раз необратимо изменя­ется в результате каждого эксперимента. Этим свойством обладают многие биологические и социальные системы, что делает их вероятностное моде­лирование классическими методами крайне проблематичным.

Часть из указанных проблем решается в вероятностных байесовых се­тях, которые представляют собой графовые модели причинно-следствен­ных отношений между случайными переменными. В байесовых сетях мо­гут органически сочетаться эмпирические частоты появления различных значений переменных, субъективные оценки «ожиданий» и теоретические представления о математических вероятностях тех или иных следствий из априорной информации. Это является важным практическим преиму­ществом и отличает байесовы сети от других методик информационного моделирования.

Байесовы сети широко применяются в таких областях, как медицина, стратегическое планирование, финансы и экономика.

Основные понятия и определения Законы теории вероятностей.

Понятие вероятности ассоциируется с проведением эксперимента, результаты которого, именуемые исходами, изменяются случайным образом. Множество всех возможных исходов эксперимента называется пространством элементарных событий, а любое подмножество этого пространства – событием.

Эксперимент может быть связан также с непрерывным пространством событий.

Если в эксперименте, состоящем из n опытов, событие Е имело место m раз, то вероятность P{E} появления события Е математически определяется соотношением

Приведенное определение означает, что если эксперимент повторяется бесконечное число раз, то, искомая вероятность представляется граничным значение дроби m/n.

По определению , где вероятность P{E} равна 0, если событие E невозможно, и 1, если оно достоверно.

Законы сложения вероятностей.

Для двух событий E и F запись E+F означает их объединение, а EF – пересечение. События E и F называются несовместными (взаимно исключающими), если они не пересекаются, т.е. наступление одного события исключает возможность реализации другого. При принятых определениях закон сложения вероятностей определяется соотношением

Первая строка системы в случае несовместности E и F, вторая - иначе.

Вероятность того, что события E и F произойдут одновременно, обозначается как P{EF}. Если эти события независимы, тогда

Условные вероятности.

Для двух события E и F условная вероятность события E при условии, что наступило событие F, обозначается как P{E|F} и определяется по формуле

Если событие E содержится в событии F (т.е. множество исходов E является подмножеством исходов F), тогда

Два события E и F являются независимыми тогда и только тогда, когда выполняется равенство P{E|F}=P{E}. В этом случае формула условной вероятности сводится к следующему

Теорема умножения, если соответствующие условные вероятности определены

Теорема умножения для большого числа событий, если соответствующие условные вероятности определены

Формула полной вероятности для группы несовместных событий Bi

Формула Байеса.

Пусть A_i – полная группа несовместных событий, тогда формула Байеса (формула перерасчета гипотез) и B некоторое событие положительной вероятности

Доказательство следует из теоремы умножения и формулы полной вероятности.

Введение в байесовские сети доверия.

Байесовские сети доверия – Bayesian Belief Network – используются в тех областях, которые характеризуются наследованной неопределённостью. Эта неопределённость может возникать вследствие:

неполного понимания предметной области; неполных знаний; когда задача характеризуется случайностью.

Таким образом, байесовские сети доверия (БСД) применяют для моделирования ситуаций, содержащих неопределённость в некотором смысле. Для байесовских сетей доверия иногда используется ещё одно название причинно-следственная сеть, в которых случайные события соединены причинно-следственными связями.

Соединения методом причин и следствий позволяют более просто оценивать вероятности событий. В реальном мире оценивание наиболее часто делается в направлении от “наблюдателя” к “наблюдению”, или от “эффекта” к “следствию”, которое в общем случае более сложно оценить, чем направление “следствие –> эффект”, то есть в направлении от следствии.

Рис.1. Пример простейшей байесовской сети доверия.

Рассмотрим пример сети (рис.1), в которой вероятность пребывания вершины «e» в различных состояниях (ek) зависит от состояний (ci , dj) вершин «c» и «d» и определяется выражением:

где p(ek|ci, dj) – вероятность пребывания в состоянии ek в зависимости от состояний ci, dj. Так как события, представленные вершинами «c» и «d» независимы, то

p(ek |ci , dj) = p(ci) *p(dj).

Рис.2. Двухуровневая БСД.

Рассмотрим пример более сложной сети (рис.2). Данный рисунок иллюстрирует условную независимость событий. Для оценки вершин «c» и «d» используются те же выражения, что и для вычисления p(e_k), тогда:

,

.

Из этих выражений видно, что вершина «e» условно не зависит от вершин A1, A2, B1, B2, так как нет стрелок непосредственно соединяющих эти вершины.

Рассмотрев эти примеры попробуем теперь более точно определить основные понятия, используемые в БСД. Байесовские сети доверия — это направленный ациклический граф, обладающий следующими свойствами:

каждая вершина представляет собой событие, описываемое случайной величиной, которая может иметь несколько состояний; все вершины, связанные с “родительскими” определяются таблицей условных вероятностей (ТУВ) или функцией условных вероятностей (ФУВ); для вершин без “родителей” вероятности её состояний являются безусловными ( маргинальными).

Другими словами, в байесовских сетях доверия вершины представляют собой случайные переменные, а дуги – вероятностные зависимости, которые определяются через таблицы условных вероятностей. Таблица условных вероятностей каждой вершины содержит вероятности состояний этой вершины при условии состояний её “родителей”.

Моделирование в условиях неопределенности Экспертные системы и формальная логика

Попробуем проследить за способом работы эксперта в некоторой опре­деленной области. Примерами экспертов являются врач, проводящий об­следование, финансист, изучающий условия предоставления ссуды, либо пилот, управляющий самолетом.

Действия эксперта могут условно быть представлены в виде повторя­ющейся последовательности из трех этапов:

1.         получение информации о состоянии окружающего мира;

2.         принятие решения относительно выбора некоторых действий, по по­воду которых у эксперта имеются определенные ожидания послед­ствий;

3.         приобретение опыта путем сопоставления результатов действий и ожиданий и возврат к первому этапу.

Приобретенный новый опыт и информация о мире позволяют эксперту сообразно действовать в будущем. Попытки компьютерного моделирования действий эксперта привели в конце 60-х годов к появлению экспертных систем (ЭС) , которые ча­ще всего основывались на продукционных правилах типа «ЕСЛИ условие, ТО факт или действие». Будущее подобных систем связывалось при этом с заменой экспертов их моделями. Однако после первых успехов обнажи­лись проблемы, и первой среди них — серьезные затруднения при попытках работы с нечеткой, недоопределенной информацией.

Следующие поколения ЭС претерпели кардинальные изменения:

1.         вместо моделирования эксперта моделируется предметная область;

2.         вместо попыток учета неопределенности в правилах — использование классической теории вероятностей и теории принятия решений;

3.         вместо попыток замены эксперта — оказание ему помощи.

 

В конце 80-х годов были предложены обобщения ЭС в виде байесовых сетей, и была показана практическая возможность вычислений вероят­ностных выводов даже для сетей больших размеров. Вернемся к трехэтапному описанию профессиональных действий экс­перта. Сейчас нас будет интересовать вопрос, как наблюдения эксперта, т. е. получение им информации о внешнем мире, изменяют его ожидания по поводу ненаблюдаемых событий?

Особенности вывода суждений в условиях неопределенности

Суть приобретаемого знания в условиях неопределенности состоит в пони­мании, влияет ли полученная информация на наши ожидания относительно других событий. Основная причина трудностей при использовании систем, основанных на правилах, состоит в учете «сторонних», «косвенных» по­следствий наблюдаемых событий. Проиллюстрируем это на уже успевшем стать классическим примере.

Шерлок Холмс вышел из дома утром и заметил, что трава вокруг влаж­ная. Он рассудил: «Я думаю, что ночью был дождь. Следовательно, тра­ва возле дома моего соседа, доктора Ватсона, вероятно, также влажная». Таким образом, информация о состоянии травы у дома Холмса повлия­ла на его ожидания относительно влажности травы у дома Ватсона. Но предположим, что Холмс проверил состояние сборника дождевой воды и обнаружил, что тот - сухой. В результате Холмс вынужден изменить ход своих рассуждений, и состояние травы возле его дома перестает влиять на ожидания по поводу травы у соседа.

Теперь рассмотрим две возможные причины, почему трава у дома Холмса оказалась влажной. Помимо дождя, Холмс мог просто забыть вы­ключить поливальную установку накануне. Допустим, на следующее утро Холмс снова обнаруживает, что трава влажная. Это повышает его субъек­тивные вероятности и для прошедшего дождя, и по поводу забытой дожде­вальной установки. Затем Холмс обнаруживает, что трава у дома Ватсона также влажная и заключает, что ночью был дождь.

Следующий шаг рассуждений практически невозможно воспроизвести в системах, основанных на правилах, однако он абсолютно естественен для человека: влажность травы у дома Ватсона объясняется дождем, и следовательно нет оснований продолжать ожидать, что была забыта включенной поливальная машина. Следовательно, возросшая, было, субъективная вероятность относительно забытой поливальной машины умень­шается до (практически) исходного значения, имевшего место до выхода Холмса из дома. Такой способ рассуждения можно назвать «попутное объ­яснение», «контекстное объяснение» или «редукция причины» (explaining away).

Важная особенность «попутного объяснения» состоит в изменении от­ношений зависимости между событиями по мере поступления информа­ции. До выхода из дома Холмса факты дождя и работы поливальной уста­новки были независимы. После получения информации о траве у дома они стали зависимыми. Далее, когда появилась информации о влажности травы у дома Ватсона, состояние зависимости вновь изменилось.

Эту ситуацию удобно описать при помощи графа, узлы которого пред­ставляют события (или переменные), а пара узлов (A, B) связывается на­правленным ребром, если информация об A может служить причиной для B. В этом случае узел A будет родителем для B, который, в свою очередь, называется узлом-потомком по отношению к A.

История с травой у Холмса и Ватсона представлена на рис. 1.

Рисунок 1 Граф рассуждений Шерлока Холмса

Граф на рис. 1 может быть отнесен к семейству байесовых сетей. В дан­ном примере переменные в узлах могут принимать только булевы значения 1 или 0 (да/нет). Из графа на рис. 1 можно сделать несколько полезных выводов о зависимости и независимости переменных. В традиционной постановке байесовы сети не предназначены для оперирования с непрерывным набором состояний (например, с действительным числом на заданном отрез­ке). Для представления действительных чисел в некоторых приложениях можно провести разбиение отрезка на сегменты и рассматривать дискретный набор их центров.

Например, если известно, что ночью не было дождя, то информация о состоянии травы у дома Ватсона не оказывает влияния на ожидания по поводу состояния травы у дома Холмса.

В середине 80-х годов были подробно проанализированы способы, ко­торыми влияние информации распространяется между переменными в байесовой сети. Будем считать, что две переменные разделены, если но­вые сведения о значении одной из них не оказывают влияния на ожидания по поводу другой. Если состояние переменной известно, мы будем назы­вать такую переменную конкретизированной.

В байесовой сети возможны три типа отношений между переменными:

1.         последовательные соединения (рис. 2a);

2.         дивергентные соединения (рис. 2b),;

3.         конвергентные соединения (рис. 2c).

Ситуация на рис. 2c требует, по-видимому, дополнительных поясне­ний—как возникает зависимость между предками конвергентного узла, когда становится известным значение потомка. Для простоты рассмот­рим пример, когда узел A имеет всего двух предков –B и C. Пусть эти две переменные отвечают за выпадение орла и решки при независимом броса­нии двух разных монет, а переменная A — логический индикатор, который «загорается», когда обе монеты оказались в одинаковом состоянии (напри­мер, обе - решки). Теперь легко понять, что если значение индикаторной переменной стало известным, то значения B и C стали зависимыми — знание одного из них полностью определяет оставшееся.

Общее свойство (условной) независимости переменных — узлов в бай­есовой сети получило название d-разделения (d-separation).

Определение d-разделимости

Две переменные A и B в байесовой сети являются d-разделенными, если на каждом пути, соединяющем эти две вершины на графе, найдется промежуточная переменная V, такая что: