Вторая тройная сумма равна нулю в том и только в том случае, если каждый столбец (порядковый номер посещения) содержит не более одной единицы

2. Вторая тройная сумма равна нулю в том и только в том случае, если каждый столбец (порядковый номер посещения) содержит не более одной единицы.

3. Третья сумма равна нулю в том и только в том случае, если матрица содержит ровно п единиц.

Второе требование - предпочтение коротким маршру­там - удовлетворяется с помощью добавления следующего члена к функции энергии:

(6.10)

Заметим, что этот член представляет собой длину любого допустимого маршрута. Для удобства индексы опре­деляются по модулю п, т.е. OUT_n+j = OUT_j, a D - некото­рая константа. При достаточно больших значениях А, В и С низко­энергетические состояния будут представлять допустимые маршруты, а большие значения D гарантируют, что будет найден короткий маршрут. Теперь зададим значения весов, т.е. установим соответствие между членами в функции энергии и членами общей формы (см. уравнение 6.2)).

Получаем

W_xi,yi = -A_xy (1-_ij) - B_ij (1- _xy ) - C - D_xy(_j,i+1 + _j,i-1)

где _ij = 1, если i = j, в противном случае _ij = 0. Кроме того, каждый нейрон имеет смещающий вес х_i, со­единенный с +1 и равный Сп. В работе [8] сообщается об эксперименте, в кото­ром задача коммивояжера была решена для 10 городов. В этом случае возбуждающая функция была равна

OUT = 1/ 2[1 + th(NET/ u₀)].

Как показали результаты, 16 и 20 прогонов сошлись к допустимому маршруту и около 50% решений оказались крат­чайшими маршрутами, как это было установлено с помощью полного перебора. Этот результат станет более впечатля­ющим, если осознать, что имеется 181440 допустимых маршрутов. Сообщалось, что сходимость решений, полученных по методу Хопфилда для задачи коммивояжера, в сильной степени зависит от коэффициентов, и не имеется система­тического метода определения их значений [II]. В этой работе предложена другая функция энергии с единственным коэффициентом, значение которого легко определяется. В дополнение предложен новый сходящийся алгоритм. Можно ожидать, что новые более совершенные методы будут раз­рабатываться, так как полностью удовлетворительное решение нашло бы массу применений.

ОБСУЖДЕНИЕ

Локальные минимумы

Сеть, выполняющая аналого-цифровое преобразование, всегда находит единственное оптимальное решение. Это обусловлено простой природой поверхности энергии в этой задаче. В задаче коммивояжера поверхность энергии силь­но изрезана, изобилует склонами, долинами и локальными минимумами и нет гарантии, что будет найдено глобальное оптимальное решение и что полученное решение будет допустимым. При этом возникают серьезные вопросы относи­тельно надежности сети и доверия к ее решениям. Эти недостатки сети смягчаются тем обстоятельством, что нахождение глобальных минимумов для NP-полных задач является очень трудной задачей, которая не может быть решена в приемлемое время никаким другим методом. Дру­гие методы значительно более медленны и дают не лучшие результаты.

Скорость

Способность сети быстро производить вычисления является ее главным достоинством. Она обусловлена высо­кой степенью распараллеливания вычислительного процес­са. Если сеть реализована на аналоговой электронике, то решение редко занимает промежуток времени, больший не­скольких постоянных времени сети. Более того, время сходимости слабо зависит от размерности задачи. Это резко контрастирует с более чем экспоненциальным ростом времени решения при использовании обычных подходов. Моделирование с помощью однопроцессорных систем не позволяет использовать преимущества параллельной архите­ктуры, но современные мультипроцессорные системы типа Connection Machine (65536 процессоров!) весьма много­обещающи для решения трудных задач.

Функция энергии

Определение функции энергии сети в зависимости от . задачи не является тривиальным. Существующие решения были получены с помощью изобретательности, математичес­кого опыта и таланта, которые не разбросаны в изобилии. Для некоторых задач существуют систематические методы нахождения весов сети. Эти методы излагаются в гл. 7.

Емкость сети

Актуальным предметом исследований является макси­мальное количество запоминаемой информации, которое может храниться в сети Хопфилда. Так как сеть из N двоичных нейронов может иметь 2ⁿ состояний, то исследо­ватели были удивлены, обнаружив, что максимальная ем­кость памяти оказалась значительно меньшей. Если бы могло запоминаться большое количество информационных единиц, то сеть не стабилизировалась бы на некоторых из них. Более того, она могла бы помнить то, чему ее не учили, т.е. могла стабилизироваться на решении, не являющемся требуемым вектором. Эти свойства ставили в тупик первых исследователей, которые не имели математических методов для предварительной оценки емко­сти памяти сети. Последние исследования пролили свет на эту пробле­му. Например, предполагалось, что максимальное коли­чество запоминаемой информации, которое может хранить­ся в сети из N нейронов и безошибочно извлекаться, меньше чем cN², где с - положительная константа, боль­шая единицы. Хотя этот предел и достигается в некоторых случаях, в общем случае он оказался слишком оптимисти­ческим. В работе [4] было экспериментально показано, что в общем случае предельное значение емкости ближе к 0,15N. В работе [1] было показано, что число таких состояний не может превышать N, что согласуется с на­блюдениями над реальными системами и является наилучшей на сегодняшний день оценкой.

ВЫВОДЫ

Сети с обратными связями являются перспективным объектом для дальнейших исследований. Их динамическое поведение открывает новые интересные возможности и ставит специфические проблемы. Как отмечается в гл. 9, эти возможности и проблемы сохраняются при реализации нейронных сетей в виде оптических систем.

Глава 7 Двунаправленная ассоциативная память

Память человека часто является ассоциативной; один предмет напоминает нам о другом, а этот другой о треть­ем. Если позволить нашим мыслям, они будут перемещаться от предмета к предмету по цепочке умственных ассоци­аций. Кроме того, возможно использование способности к ассоциациям для восстановления забытых образов. Если мы забыли, где оставили свои очки, то пытаемся вспомнить, где видели их в последний раз, с кем разговаривали и что делали. Посредством этого устанавливается конец цепочки ассоциаций, что позволяет нашей памяти соеди­нять ассоциации для получения требуемого образа. Ассоциативная память, рассмотренная в гл. 6, явля­ется, строго говоря, автоассоциативной, это означает, что образ может быть завершен или исправлен, но не может быть ассоциирован с другим образом. Данный факт является результатом одноуровневой структуры ассоциа­тивной памяти, в которой вектор появляется на выходе тех же нейронов, на которые поступает входной вектор. Двунаправленная ассоциативная память (ДАП) являет­ся гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая пра­вильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напоминают процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга. В последних публикациях [9,12] представлено не­сколько форм реализации двунаправленной ассоциативной памяти. Как большинство важных идей, изложенные в этих работах идеи имеют глубокие корни; например, в работе Гроссберга [6] представлены некоторые важные для ДАП концепции. В данной работе ссылки приводятся не с целью разрешения вопроса о приоритете исследовательских работ, а исключительно для освещения их вклада в исследовательскую тематику.

СТРУКТУРА ДАП

Рис. 7.1. Конфигурация двунаправленной ассоциативной памяти.

На рис. 7.1 приведена базовая конфигурация ДАП. Эта конфигурация существенно отличается от используемой в работе [9]. Она выбрана таким образом, чтобы подчерк­нуть сходство с сетями Хопфилда и предусмотреть увели­чения количества слоев. На рис. 7.1 входной вектор А обрабатывается матрицей весов W сети, в результате чего вырабатывается вектор выходных сигналов нейронов В. Вектор В затем обрабатывается транспонированной матри­цей W^t весов сети, которая вырабатывает новые выходные сигналы, представляющие собой новый входной вектор А. Этот процесс повторяется до тех пор, пока сеть не достигнет стабильного состояния, в котором ни вектор А, ни вектор В не изменяются. Заметим, что нейроны в слоях 1 и 2 функционируют, как и в других парадигмах, вычис­ляя сумму взвешенных входов и вычисляя по ней значение функции активации F. Этот процесс может быть выражен следующим образом:

(7.1)

или в векторной форме: B = F( AW ) (7.2)

где В - вектор выходных сигналов нейронов слоя 2, А -вектор выходных сигналов нейронов слоя 1, W - матрица весов связей между слоями 1 и 2, F - функция активации.Аналогично

A = F (BW^t) (7.3)

где W^t является транспозицией матрицы W. Как отмечено в гл. 1, Гроссберг показал преимущес­тва использования сигмоидальной (логистической) функции активации

OUT_i = 1 / ( 1 + e^-NETi)

где OUT_i - выход нейрона i, NET_i - взвешенная сумма входных сигналов нейрона i,  - константа, определяющая степень кривизны. В простейших версиях ДАП значение константы  выбирается большим, в результате чего функция активации приближается к простой пороговой функции. В дальнейших рассуждениях будем предполагать, что используется поро­говая функция активации. Примем также, что существует память внутри каждого нейрона в слоях 1 и 2 и что выходные сигналы нейронов изменяются одновременно с каждым тактом синхронизации, оставаясь постоянными между этими тактами. Таким обра­зом, поведение нейронов может быть описано следующими правилами:

OUT_i(n+1) = 1, если NET_i(n)>0,

OUT_i(n+1) = 0, если NET_i(n)0,

b_i = 0 , если O_iT_i, OUT_i(n+l)=l, если NET_i(n)p. Если это происходит, проводится обучающий цикл, в про­цессе которого модифицируются веса векторов Т_j и В_j, связанных с возбужденным нейроном в слое распознавания.

2. Все запомненные образы проверены, определено, что они не соответствуют входному вектору, и все нейро­ны слоя распознавания заторможены. В этом случае пред­варительно не распределенный нейрон в распознающем слое выделяется этому образу и его весовые векторы В_j и Т_j устанавливаются соответствующими новому входному образу.

Проблема производительности. Описанная сеть должна производить последовательный поиск среди всех запомнен­ных образов. В аналоговых реализациях это будет проис­ходить очень быстро; однако при моделировании на обыч­ных цифровых компьютерах этот процесс может оказаться очень длительным. Если же сеть APT реализуется на па­раллельных процессорах, все свертки на распознающем уровне могут вычисляться одновременно. В этом случае поиск может быть очень быстрым. Время, необходимое для стабилизации сети с лате­ральным торможением, может быть длительным при модели­ровании на последовательных цифровых компьютерах. Чтобы выбрать победителя в процессе латерального торможения, все нейроны в слое должны быть вовлечены в одновремен­ные вычисления и передачу. Это может потребовать прове­дения большого объема вычислений перед достижением сходимости. Латеральные тормозящие сети, аналогичные используемым в неокогнитронах, могут существенно сокра­тить это время (гл. 10).

РЕАЛИЗАЦИЯ APT Обзор

APT, как это можно увидеть из литературы, предста­вляет собой нечто большее, чем философию, но намного менее конкретное, чем программа для компьютера. Это привело к наличию широкого круга реализаций, сохраня­ющих идеи APT, но сильно отличающихся в деталях. Рас­сматриваемая далее реализация основана на работе [5] с определенными изменениями для обеспечения совместимости с работой [2] и моделями, рассмотренными в данной рабо­те. Эта реализация может рассматриваться в качестве типовой, но необходимо иметь в виду, что другие успеш­ные реализации имеют большие отличия от нее.

Функционирование сетей APT

Рассмотрим более детально пять фаз процесса функ­ционирования APT: инициализацию, распознавание, срав­нение, поиск и обучение.

Инициализация. Перед началом процесса обучения се­ти все весовые векторы В_j и Т_j, а также параметр сходства р, должны быть установлены в начальные значения. Веса векторов В_j все инициализируются в одинаковые малые значения. Согласно [2], эти значения должны удов­летворять условию

b_ij r, (8.4)

Похожие работы

Дистанционные взаимодействия в системе отношений человек-человек

Скачать

145786

1

2

... - это та сложная и разная по физическому проявлению полевая структура, которая окружает пространство, примыкающее к телу человека». Признание факта существования биополя (а не признать это невозможно) означает, что живые организмы создают предпосылки для дистанционных взаимодействий между ними. Однако, для того чтобы признать возможность таких взаимодействий, необходимо наличие способности к ...

Рынок военных нейрокомпьютеров

Скачать

15022

0

0

... в связи с необходимостью упорядоченного сообщения с высоким приоритетом при радикальном изменении окружающих условий и двунаправленностью каналов. Возможности вычисления путей маршрутизации можно применять при построении интегральных схем и проектирования кристаллов процессоров. Нейрокомпьютеры с успехом применяются при обработке сейсмических сигналов в военных целях для определения коорди

Парапсихология: сущность и значение

Скачать

27268

0

0

... человеческое внимание устремилось к этой высшей области, которая должна преобразить многие основы жизни. Во времена темного средневековья, наверное, всякие исследования в области парапсихологии кончились бы инквизицией, пытками и костром. Современные нам "инквизиторы" не прочь и сейчас обвинить ученых исследователей или в колдовстве или в сумасшествии. Также мы ...

Самообучающиеся системы

Скачать

38834

4

8

... информацию, находить в ней закономерности, производить прогнозирование и т.д. В этой области приложений самым лучшим образом зарекомендовали себя так называемые нейронные сети – самообучающиеся системы, имитирующие деятельность человеческого мозга. Область науки, занимающаяся построением и исследованием нейронных сетей, находится на стыке нейробиологии, математики, электроники и программирования ...