Обзор программных средств, реализующих алгоритмы нейровычислений для решения задач прогнозирования

5.2 Обзор программных средств, реализующих алгоритмы нейровычислений для решения задач прогнозирования

Сегодня разработано большое количество программных продуктов, пригодных для применения там, где возникает необходимость использования технологии нейровычислений. Существуют универсальные нейросетевые пакеты, предназначенные для решения любых задач, которые можно решить при помощи нейронных сетей, от распознавания речи и образов до решения задач прогнозирования, но, как показывает практика, такие программные продукты не всегда удобны для решения задач прогнозирования временных рядов. Существует класс нейросетевых программных продуктов, предназначенных исключительно для решения задач прогнозирования временных рядов. Наиболее популярные сегодня следующие программные продукты, реализующие нейросетевые подходы к решению задач прогнозирования.

1. Matlab – настольная лаборатория для математических вычислений, проектирования электрических схем и моделирования сложных систем. Имеет встроенный язык программирования и весьма богатый инструментарий для нейронных сетей – Anfis Editor (обучение, создание, тренировка и графический интерфейс), командный интерфейс для программного задания сетей, nnTool – для более тонкой конфигурации сети.

2. Statistica – мощнейшее обеспечение для анализа данных и поиска статистических закономерностей. В данном пакете работа с нейросетями представлена в модуле STATISTICA Neural Networks (сокращенно, ST Neural Networks, нейронно-сетевой пакет фирмы StatSoft), представляющий собой реализацию всего набора нейросетевых методов анализа данных.

3. BrainMaker – предназначен для решения задач, для которых пока не найдены формальные методы и алгоритмы, а входные данные неполны, зашумлены и противоречивы. К таким задачам относятся биржевые и финансовые предсказания, моделирование кризисных ситуаций, распознавание образов и многие другие.

4. NeuroShell Day Trader - нейросетевая система, которая учитывает специфические нужды трейдеров и достаточно легка в использовании. Программа является узкоспециализированной и как раз подходит для торговли, но по своей сути слишком близка к черному ящику.

5. Остальные программы являются менее распространенными.

В данной исследовательской работе для решения задачи прогнозирования с помощью нейронных сетей был применен пакет Statistica.

5.3 Исходные данные для решения поставленной задачи

Хотя нейросетевые модели являются весьма эффективными в задачах оценки, их построение связано с двумя группами проблем, которые необходимо учитывать при предобработке данных. Во-первых, в отличие от ряда развитых стран (например, США, за исключением нескольких штатов), в Украине отсутствует система обязательного публичного раскрытия информации о сделках с недвижимостью, при которой сумма сделки и основные характеристики помещения, подлежащего продаже или сдаче в аренду, предоставляются в форме анкеты в соответствующие органы и агрегируются на открытых веб-сайтах. В связи с этим информация о сделках с недвижимостью крайне ограничена и не вполне достоверна.

Для решения этой проблемы были применены несколько методов, что позволило существенно повысить качество исходных данных. Семантические анализаторы, основанные на регулярных выражениях, применялись для анализа текстов объявлений и выявления в них максимума информации, заданной в неформализованном текстовом виде. Набор решающих правил позволил исключить заведомо абсурдные анкеты, содержащие неправдоподобное сочетание признаков объекта недвижимости. Матрицы граничных значений, составленные на основе эмпирических данных рынка недвижимости и статистического анализа выбросов, позволили отсечь объявления с заведомо недостоверной ценовой информацией.

Во-вторых, классические приёмы математического моделирования экономических процессов лучше всего работают в случае, когда все зависимые факторы являются количественными. В задаче определения цены объекта недвижимости факторное пространство устроено значительно сложнее. Большинство ценообразующих факторов являются неупорядоченными (например, престижность района) или упорядоченными категориями (близость к реке: район граничит с рекой или нет). Важную роль играет также расположение объекта – географический фактор, кодирование которого представляет собой нетривиальную задачу. Простое использование географических координат не является решением проблемы, т.к. координаты – не ценообразующие факторы.

Первичный набор факторов, определявшийся экспертным путём с учётом наличия достаточного количества информации в основных риэлтерских базах, составил:

– выходная переменная: цена продажи объекта недвижимости;

– количественные факторы: общая площадь помещения (кв.м.);

– географические факторы: расположение объекта.

Количественные факторы (с учётом преобразований) используются в модели в неизменном виде.

Преимущество нейронных сетей перед моделями множественной регрессии состоит в том, что нет необходимости преобразовывать упорядоченные категории в набор бинарных переменных, теряя порядок значений, обусловленный экономическими причинами. Т.к. зависимости в нейронных сетях нелинейны, достаточно указать произвольные числовые значения, монотонно связанные с уровнями фактора, например, последовательные целочисленные значения или усреднённые значения цены в разрезе соответствующих категорий.

Статистические данные цен продаж, индексы стоимости жилья города Киева, а также основная первичная информация была предоставлена агентством недвижимости «Планета Оболонь».

Данные о ценах продаж квартир на вторичном рынке Киева приведены в таблице 5.1. Анализируя их, необходимо учитывать, что статистика цен продаж построена на основе ограниченного количества сделок.

Таблица 5.1 – Статистические данные цен реальных продаж в первом квартале 2010 года

К некоторым из факторов были применены соответствующие функциональные преобразования. Цены и площади помещения были прологарифмированы. Все факторы были нормированы путём вычитания минимального значения и деления на размах вариации.

Для наглядности ниже приведена (таблица 5.2) реальная выборка, содержащая 13 входных параметров, которые необходимо использовать для построения прогностической системы оценки стоимости жилья в Киеве. Выборка составила суммарно 496 наблюдения. Она была случайно разделена на обучающую (80%), валидационную (10%) и тестовую (10%).

Таблица 5.2 – Входные данные, построенные по индексам «Планеты Оболонь»

При этом формируя выборку определенного размера, можно всегда скорректировать количество входных и выходных данных (взять меньше чем присутствует в таблице, таким образом оставшиеся наборы просто не будут участвовать в обучении). Т.е. выборка не будет терпеть каких- либо изменений что упростит работу при моделировании.

Пример прогнозирования оценки рыночной стоимости недвижимости. Исследования проводились на основе модели сети с разными архитектурами (РБФ и МП) и были выбраны наилучшие сети по ряду характеристик. Целью проводимых экспериментов было построение нейросетевой прогностической системы с наименьшей ошибкой тестирования. Для достижения данной цели было проведено исследование влияния представления исторических и прогнозируемых данных на ошибку прогнозирования. Также были рассмотрены вопросы влияния структуры нейронной сети на скорость обучения и ошибку прогнозирования.

5.4 Результаты моделирования

Каждый из экспериментов состоял из несколько этапов:

1. Формирование обучающей выборки. На этом этапе определялся вид представления исторических и прогнозируемых данных, осуществлялось формирование блока представительских (обучающих) выборок.

2. Обучение нейронной сети с использованием сформированного на первом этапе блока обучающих выборок. Качество обучения характеризовалось ошибкой обучения, определяемой как суммарное квадратичное отклонение значений на выходах нейронной сети в обучающей выборке от реальных значений, полученных на выходах нейронной сети. Критерий прекращения обучения – 600 итераций или уменьшение ошибки на выходах сети на два порядка, по сравнению с первичной ошибкой. В том случае, если при описании опыта не указано, что произошло снижение ошибки на два порядка, обучение останавливается по первому критерию.

3. Третий этап – тестирование нейронной сети. Определяется качество прогнозирования при подаче на вход 4,0-5,0 % наборов из обучающей выборки. Эксперимент является успешным, если относительная достоверность не менее 80,0 %.

4. На четвертом этапе осуществляется пробное прогнозирование. На входе нейронной сети – наборы, которые не были внесены в обучающую выборку, но результат по которым (прогноз) известен.

Полученные результаты приведены ниже (рисунок 6.1, таблица 6.3).

Рисунок 5.1 – Результат прогнозирования

Таблица 5.3 – Результаты поиска оптимальных нейросетевых структур при проведении исследования

Таблица 5.4 – Результаты прогноза пяти наилучших сетей

В результате получили 5 обученных сетей с определенной архитектурой (таблица 5.3) которые могут прогнозировать оценку рыночной стоимости недвижимости (рисунок 5.1) при 13-ти входах исключительно по историческим данным изменения стоимости. Как видим, коэффициент корреляции примерно одинаков для всех пяти сетей, что говорит о малой точности прогноза. По результатам опыта можно сказать, что все сети справились с поставленной задачей одинаково. Однако на некоторых значениях выхода радиально-базисная сеть имеет значительные отклонения от ожидаемого значения.

Таблица 5.5 - Ошибки регрессии исходного ряда и ряда, построенного выбранной сетью

ВЫВОДЫ

Искусственные нейронные сети получили наибольшее распространение в области прогнозирования динамических показателей, они успешно применяются для решения целых классов экономических задач. Вместе с тем, для многих областей изучение возможностей применения ИНС находится в экспериментальной стадии. Нейросетевые технологии не должны рассматриваться как универсальное средство решения всех интеллектуальных задач. Их применение оправдано в тех областях, в которых существует значительное число однотипных примеров, отражающих скрытые взаимосвязи.

Нейросетевые технологии в отличие от экспертных систем предназначены для решения плохо формализованных задач. Такого рода технологии используются для распознавания каких-либо событий или предметов. С их помощью можно воспроизвести многочисленные связи между множеством объектов. Принципиальное отличие искусственных нейросетей от обычных программных систем, например экспертных, состоит в том, что они не требуют программирования. Они сами настраиваются, т.е. обучаются тому, что требуется пользователю.

В данной работе также были рассмотрены подходы к выбору метода прогнозирования стоимости жилой недвижимости. С учётом большого количества ценообразующих факторов, их сложной структуры, а также нелинейной зависимости между ценами и влияющими факторами, в качестве метода моделирования были выбраны нейронные сети. Настройка моделей на основе базы данных по сделкам с недвижимостью показала, что наилучшее качество показывает обобщённо-регрессионная нейронная сеть (GRNN). Этот результат согласуется с выводами работы, в которой проводится сравнение различных моделей для прогнозирования обменных курсов валют.

Среднеквадратическая относительная ошибка прогноза по модели составляет 20% - это типичная точность для моделей массовой оценки. Построенная модель позволяет повысить эффективность управления комплексами недвижимости в масштабах города или крупной корпорации и сделать этот механизм более прозрачным.

В то же время, существует ряд направлений совершенствования модели, прикладную ценность которых предстоит изучить в дальнейшем. Среди них можно выделить:

• включение в модель временного фактора для учёта и прогнозирования трендов на рынке недвижимости;

• точную географическую привязку объекта оценки путём включения в модель географических координат объекта в некоторой (например, полярной) системе;

• разработку механизма интерпретации результатов и определения основных аналогов, повлиявших на результат оценки, при использовании сети МП;

• поиск оптимального комбинирования сетей МП и РБФ в целях снижения общей погрешности;

• обобщение результатов на другие города Украины с учётом их особенностей и создание единой системы массовой оценки недвижимости в масштабах страны. При одновременном внедрении обязательного публичного раскрытия информации о сделках по аренде и продаже, это позволит перейти к налогу на недвижимость с его рыночной стоимости.

ПЕРЕЧЕНЬ ССЫЛОК

1.  Державний стандарт України ДСТУ 3008-95. Документація. Звіти у сфері науки і техніки. Структура і правила оформлення. – К.: Держстандарт України, 1995.

2.  Руденко О.Г., Бодянский Е.В. Искусственные нейронные сети: Учебное пособие. – Харьков: ООО «Компания СМИТ», 2005. – 408 с.

3.  Бирман Э.Г. Сравнительный анализ методов прогнозирования //НТИ. Сер.2 – 1986. – №1. – С. 11–16.

4.  Владимирова Л.П. Прогнозирование и планирование в условиях рынка: Учебное пособие. – М.: Издательский дом «Дашкови К», 2000. – 308 с.

5.  Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. Пособие для вузов. – М.: ИПРЖР, 2001. – 385 с.

6.  Горбань А.Н. Обучение нейронных сетей. – М.:СП“ПараГраф”,1990. – 159 с.

7.  Заенцев И.В. Нейронные сети: основные модели/Учебное пособие к курсу «Нейронные сети» – Воронеж: ВГУ, 1999. – 76 с.

8.  Оценка недвижимости: Учебник / под ред. А.Г. Грязновой, М.А. Федотовой. – М., “Финансы и статистика”, 2002.

9.  Оценка рыночной стоимости недвижимости, под общей редакцией Зарубина В.Н и Рутгайзера В.М., М.: Дело, 1998.

10.  «Экономика недвижимости» под редакцией Ресина В.И. М., 1999 г.

11.  «Экономика и управление недвижимостью» под общ. ред. П.Г. Грабового, М.: «АСВ» 1999.

12.  Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная обработка данных. – М.: Финансы и статистика, 1983. – 471 с.

13.  http://ru.wikipedia.org

14.  Крамер Г. Математические методы статистики. – М.: Мир, 1975.

15.  Бодянский Е.В., Кучеренко Е.И. Диагностика и прогнозирование временных рядов многослойной радиально-базисной нейронной сети //Труды VIII Всероссийской конференции «Нейрокомпьютеры и их применение»: Сб. докл., 2002. – С. 69–72.

16.  Болн Б., Хуань К.Дж. Многомерные статистические методы для экономики. М.: Наука, 1979. – 348 с.

17.  Голованова Н.Б., Кривов Ю.Г. Методические вопросы использования межотраслевого баланса в прогнозных расчетах//Взаимосвязи НТП и экономического развития: Сб. науч. тр./АН СССР. СО, ИЭиОПП. – Новосибирск, 1987. –С. 62–77.

18.  Головко В.А. Нейронные сети: обучение, организация и применение. Кн.4: Учеб. пособие для вузов/Общая ред. А.И. Галушкина. – М.: ИПРЖР, 2001. – 256 с.

19.  Мриль Н.В. Решение задачи финансового прогнозирования на основе нейронных сетей. // 14-й международный молодежный форум "Радиоэлектроника и молодежь в XXI веке". Сб. материалов форума. – Харьков. ХНУРЕ. – c.108.

Похожие работы

Искусственные нейронные сети

Скачать

60598

0

10

... . Если же задача не может быть сведена ни к одному из известных классов, разработчику приходится решать задачу синтеза новой конфигурации. Проблема синтеза искусственной нейронной сети сильно зависит от задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант искусственной нейронной сети получается опытным путем. Искусственные нейронные сети могут быть ...

Функционирование рынка ценных бумаг в условиях нестабильной экономики России

Скачать

185716

7

6

... важной составной частью как денежного рынка, так и рынка капиталов, которые в совокупности составляют финансовый рынок. Цель функционирования рынка ценных бумаг -как и всех финансовых рынков - состоит в том, чтобы обеспечивать наличие механизма для привлечения инвестиций в экономику путем установления необходимых контактов между теми, кто нуждается в средствах, и теми, кто хотел бы инвестировать ...

Информационные технологии при анализе бизнеса

Скачать

256482

15

25

... самой постановки задачи реализации анализа бизнеса в среде современных информационных технологий, становится тормозом в развитии не только информационных технологий при анализе бизнеса и их применения, но и оказывают негативное влияние на развитие самого анализа бизнеса как направления. Выводы 1. Исследование методической базы анализа стоимости бизнеса, проводимое на основе затратного, ...

Методы формирования нейросетей. Сущность электронного документооборота

Скачать

107679

0

1

... задач за счет применения средств автоматизации, снижение затрат за счет сокращения штата сотрудников, привлекаемых к делопроизводству, поиску и сортировке управленческой документации за счет внедрения электронного документооборота и т.д.) Результаты второго рода могут быть измерены с помощью экономических показателей, находящихся в бухгалтерской отчетности. Доход третьего рода получают за счет ...