Сравнительный анализ использования Табу−машины и нейронных сетей Хопфилда для решения задач дискретной оптимиза- ции из области распределенных баз данных Карпунина Маргарита Евгеньевна, аспирант Научный руководитель: Бабкин Эдуард Александрович, к.т.н., доцент, зав. кафедрой «Информационные системы и технологии» Нижегородский филиал Государственного Университета − Высшей Школы Экономики, кафедра «Информационные системы и технологии»

ОБЗОР Роль распределенных баз данных в современной информационной среде Известные подходы к синтезу структуры распределенной базы данных Комбинация нейросетей Хопфилда и генетических алгоритмов Табу-машина и алгоритм табу-поиска Программная реализация Полученные результаты, оценки, прогнозы Планы дальнейшей работы 2

РОЛЬ РАСПРЕДЕЛЕННЫХ БАЗ ДАННЫХ В СОВРЕМЕННОЙ ИНФОРМАЦИОННОЙ СРЕДЕ Разработка распределенных систем обуславливает необходимость изучения архитектурных и функциональных принципов обработки распределенных данных.  РБД облегчает распарал- леливание обработки запросов пользователей.  РБД повышает надежность хранения данных и отказо- устойчивость системы. 3

СИНТЕЗ ЛОГИЧЕСКОЙ СТРУКТУРЫ РБД Синтез оптимальной логической структуры РБД дает оптимальное разбиение множества групп данных по типам логических записей с последующим размещением типов записей по узлам вычислительной сети. Рассмотрим задачу синтеза оптимальной логической структуры РБД с одним критерием оптимизации (минимизации) − на общее время, необходимое для последовательной обработки множества запросов пользователей РБД. 4

ПОСТАНОВКА ЗАДАЧИ 5 Всем характеристикам задачи, включая исходную структуру РБДисходную структуру РБД, множество запросовмножество запросов, множество пользователей РБДмножество пользователей РБД, множество узлов и топологию вычислительной сети (ВС)сети (ВС), усредненные исходные временные характеристикивременные характеристики, было дано математическое описание.

ПОСТАНОВКА ЗАДАЧИ Математическая постановка задачи синтеза оптимальной логической структуры РДБ включает задание целевой функции задачи целевой функции задачи ограничений задачи: 1)на число групп в составе логической записина число групп в составе логической записи 2)на однократность включения групп в записина однократность включения групп в записи 3)на длину формируемой логической записина длину формируемой логической записи 4)на общее число типов синтезируемых логических записей, размещенных на каждом из серверовна общее число типов синтезируемых логических записей, размещенных на каждом из серверов 5)на объем доступной внешней памяти серверов ВС для хранения ЛБДна объем доступной внешней памяти серверов ВС для хранения ЛБД 6)на требуемый уровень информационной безопасности системына требуемый уровень информационной безопасности системы 7)на суммарное время обслуживания оперативных запросов на серверахна суммарное время обслуживания оперативных запросов на серверах 6

СИНТЕЗ ЛОГИЧЕСКОЙ СТРУКТУРЫ РБД: ИЗВЕСТНЫЕ ПОДХОДЫ Анализ комбинаторных особенностей  Точные и приближенные методы ( схема ветвей и границ ) : трудоемкость, сложность имплементации, неэффективность с точки зрения времени работы алгоритма при незначительном изменении параметров задачи. Математическая постановка задачи : многокритериальность, нелинейная задача целочисленного программирования, NP-полная задача.  Эвристические методы проектирования оптимальных логических структур РБД Искусственные нейронные сети (ИНС). 7

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА Структура нейронной сети Хопфилда показывает, что группа данных x будет включена в i -ую логическую запись. 8

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА Результат 1-го этапа решения задачи: матрица распределения групп данных по типам логических записей, где Результат 2-го этапа решения задачи: матрица безызбыточного размещения типов логических записей по узлам ВС, где Вектора весовых коэффициентов:, Математическая постановка решаемой нами задачи была разработана в терминах нейронных сетей.задачи 9

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА: ФУНКЦИЯ ЭНЕРГИИ НЕЙРОСЕТИ, ПОСТРОЕННОЙ ДЛЯ РЕШЕНИЯ ПЕРВОГО ЭТАПА ЗАДАЧИ Выведено уравнение динамики однослойной с обратными связями сети Хопфилда для решения задачи синтеза типов логических записей с учетом ограничений 1, 2 и

НЕЙРОННЫЕ СЕТИ ХОПФИЛДА: ФУНКЦИЯ ЭНЕРГИИ НЕЙРОСЕТИ, ПОСТРОЕННОЙ ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ Выведено уравнение динамики однослойной с обратными связями сети Хопфилда для решения задачи безызбыточного размещения синтезированных типов логических записей по узлам вычислительной сети с учетом ограничений 3, 4, 5 и где − нормированная сумма, т.е.. 1

ПРЕИМУЩЕСТВА И НЕДОСТАТКИ НЕЙРОСЕТЕВОГО АЛГОРИТМА Робастность нейронной сети Хопфилда  К сожалению, систематического способа определения значений элементов векторов и не существует. Известно только, что должно выполняться ограничение. 1212

ПУТИ РАЗРЕШЕНИЯ НЕДОСТАТКОВ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ 1.Движение в сторону использования генетических алгоритмов для подстройки весовых коэффициентов термов функций энергии сетей. 2.Использование метода анализа устойчивых состояний (Stable State Analysis (SSA) Technique)¹ Структурная схема генетического алгоритма Скрещивание Мутация Отбор Результат Создание начальной популяции ¹ Feng G., Douligeris С.Using Hopfield Networks to Solve Traveling Salesman Problems Based on Stable State Analysis Technique // Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks, P

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ КАК ОБОЛОЧКА ДЛЯ НЕЙРОСЕТЕВОГО АЛГОРИТМА Структурная схема реализованного НС-ГА-алгоритма Генетический алгоритм Исход- ные данные НС-ГА- алго- ритма Выходные данные НС-ГА- алгоритма: оптимальная логич. структура РБД, графики Функция приспособленности 1 Функция приспособленности 2 Функция приспособленности 1Функция приспособленности 2 Программная реализация 1414

НЕЙРОСЕТЕВОЙ АЛГОРИТМ: НЕКОТОРЫЕ ТЕСТОВЫЕ РЕЗУЛЬТАТЫ ДЛЯ ПОЛНОЙ ЗАДАЧИ СИНТЕЗА ЛОГИЧЕСКОЙ СТРУКТУРЫ РБД Качество решений, полученных с помощью нейросетевого алгоритма, сравнивалось с качеством решений, полученных с помощью метода ветвей и границ, построенного для решаемой задачи в труде В. В. Кульбы¹. Процент отклонения качества решения Средний процент отклонения, полученный в результате тестирования на задачах различной размерности составил ¹ В.В. Кульба, С.С. Ковалевский, С.А. Косяченко, В.О. Сиротюк “Теоретические основы проектирования оптимальных структур распределенных баз данных”. Серия “Информатизация России на пороге XXI века”. — М.: СИНТЕГ, 1999, 660 с. 1515

ПРЕДПОСЫЛКИ ИССЛЕДОВАНИЯ ТАБУ-МАШИНЫ КАК АЛЬТЕРНАТИВНОГО НЕЙРОСЕТЕВОГО АЛГОРИТМА Тенденция сетей Хопфилда стабилизироваться в локальном, а не глобальном минимуме функции энергии Осуществляемый генетическим алгоритмом подбор коэффициентов A, B, C, D, E, F, влияющих на сходимость сети Хопфилда, способен значительно увеличить время работы НС- ГА-алгоритма 1616

ТАБУ-МАШИНА − набор парамет- ров Табу-машины¹, гдеТабу-машины l  0 − табу-размер, C  0 − максимальное число вызовов обработки удаленных состояний, β > 0 − предопределенный коэффициент такой, что β  n > l. Механизм смены состояний в Табу-машине регулируется табу-поиском. Алгоритм смены состояний 17 ¹ Mingne Sun, Hamid R. Nemati “Tabu Machine: A New Neural Network Solution Approach for Combinatorial Optimization Problems”. Journal Of Heuristics, 9: 5 − 27, 2003.

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ПЕРВОГО ЭТАПА ЗАДАЧИ: ОСОБЕННОСТИ Функция энергии Улучшение качества решения: степень учета семантической смежности групп данных определяется по формуле, где — заданная матрица семантической смежности групп данных. Если, то семантическая связность групп данных полностью учтена. Увеличение производительности алгоритма 18

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ПЕРВОГО ЭТАПА ЗАДАЧИ: ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ, ОЦЕНКИ, ПРОГНОЗЫ Степень близости полученных решений к решению, полностью учитывающему семантическую смежность групп данных Зависимость времени решения задачи от ее размерности. 19

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ: ОСОБЕННОСТИ Функция энергии Улучшение качества решения: значение целевой функции задачи. Качество полученного решения будем оценивать значением целевой функции задачи. Чем ближе оно к нулю, тем более оптимальным является решение. Увеличение производительности алгоритма Исследование области параметров Табу-машины: описание экспериментов 20

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ: ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ, ОЦЕНКИ, ПРОГНОЗЫ 21 Конфигурации задачи: количество групп данных n = 10; 20; Набор параметров :

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ: ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ, ОЦЕНКИ, ПРОГНОЗЫ 2

2323

2424

2525

2626

2727

НС-ГА-АЛГОРИТМ И АЛГОРИТМ ТАБУ-ПОИСКА: ВЫВОДЫ С увеличением размерности задачи решения, полученные с помощью Табу-машины, качественно превосходят решения, полученные в результате применения сетей Хопфилда. К преимуществам использования Табу-машины можно отнести независимость решения от коэффициентов энергетической функции A, B, C, D, E, F сети. Чем больше значение параметра С, тем больше качественно лучших решений удается получить при различных значениях l. Наилучшим значением параметра l является величина, равная количеству типов логических записей, синтезированных на первом этапе решения задачи. 2828

ЗАКЛЮЧЕНИЕ Мы рассмотрели возможности применения аппарата искусственных нейронных сетей для решения задач дискретной оптимизации. В ходе обсуждения были продемонстрированы возможности сетей Хопфилда для решения задач такого рода. А исследования Табу-машины как альтернативного способа решения выявили возможность не только качественного улучшения решения задачи, но и возможность увеличения производительности алгоритма. Были даны рекомендации по смягчению недостатков нейросетевых алгоритмов, такие, как использование SSA- технологии и симбиоз нейронных сетей и генетических алгоритмов. 2929

ПЛАНЫ ДАЛЬНЕЙШЕЙ РАБОТЫ Интегрировать Табу-машины для первого и второго этапов решения задачи синтеза в единый алгоритм табу-поиска. Выполнить распараллеливание алгоритма табу-поиска с целью повышения его эффективности. Расширение множества тестовых конфигураций задачи с целью получения решений задачи синтеза оптимальной логической структуры РБД для канонических структур с большим числом групп данных. 30

СПАСИБО ЗА ВНИМАНИЕ

ЦЕЛЕВАЯ ФУНКЦИЯ ЗАДАЧИ

ОГРАНИЧЕНИЕ НА ЧИСЛО ГРУПП В СОСТАВЕ ЛОГИЧЕСКОЙ ЗАПИСИ где − максимальное число групп в записи Постановка задачиПостановка задачи Первый этап решенияПервый этап решения

ОГРАНИЧЕНИЕ НА ОДНОКРАТНОСТЬ ВКЛЮЧЕНИЯ ГРУПП В ЛОГИЧЕСКИЕ ЗАПИСИ где − мощность множества логических записей, − мощность множества групп данных,, если -ая группа данных включена в -ую логическую запись, и, иначе. Постановка задачиПостановка задачи Первый этап решенияПервый этап решения

ОГРАНИЧЕНИЕ НА ДЛИНУ ФОРМИРУЕМОЙ ЛОГИЧЕСКОЙ ЗАПИСИ где − максимально допустимая длина -ой записи определяемая характеристиками сервера Постановка задачиПостановка задачи Второй этап решенияВторой этап решения

ОГРАНИЧЕНИЕ НА ОБЩЕЕ ЧИСЛО ТИПОВ СИНТЕЗИРУЕМЫХ ЛОГИЧЕСКИХ ЗАПИСЕЙ, РАЗМЕЩЕННЫХ НА КАЖДОМ ИЗ СЕРВЕРОВ где − максимальное число типов логических записей, поддерживаемое локальной СУБД узла-сервера Постановка задачиПостановка задачи Второй этап решенияВторой этап решения

ОГРАНИЧЕНИЕ НА ОБЪЕМ ДОСТУПНОЙ ВНЕШНЕЙ ПАМЯТИ СЕРВЕРОВ ВС ДЛЯ ХРАНЕНИЯ ЛБД Постановка задачиПостановка задачи Второй этап решенияВторой этап решения

ОГРАНИЧЕНИЕ НА ТРЕБУЕМЫЙ УРОВЕНЬ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ СИСТЕМЫ для заданных и Постановка задачиПостановка задачи Первый этап решенияПервый этап решения

ОГРАНИЧЕНИЕ НА СУММАРНОЕ ВРЕМЯ ОБСЛУЖИВАНИЯ ОПЕРАТИВНЫХ ЗАПРОСОВ НА СЕРВЕРАХ для заданных, где − допустимое время обслуживания -го оперативного запроса Постановка задачиПостановка задачи Второй этап решенияВторой этап решения

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ КАК ОБОЛОЧКА ДЛЯ НЕЙРОСЕТЕВОГО АЛГОРИТМА Особь в нашем случае — это точка в -мерном пространстве. Количество генов каждой особи равно. Хромосома — последовательное объединение всех генов. Для построения генотипа разработана следующая символьная модель: каждый ген представляется строкой из 32-х бит, такое представление получается с помощью двух операций: 1.перевод значения гена в десятичной системе счисления в двоичную (при дополнении старших разрядов нулями, если это необходимо), 2.перевод гена в двоичной системе счисления в код Грея. С точки зрения генетического алгоритма нейросетевой алгоритм используется как своеобразный “черный ящик”, осуществляющий отображение особи в соответствующую ей матрицу или (в зависимости от номера этапа решения задачи), по которой определяется фенотип особи.

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ КАК ОБОЛОЧКА ДЛЯ НЕЙРОСЕТЕВОГО АЛГОРИТМА Для ГА-оболочки первого этапа была взята следующая функция приспособленности

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ КАК ОБОЛОЧКА ДЛЯ НЕЙРОСЕТЕВОГО АЛГОРИТМА Для ГА-оболочки второго этапа была взята следующая функция приспособленности

ПРОГРАММНАЯ РЕАЛИЗАЦИЯ НС-ГА-АЛГОРИТМА ОО библиотека классов нейронных сетей Хопфилда на С++ ОО модель генетических алгоритмов. Результатами решения задачи являются: 1.вектор и матрица разбиения групп данных по типам логических записей (этап 1); 2.вектор и матрица размещения типов логических записей по узлам ВС (этап 2). Особенности реализации ГА Результаты работы ГА

ОСОБЕННОСТИ РЕАЛИЗАЦИИ ГЕНЕТИЧЕСКОГО АЛГОРИТМА Код Грея для представления символической модели генотипа Формирование начальной популяции по фенотипу Способ выбора пары − панмиксия. Генетические операции − простой кроссинговер и точечная мутация Общий способ формирования репродукционной группы, т.е. в новую популяцию включаются и дети, и родители Строгий естественный отбор. Критерии останова алгоритма: На протяжении нескольких поколений рекордсмен по приспособленности не меняется Приспособленность хотя бы одной особи текущей популяции равна 1.

РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ И ИХ АНАЛИЗ Приспособленность особей начальной популяции Приспособленность особей первой популяции Приспособленность особей второй популяции

ТАБУ-МАШИНА: СТРУКТУРА И КОНЦЕПЦИИ ФУНКЦИОНИРОВАНИЯ Табу-машина определяется как множество бинарных нейронов, соединенных двунаправленными связями. Состояние Табу-машины определяется состояниями ее нейронов и обозначается, где n − число нейронов в Табу-машине. Сила связи между нейронами называется весом. Если нейроны i и j связаны друг с другом, то вес, приписываемый этой связи, обозначается через, причем. Устойчивость состояния Табу-машины зависит от ее энергии. Чем меньше энергия, тем более устойчиво состояние.

ТАБУ-МАШИНА ДЛЯ РЕШЕНИЯ ВТОРОГО ЭТАПА ЗАДАЧИ: ПОЛУЧЕННЫЕ РЕЗУЛЬТАТЫ, ОЦЕНКИ, ПРОГНОЗЫ

ПРИЛОЖЕНИЕ: ДОПОЛНИТЕЛЬНЫЕ МАТЕРИАЛЫ

Для формализации задачи синтеза были определены следующие переменные:, если -ая группа данных включается в -ую логическую запись;, иначе. если -ая логическая запись размещена на сервере -го узла ВС;, иначе., если ;, если. Переменная определяет типы логических записей, используемые -ым запросом на сервере -го узла ВС., если ;, если. Переменная определяет множество узлов-серверов ЛБД, к которым обращается -ый запрос. - количество типов логических записей, синтезированных в процессе решения задачи.

ОБЛАСТЬ ЗНАНИЙ Computer Science Computational Intelligence Artificial Intellegence Soft Computing fuzzy systems, neural networks, genetic algorithms