Содержание к диссертации
Введение
1. Кластерный анализ в задачах обработки информации 11
1.1. Предметная область «извлечение знаний» и задачи кластерного анализа 11
1.2. Актуальность задачи кластеризации 12
1.3. Формальная постановка задачи кластеризации 14
1.4. Классические методы кластеризации 18
1.5. Оценка качества решения задачи кластеризации 24
1.6. Тестовые наборы данных 27
1.7. Сравнительный анализ методов кластерного анализа и нерешенные задачи 29
1.8. Постановка задач диссертационной работы 36
Выводы 39
2. Систематизация теоретических основ модели хаотической нейронной сети с учетом специфики задачи кластеризации ...41
2.1. Анализ связи между хаотической динамикой и решением задачи кластеризации 41
2.1.1. Связь явления синхронизации с феноменом образования кластеров 41
2.1.2. Исследование явления синхронизации в задачах обработки информации 43
2.1.3. Анализ возможности использования хаотических колебаний для решения задач кластеризации... 47
2.2. Структура алгоритм функционирования хаотической нейронной сети 51
2.3. Сравнение хаотической нейронной сети с другими нейронными сетями 55
2.3.1. Принцип функционирования соревновательной сети и результаты ее работы 56
2.3.2. Алгоритм функционирования сети Кохонена 57
2.3.3. Анализ различий между хаотической нейронной сетью и сетью Кохонена 60
2.3.4. Результаты имитационного моделирования нейронной сети Кохонена на тестовых наборах данных 62
Выводы 64
3. Аналитическое исследование XHC как динамической системы с хаосом 66
3.1. Существующие подходы к анализу динамических систем с хаосом 66
3.2. Исследование возможностей управления хаотической синхронизацией 76
3.4. Аттрактор как колебательный кластер 79
3.5. Анализ возможности использования модели Л. Ангелини для решения задачи кластеризации 81
Выводы 83
4. Разработка и исследование нового метода кластеризации на основе ХНС 85
4.1. Имитационное моделирование ХНС по модели ангелини 86
4.1.1 Разработка имитационной модели ХНС .86
4.1.2. Разработка плана экспериментов 90
4.1.3. Принцип функционирования ХНС на примере простейшего изображения 91
4.1.4. Исследование зависимости результатов кластеризации от начальных условий 98
4.1.5. Исследование зависимости результатов кластеризации от времени наблюдения 101
4.1.6. Исследование зависимости результатов кластеризации от времени переходного процесса 103
4.1.7. Исследование зависимости результатов кластеризации от числа ближайших соседей 105
4.1.8. Кластеризация сложных изображений с помощью хаотической нейронной сети 112
4.2. Разработка нового метода кластеризации на основе ХНС 115
4.2.1. Использование триангуляции Делоне для управления динамикой ХНС 115
4.2.2. Недостатки существующего метода обработки значений выходов ХНС 121
4.2.3. Типы синхронизации в хаотической нейронной сети 123
4.2.4. Новый метод выявления фазовой синхронизации хаотических сигналов 127
4.2.5. Новый метод выявления кластерной фрагментарной синхронизации
хаотических сигналов в динамических системах большой размерности 136
4.2.7. Анализ полученных результатов 146
Выводы 149
5. Практическое приложение хаотической нейронной сети 153
5.1. Задача информационного поиска 153
5.2. Кластеризация в задаче информационного поиска 159
5.3. Анализ полученных результатов 165
Выводы 166
Заключение 167
Список использованнных источников
- Предметная область «извлечение знаний» и задачи кластерного анализа
- Анализ связи между хаотической динамикой и решением задачи кластеризации
- Существующие подходы к анализу динамических систем с хаосом
- Имитационное моделирование ХНС по модели ангелини
Введение к работе
Актуальность работы обусловлена как актуальностью решаемой задачи кластерного анализа и актуальностью развития соответствующей области приложения результатов ее решения - автоматизированных и автоматических систем обработки и анализа информации, так и актуальностью исследования предлагаемых методов решения, связанных с активно развиваемыми в настоящее время теориями хаоса, синхронизации и синергетики.
Несмотря на наличие общей постановки задачи кластеризации, попытки учесть при ее решении ту или иную специфику обрабатываемых данных приводят к различного рода ограничениям и заведомо лишают универсальности предлагаемые методы решения. Кроме того, существующие методы кластеризации требуют привлечения эксперта на тех или иных этапах решения задачи, что препятствует разработке автоматических систем обработки информации. При этом особенно сильно назрела потребность именно автоматической сортировки и систематизации больших объемов информации различного назначения. Требуется привлечение новых принципов обработки информации для решения задачи кластеризации с высокими показателями качества в условиях отсутствия априорной информации о кластеризуемых объектах.
Предметная область исследования лежит на стыке нескольких научных направлений и относится с одной стороны к области «выявления знаний» (Data mining) и распознаванию образов, с другой стороны к нелинейной динамике и синергетике. Основные достижения в области теории и практики распознавания образов принадлежат научным школам М.А. Айзермана, В.ШЗасильева, А.И. Галушкина, Ю.И. Журавлева, Н.Г. Загоруйко, В.В. Рязанова, ЯЗ. Цыпкина и другим, а из наиболее известных зарубежных разработчиков математических методов распознавания - У. Гренандер, Р. Дуда, Т. Кохонен, К. Фукунага, Г. Хакен,
5 Дж. Хопфилд, К. Фу и другие. Значительные результаты в исследовании нелинейной динамики и хаоса достигнуты в работах B.C. Анищенко, В.В. Астахова, Г.Н. Борисюка, А.С. Дмитриева, А.А. Короновского, А.П. Кузнецова, СП. Кузнецова, А.Ю. Лоскутова, И.С. Пригожина, А.В. Шабунина, А.Е. Храмова и других, а также в исследованиях научных лабораторий под руководством Л. Ангелини, К.Канеко, Дж. Куртса, Л. Майстренко, А. Михайлова, А. Пиковского, М. Романе, Н. Рулькова. Последние разработки и исследования в данных областях характеризуются их взаимным проникновением и, как указывается во многих работах, новые решения могут быть получены именно при системном и междисциплинарном подходах.
Анализ задачи кластеризации выполнен с системных позиций целостности и выявления общих закономерностей в существующем в природе явлении кластеризации. Как обобщающие системный и информационный подходы к анализу и решению задачи кластеризации привлекаются основные положения синергетики, изучающей процессы самоорганизации в различных системах.
Основное внимание в работе уделено развитию методов обработки информации и раскрытию связи с законами функционирования объектов различной природы (физической, химической и других), в которых также проявляется существование общего механизма упорядочивания, несмотря на присутствие хаоса в функционировании отдельных элементов системы. Проведенная систематизация и обобщение используются для решения задачи кластеризации и извлечения неочевидных знаний о наличии общности между объектами, а также могут быть полезны для решения задач прогнозирования и принятия других решений. Тема исследований связана с приоритетным направлением развития науки, технологий и техники Российской Федерации «Информационно-телекоммуникационные системы», утвержденным Президентом Российской Федерации и Правительством Российской
Федерации в 2006 году и относится к области разработки математического и программного обеспечения систем анализа и обработки информации, а также визуализации и анализу информации на основе компьютерных методов обработки информации.
Цели и задачи диссертационной работы. Цель данной работы заключается в разработке метода оастеризации не требующего привлечения эксперта при решении задачи кластеризации и ориентированного на обработку данных любого происхождения в условиях отсутствия какой-либо априорной информации об обрабатываемых данных. Достижение указанной цели позволит осуществлять разработку современных систем автоматической обработки информации и принятия решений.
Для этого необходимо решить следующие задачи.
Осуществить систематизацию существующих методов кластеризации и определить возможности методов и их ограничения, провести экспериментальную проверку на общепринятых тестовых задачах различной степени сложности.
Выполнить аналитическое исследование возможности применения теории нелинейных систем и хаоса для решения задач кластеризации.
Провести анализ теоретической базы хаотической нейронной сети и значимости явления синхронизации в функционировании хаотической нейронной сети.
Разработать план экспериментов для определения влияния параметров хаотической нейронной сети на динамические свойства сети и качество решения задачи кластеризации и разработать имитационную модель для экспериментального исследования динамики хаотической нейронной сети.
Провести экспериментальное исследование функционирования хаотической нейронной сети (ХНС) для определения диапазона ее
7 параметров, при котором будет достигаться заданное качество кластеризации.
Провести анализ полученных результатов кластеризации для изображений различной степени сложности.
Определить, какие из возможных способов описания динамических процессов наиболее информативны (наглядны, применимы) в случае
хне.
8. Определить влияние метода обработки информации на качество
решения задач кластеризации и предложить новые методы, если
применение имеющихся окажется недостаточным для получения
результатов кластеризации с заданным качеством.
9. Определить области предпочтительного использования хаотической
нейронной сети на основе обобщения полученных результатов.
В качестве объекта исследования выступает хаотическая нейронная сеть, а предметом исследования является явление кластеризации и возможность его использования для решения задач кластерного анализа.
Методы исследования. Методы теории распознавания образов, методы нелинейной динамики, методы теории информации, методы имитационного моделирования, методы системного анализа, методы матричных вычислений, методы теории вероятностей и математической статистики.
Обоснованность и достоверность полученных результатов обусловлена: всесторонним анализом поставленной цели и подходов к ее достижению; корректностью используемого математического аппарата; согласованностью полученных экспериментальных результатов с предполагаемыми результатами качественного анализа условий экспериментов; всесторонней проверкой предлагаемых методов путем экспериментальных исследований на различных исходных данных, охватывающих различные варианты сложности задачи кластеризации; практическим применением разработанных методов для решения задач
8 информационного поиска и оастеризации текстовых документов специального корпуса документов русского языка; апробацией работы на 17-ти международных и всероссийских конференциях. Основные научные результаты и их новизна
Предложен новый способ расчета масштабирующей константы в предлагаемом методе решения задачи кластеризации на основе ХНС, основывающийся на построении триангуляции Делоне и позволяющий преодолеть априорную неопределенность о пространственной конфигурации кластеров. Этот способ обеспечивает выход динамики ХНС в «упорядоченный» режим и позволяет обеспечить за счет этого требуемое качество кластеризации - отсутствие ошибок кластеризации при использовании соответствующих методов обработки выходов ХНС.
Предложены новые методы обработки информации с выходов ХНС, позволяющие добиться решения задачи кластеризации с существенным уменьшением ошибок при условии непротиворечивости исходных данных и отсутствия сильной разреженности данных в пространстве признаков: метод выявления фазовой синхронизации на основе конечных разностей и метод выявления фрагментарной хаотической синхронизации на основе анализа мгновенных значений выходов в системах большой размерности.
Предложен новый метод представления текстовых документов, основанный на учете структуры документа посредством учета распределения ключевых слов по документу и позволяющий повысить качество решения задачи категоризации документов.
Теоретическая значимость полученных результатов 1. Предложен новый метод кластеризации, позволяющий решать задачу кластеризации для условных изображений высокой сложности
9 (кластеры могут быть пространственно не разнесены и могут иметь общий центр кластеров) и при этом не требующий априорной информации о числе и топологии кластеров. Предлагаемый новый метод кластеризации на основе хаотической нейронной сети, включающий новый способ вычисления масштабирующей константы и новые методы выявления синхронизации в хаотических сигналах, имеют большое значение для развития теоретических основ систем автоматической обработки информации и принятия решений. 2. Предложенные в данной работе методы обработки хаотических последовательностей позволяют выявлять фазовую синхронизацию хаотических сигналов и кластерную фрагментарную синхронизацию, а также определять границы возникновения и разрушения синхронизации в динамических системах большой размерности, что важно для развития теории нелинейной динамики и хаоса. Практическая значимость работы
Разработанный метод кластеризации на основе ХНС позволяет добиться решения задачи кластеризации с существенным уменьшением ошибок и может быть использован как база для разработки систем автоматической обработки информации и принятия решений (обработка изображений любой природы; 2D, 3D, а также N-мерных образов, сегментация изображений, выделение объектов на изображении и др.) в составе информационных систем и информационно-управляющих комплексов.
Показано, что предложенный метод кластеризации и способ представления текстовых документов применимы для решения задачи информационного поиска, и могут дополнить существующие подходы в системах информационного поиска для повышения качества их работы.
3. Разработанная имитационная модель ХНС и программное средство
для исследования динамических систем на базе дискретных
отображений могут быть использованы как в учебных целях, так и для
проведения НИР.
Апробация работы. Результаты работы докладывались и обсуждались
на 17-тн международных и всероссийских конференциях, опубликованы в
23-х печатных работах, в том числе статья в издании из списка ВАК.
Результаты работы отмечены: дипломом Политехнического симпозиума
«Молодые ученые - промышленности Северо-Западного региона» (2005 г.),
дипломом Санкт-Петербургского конкурса компьютер - центра «Кей» за
лучшую научную работу (2005 г.), дипломом I степени Международной
Балтийской олимпиады по управлению (2006 г.), дипломом победителя
конкурса «Молодые таланты - будущее науки Политехнического
университета» (2006 г.), дипломом лауреата стипендии Правительства РФ
(2006 г.). По результатам работы получен грант фонда «Научный потенциал»
(2007 г.).
Внедрение. Результаты работы использованы для решения научно-исследовательских и практических задач, что подтверждается двумя актами о внедрении - из МГУ им. Ломоносова и НПО «Импульс».
Структура и объем работы. Работа состоит из введения, пяти глав и заключения, содержит 187 стр., 19 табл. и 63 рис., список использованной литературы содержит 140 наименований.
Предметная область «извлечение знаний» и задачи кластерного анализа
Переработка информации подразумевает интеллектуальный анализ данных и извлечение знаний. Извлечение знаний (Data Mining) направлено на выявление некоторых закономерностей в данных. К задачам выявления закономерностей относятся [1] задачи: прогнозирования, классификации, кластеризации и др.
Основой для всевозможных систем прогнозирования служит информация, хранящаяся в виде временных последовательностей, представляющих связные во времени события. Если удается найти функции, адекватно отражающие динамику поведения временных последовательностей, то есть вероятность того, что с их помощью можно предсказать и значения временной последовательности в будущем. Решение задачи прогнозирования предполагает нахождение определенных моделей, отражающих взаимосвязи в последовательностях данных, причем, формально задача прогнозирования также может быть сведена к задаче классификации.
При классификации путем анализа уже классифицированных объектов из обучающей последовательности осуществляется формирование некоторого набора решающих правил, по которым можно разнести объекты, как известные из обучающей выборки, так и новые неизвестные объекты, по заданным классам. Кластеризация отличается от классификации тем, что сами группы заранее не заданы. Сначала самой системой вырабатываются решающие правила, по которым формируются группы (кластеры), а потом уже может решаться задача классификации. Таким образом, можно сделать вывод о том, что кластеризация является подзадачей множества задач, которые решаются в направлении Data Mining.
Задача кластеризации относится к наиболее сложному классу задач -задачам «обучения без учителя», поскольку отсутствуют ответы к обучающим примерам, а отнесение объектов к тому или иному кластеру должно быть выполнено автоматически. При этом в общем случае априорно не известна как топология кластеров, так и количество (число) кластеров. В результате решения задачи кластеризации выявляется скрытая структура данных и обнаруживаются неочевидные закономерности в данных.
Несмотря на то, что сама задача разработки автоматической системы кластеризации поставлена давно, и несмотря на имеющиеся успехи в области распознавания образов, решение ее с высокими показателями качества пока не получено. Естественным образом возникает необходимость привлечения новых подходов к решению задач кластерного анализа и рассмотрения их с системных позиций, учитывая вычислительную сложность для многомерного пространства признаков с одной стороны, и наличия большого числа объектов, с другой (большая размерность задачи), так как разбор и детальный учет отдельных характеристик задачи не приносит желаемых результатов. Новый метод кластеризации должен основываться на новых принципах обработки информации. Разработка систем, способных решать трудно формализуемые задачи, проводится в современных исследованиях на основе использования нейробиологического прототипа - мозга человека. Это является дополнительным стимулирующим фактором все возрастающего интереса к вопросам формализации и моделирования работы головного мозга. Как отмечает Н.П. Бехтерева [2], последнюю декаду XX века можно назвать «Декадой Мозга Человека», настолько много научных работ самых разных направлений было выполнено по изучению принципов функционирования мозга. При этом основные усилия ученых сосредоточены в области познания мышления - его «мозгового кода».
Многие идеи, связанные с предположениями о нелинейной динамике и импульсной нейронной активности [2, 3], присущей работе головного мозга, могут быть представлены в виде математических моделей, и затем, путем аналитического или имитационного моделирования определены свойства системы, построенной на основе таких моделей, а, следовательно, наделенной элементами искусственного интеллекта по образу и подобию биологического прототипа. Особый интерес представляет динамика образования нейронных ансамблей для решения различных функциональных задач и коллективное поведение нейронов, образующих такие нейронные ансамбли.
Анализ связи между хаотической динамикой и решением задачи кластеризации
В общем случае под синхронизацией понимается свойство материальных объектов вырабатывать единый ритм совместного движения, несмотря на различие индивидуальных ритмов и слабые взаимные связи. Синхронизируются маятниковые часы, органные трубы, небесные тела, электрические и квантовые генераторы, сообщества клеток и других живых организмов, сами живые организмы в коллективах (жуки-светляки, птицы и рыбы в стаях, аплодирующие или марширующие люди). Разработанная в [28, 29] общая теория синхронизации динамических объектов позволяет сделать вывод о том, что тенденция к синхронизации является общим свойством объектов самой различной природы.
В теории синхронизации выделяют класс слабо связанных динамических объектов, для которых имеет место тенденция к синхронизации. Для этого класса динамических объектов доказана возможность синхронизации в системах с очень большим числом однотипных, равноправных объектов, динамика которых описывается дифференциальными или разностными уравнениями. Равноправие объектов указывает на явление именно внутренней или взаимной синхронизации, а не явлении захватывания или внешней синхронизации, когда один из объектов считается настолько мощным, что навязывает свой ритм движения другим объектам.
Универсальная распространенность синхронизации позволяет сделать вывод о том, что синхронизация является фундаментальным свойством систем, колеблющихся или вращающихся объектов, а поэтому должна играть существенную роль в организации микромира [29]. В соответствии с [28] объекты синхронизированы, если выполняются следующие условия: - объекты могут генерировать свои собственные ритмы, то есть колебаться отлично от других систем в отсутствии взаимной связи; - системы подстраивают свои ритмы за счет слабого взаимодействия; - подстройка ритмов может происходить в некотором диапазоне расстроек между системами (например, если частота колебаний одного из объектов медленно изменяется, то другая система следует за этим изменением).
Иначе говоря, в системе, состоящей из большого количества однотипных колеблющихся элементов, обладающих своей собственной динамикой при определенных условиях могут выделяться группы элементов, в каждой из которых объекты обладают схожей динамикой. То есть в пределах группы объекты изменяют свои состояния синхронно. Динамика изменения состояний в одной группе в случае отсутствия полной синхронизации отлична от динамики изменения состояний в другой группе.
Принципиальным условием синхронизации является нелинейность динамики каждого из объектов в системе. Как будет показано далее, чем более сложным является поведение каждого из объектов в отдельности, тем более интересными свойствами обладает вся система в целом.
Одним из наиболее перспективных направлений поиска эффективных методов обработки информации являются искусственные нейронные сети. Подобно биологической нервной системе нейронная сеть является вычислительной системой с огромным числом параллельно функционирующих простых процессоров с множеством связей. Модели искусственных нейронных сетей в некоторой степени воспроизводят "организационные" принципы, свойственные мозгу человека.
Среди динамических нейронных сетей в отдельный класс выделяют осцилляторные нейронные сети (ОНС). При изучении ОНС основной интерес сосредоточен на динамических, колебательных аспектах функционирования нейронных сетей. В соответствии с этим выбирается такая структура отдельного элемента и такая архитектура сети в целом, при которых наблюдаются регулярные, квазипериодические или хаотические колебания. При этом представляют интерес условия возникновения колебаний и условия их синхронизации. Изучение подобных сетей ведется в рамках нейрофизиологических исследований для моделирования обонятельной, зрительной, двигательной систем, памяти и внимания.
Прогресс в экспериментальной нейробиологии и нейропсихологии привёл к появлению большого объёма интересных экспериментальных данных, указывающих на существенную, а возможно и центральную роль колебательных процессов в работе нервной системы.
Существующие подходы к анализу динамических систем с хаосом
Линейная теория динамических систем и процессов разработана достаточно полно и позволяет дать их исчерпывающее описание, хорошо согласующееся с экспериментом. В случае нелинейной теории пока не существует общей теории решения систем нелинейных дифференциальных уравнений. Анализ динамики нелинейных систем до сих пор требует, искусства, индивидуального подхода в каждом конкретном случае [93,95].
В середине XX века было обнаружено, что для систем третьего порядка возможны весьма сложные движения - ограниченные непериодические колебания. Настоящий переворот начался с работы физика Е. Лоренца, опубликованный с 1963 г., где было показано, что качественный характер явления атмосферной турбулентности может быть передан нелинейной моделью третьего порядка. В последующих работах Рюэля, Такенса, Ли и Иорке был введен термин странного аттрактора для обозначения математического образа режима нерегулярных колебаний детерминированных динамических систем с хаосом.
Под детерминированным хаосом понимается нерегулярное и непредсказуемое на большие времена движение в детерминированных нелинейных динамических системах. Причиной нерегулярности и непредсказуемости является собственная динамика системы, а не влияние шумов и внешних возмущающих факторов [53].
До середины XX века считалось, что аттрактор есть образ исключительно устойчивого режима функционирования системы. В случае странного (хаотического) аттрактора под устойчивостью понимается ограниченность всех траекторий в ограниченной области фазового пространства. Хаотический аттрактор характеризуется тем, что: - предельное множество, образуемое траекториями, может иметь очень сложное строение (траектории не замыкаются, отсюда и название «странный аттрактор»); - режим функционирования неустойчив (малые изменения в начальных условиях стремительно нарастают).
Определения. Поскольку терминология в области хаотических моделей еще не устоялась, то даже основные понятия теории хаоса имеют различные варианты [91, 93, 94]. Теория хаоса настолько молода, что на сегодняшний день находится на этапе поиска простейших базовых моделей, реализующих те или иные фундаментальные свойства хаотических систем [95]. В силу того, что в данной работе используется понятие аттрактора приведем некоторые из его определений.
Определение 1. Рассмотрим систему обыкновенных дифференциальных уравнений или систему дискретных отображений (3.1): dxi с , ч —1- = fi(x,,...xN,ii1 iik), dt N " (3.1) Xn+i=fi(x!. xn х ,ц, цк), где і = 1,..., N, x,(t) (или x,) - переменные, однозначно описывающие состояние системы (ее фазовые координаты); щ (1 = 1, 2, ...к) - параметры системы; f;(x,p.) - в общем случае нелинейные функции. Решение системы существует для начальных условий Xj(0). Обратимся к фазовому пространству R системы (3.1), зафиксировав значения параметров системы цк. Пусть имеется некоторая конечная (или бесконечная) область G,, принадлежащая RN, которая включает в себя подобласть G0. Области G, и G0 удовлетворяют следующим условиям: - для любых начальных условий Xj(0) (или х0) из области G при t-x» (или п-»со) все фазовые траектории достигают области Go; - область Go представляет собой минимальное компактное подмножество в фазовом пространстве системы; - если фазовая траектория принадлежит области Go в момент времени t = tj (n = nj), то она будет принадлежать Go всегда, то есть для любых 12: t( (n пі) фазовая траектория будет находиться в области Go.
Если все эти условия выполняются, то тогда область Go называется аттрактором динамической системы.
Определение 2. Замкнутое множество QDRN называется аттрактором системы (3.1), если П - минимальное притягивающее множество, а именно: а) существует открытое множество По = П, такое, что все траектории x(t) системы, начинающиеся в По, определены при всех t 0 и стремятся к Q при t-»co б) никакое собственное подмножество П этим свойством не обладает.
Определение 3. Аттрактор называется странным, если он ограничен и любая траектория, начинающаяся на нем, неустойчива по Ляпунову [91].
Определение 4. Система называется хаотической, если у нее существует хотя бы один странный аттрактор [91].
Есть и другие определения аттракторов. Для подавляющего множества систем, описываемых нелинейными дифференциальными (разностными) уравнениями большой размерности строгого доказательства наличия решения (аттрактора) на сегодняшний день не найдено. Строгие, весьма громоздкие доказательства наличия странного аттрактора существуют только для небольшого числа общепризнанных хаотических систем [92].
Один из основных методов анализа колебаний динамических систем основывается на графическом представлении динамики системы в фазовом пространстве состояний. Возможность наглядного представления эволюции системы во времени с помощью компьютерного моделирования позволяет подтвердить или опровергнуть теоретические предположения. Именно поэтому наиболее изученными являются хаотические системы, описываемые системой нелинейных дифференциальных уравнений порядка трех. Среди них: система Лоренца, система Рёслера, система Чуа, система Валлиса, система Рабиновича-Фабриканта и некоторые другие [50, 93]. Строгие доказательства как раз и существуют для этих систем.
Хаотические аттракторы объединяют два принципиальных свойства: сложная геометрическая структура (как следствие - дробная метрическая размерность); экспоненциальная неустойчивость индивидуальных траекторий. Эти свойства используются экспериментаторами в качестве критериев при диагностике режимов детерминированного хаоса [94,95].
Имитационное моделирование ХНС по модели ангелини
Имитационная модель была создана на основе алгоритма, описанного в п. 2.2. Средой разработки была выбрана математическая лаборатория Matlab v. 7.1. Такой выбор обусловлен следующими причинами: - Matlab (от англ. «Matrix Laboratory») предоставляет широкие возможности в области матричных вычислений, использование которых наиболее целесообразно при реализации ХНС; - в состав программных модулей Matlab входит пакет Neural Networks, в котором уже реализована нейронная сеть Кохонена, соревновательная сеть, используемые для сравнения с ХНС; - Matlab предоставляет широкий спектр удобных средств визуализации результатов работы, в частности, нейронных сетей.
В среде Matlab была реализована система функций в соответствии с составными частями алгоритма работы хаотической нейронной сети (см. п. 2.2). Для удобства встраивания в модель разных вариантов реализации составных частей алгоритма используется большое количество функций. Каждой функции соответствует свой файл с одноименным названием. Вызовы основных функций производятся из главной функции main, в которую передаются параметры нейронной сети: - FileName - имя файла с образом, подлежащим кластеризации; - Тр - время переходного процесса системы; - Тп - время переходного процесса системы; - kNearest - число ближайших соседей; - Num Variants - число вариантов кластеризации.
Основными инструментами исследования являлись различные способы визуализации результатов работы ХНС. Серия предварительных экспериментов показала, что результатом работы ХНС является уникальная для каждого изображения динамика выходов нейронов, каждый их которых отвечает за одну из точек изображения. Разнесение же точек по кластерам происходит посредством обработки этой динамики. Поэтому исходными данными для визуализации служит именно накопленная статистика о динамике всех выходов ХНС. Использовались следующие способы графического представления динамики.
Динамика состояний нейронов с номерами Здесь р! и р8 - изменение выходов нейронов с номерами 1 и 8 на интервале времени наблюдения Тн, которые отвечают за точки с номерами 1 и 8 соответственно. Номера точкам присваиваются по порядку, в соответствии со способом считывания исходных данных. 2. Отображение изменения динамики одновременно для всех выходов нейронов в цветном и черно-белом вариантах (см. рис. 4.2-4.3).
Здесь цветом или оттенком цвета показаны отличия/схожесть в абсолютных значениях выходов нейронов. Соответствие цвета и значения приведены справа от зависимостей в цветовых панелях (значения выходов колеблются в диапазоне [-1,1] ) 3. Фазовые портреты, отображающие зависимость изменения выходов нейрона относительно друг друга. По фазовым портретом можно оценить степень синхронности колебаний хаотических сигналов (см. рис. 4.4).
При реализации алгоритма работы ХНС, приведенного в п. 2.2., была отмечена его высокая вычислительная сложность, вызванная характером глобальной связи между элементами. Количество вычислений возрастало экспоненциально с увеличением количества точек во входном изображении, что естественным образом сказывалось на времени получения результата кластеризации. В результате анализа существующей математической модели ХНС было найдено решение, которое позволяет значительно уменьшить время решения задачи кластеризации. Соотношение (2.7) означает, что динамика ХНС описывается системой разностных уравнений (4.1).
Соотношение (4.1) показывает, что изменение состояния одного выхода системы зависит от всех остальных выходов, что сильно влияет на время решения задачи в случае кластеризации изображений, состоящих из нескольких тысяч точек. В данной работе предлагается путем перехода к матричному представлению (4.2) соотношения (4.1) значительно сократить время решения задачи кластеризации [117]:
