Содержание к диссертации
Введение
Глава 1 Метод конусов устойчивости для диагностирования устойчивости нейронных сетей 10
1.1 Модели нейронных сетей 10
1.2 Формальное определение нейронных сетей 15
1.3 Цели главы 1 17
1.4 Кривая D-разбиения для данных к, т, а, р 19
1.5 Области D(k,m,a, р) 22
1.6 Конусы устойчивости для матричного уравнения ха = Аха-т + Вха-к с одновременно триангулизируемыми матрицами 33
1.7 Алгоритм диагностирования устойчивости матричных разностных уравнений с двумя запаздываниями 36
1.8 Програмный продукт «Устойчивость матричных разностных уравнений с двумя запаздываниями» 37
1.9 Сравнение результатов главы 1 с известными результатами . 39
Глава 2 Устойчивость базовых конфигураций нейронных сетей 42
2.1 Устойчивость нейронной сети кольцевой конфигурации 42
2.2 Устойчивость нейронной сети линейной конфигурации 47
2.3 Сравнение областей устойчивости нейронных сетей кольцевой и линейной конфигураций. Парадоксальные точки 51
2.4 Устойчивость нейронной сети звездной конфигурации 63
2.5 Устойчивость нейронной сети двуслойной конфигурации 64
2.6 Устойчивость полносвязных нейронных сетей 68
2.7 Сравнение результатов главы 2 с известными результатами . 70
Глава 3 Устойчивость нейронных сетей, полученных из базовых сетей с помощью операции декартова умножения 72
3.1 Постановка задачи о декартовых произведениях сетей 72
3.2 Устойчивость нейронной сети планарной конфигурация (нейронной решетки) 75
3.3 Устойчивость нейронной сети с топологией связей многомерного куба (нейронного гиперкуба) 81
3.4 Устойчивость нейронной сети тороидальной конфигурации . 85
3.5 Устойчивость нейронной сети цилиндрической конфигурации . 91
3.6 Расширение области устойчивости при разрыве большого кольца нейронных сетей 97
3.7 Парадоксальные точки в малых кольцах нейронных сетей . 102
3.8 Сравнение результатов главы 3 с известными результатами . 103
Заключение 106
Литература
- Конусы устойчивости для матричного уравнения ха = Аха-т + Вха-к с одновременно триангулизируемыми матрицами
- Програмный продукт «Устойчивость матричных разностных уравнений с двумя запаздываниями»
- Сравнение областей устойчивости нейронных сетей кольцевой и линейной конфигураций. Парадоксальные точки
- Устойчивость нейронной сети с топологией связей многомерного куба (нейронного гиперкуба)
Введение к работе
Актуальность темы исследования Нейронными сетями являются модели компьютерных сетей1, модели процесса извлечения слов из человеческой памяти2, нервные системы живых существ и многое другое. Проблема устойчивости нейронных сетей осложнена запаздываниями во взаимодействии нейронов. Поэтому ее изучение требует применения функционально-дифференциальных уравнений (ФДУ) либо разностных уравнений с запаздываниями. В теорию ФДУ внесли вклад Н.В. Азбелев, Р. Беллман, Ю.Ф. Долгий, Н.Н. Красовский, А.В. Ким, В.Г. Пименов, П.М. Симонов.
Данная диссертация посвящена устойчивости дискретных моделей нейронных сетей. Такие модели построены в работах Е. Каслик, С. Балинта3 как аналоги непрерывных моделей. Общие результаты изучения устойчивости, применимые ко всем сетям, не могут дать полное представление о поведении отдельных классов сетей. Поэтому актуальна проблема описания условий устойчивости часто встречающихся конфигураций нейронных сетей: кольцевой, линейной, звездной, двуслойной, полносвязной, решетчатой, тороидальной, цилиндрической, а также нейронного гиперкуба. Именно этим проблемам применительно к дискретным моделям посвящена настоящая диссертация.
Степень разработанности темы Много работ посвящено глобальной устойчивости нейронных сетей '5. Менее изучена локальная устойчивость нейронных сетей, которая требует изучения матричных уравнений с запаздываниями. Проблема устойчивости дискретных сетей разработана гораздо меньше соответствующей проблемы для непрерывных сетей. Кроме того, в литературе отсутствуют систематические исследования устойчивости стандартных нейронных сетей. Только устойчивость кольцевой нейронной сети в ее непрерывных моделях можно считать достаточно разработанной6' .
Недавно в диссертации Т. Хохловой8 предпринято сравнительное исследование непрерывных моделей кольцевой и линейной нейронных сетей. Но в области дискретных моделей известны только статьи Е. Каслик с соавто-
1 Hewlett R.J. Walters S.D. Multi-computer neural network architecture // Electronics Letters — 1999. —
Vol. 35, №6. - P. 1350 - 1352.
2 Гопыч П. M. Трехэтапная количественная нейросетевая модель явления «на кончике языка» //
Труды ІХ-й Международной конференции «Знание-диалог-решение» (KDS-2001). — СПб.: 19-22 июня
2001. - С. 158-165. .
3 Kaslik Е. Balint St. Bifurcation analysis for a two-dimensional delayed discrete-time Hopfield neural
network II Chaos, Solitons & Fractals. - 2007. - 34. - P. 1245-1253.
4 Idels L. Kipnis M. Stability criteria for a nonlinear non-autonomous system with delays // Applied
Mathematical Modelling. - 2009. - Vol. 33, №5. - P. 2293-2297.
5 Бойков И. В. Устойчивость нейронных сетей Хопфилда с запаздыванием // Известия ВУЗов.
Поволжский регион. Физико-математические науки — 2012. — №2. — С. 85-97.
е Yuan Y. Campbell S. A. Stability and sinchronization ring of identical cells with delayed coupling // Journal of Dynamics and Differential Equations. — 2004. — Vol. 16. — P. 709-744.
7 Kokhlova T.N. Kipnis M.M. Numerical and qualitative stability analysis of ring and linear neural
networks with a large number of neurons // International Journal of Pure and Applied Mathematics. — 2012. —
Vol. 76, №3. - P. 403-419.
8 Хохлова, Т.Н. Устойчивость моделей нейронных сетей кольцевой и линейной конфигураций с
запаздывающими взаимодействиями: дис. .. .канд. физ.-мат. наук: 05.13.18 — Челябинск, 2013. — 132 с.
рами . При этом методы Е. Каслик недостаточны для изучения вопроса об устойчивости кольца с неограниченным количеством нейронов, и в работах Каслик не изучено влияние разрыва кольца на устойчивость сети. Разработок по устойчивости многочисленных стандартных моделей нейронных сетей, таких как двуслойные, тороидальные сети, нейронные гиперкубы нет ни для непрерывных, ни для дискретных моделей. Настоящая диссертация восполняет этот пробел в области дискретных моделей.
Цели и задачи работы Цель работы — исследование областей устойчивости стандартных конфигураций нейронных сетей в пространстве их параметров. Мы ставим задачи выделить базовые стандартные конфигурации, изучить их устойчивость, а затем, определив декартово произведение нейронных сетей в духе соответствующего определения для весовых графов, изучить области устойчивости декартовых произведений базовых нейронных сетей.
Научная новизна В диссертации впервые даны методы анализа устойчивости разностных уравнений с запаздываниями, позволяющие находить точные границы областей устойчивости в пространстве параметров стандартных нейронных сетей. Эти методы обладают большей общностью и сферой применения, чем известные в литературе методы. Впервые в множестве нейронных сетей выделены базовые нейронные сети, определены декартовы произведения нейронных сетей и созданы средства анализа их устойчивости. Впервые построены точные границы областей устойчивости в пространстве параметров дискретных моделей стандартных нейронных сетей: линейных, звездных, решетчатых, тороидальных и других. Впервые обнаружены парадоксальные явления в дискретных моделях кольцевых нейронных сетей: потеря их устойчивости в результате разрыва. Доказано, что в больших кольцах нейронных сетей парадоксальные явления исчезают, и указаны условия их существования в малых кольцах. Впервые для широкого класса нейронных сетей поставлены и решены вопросы: о сохранении или несохранении устойчивости сети в процессе неограниченного наращивания количества нейронов при неизменной архитектуре сети; о сохранении или несохранении устойчивости сети с односторонними воздействиями нейронов на соседние нейроны, при условии неограниченного возрастания силы воздействия.
Теоретическая и практическая значимость работы Наше исследование выявило новые эффекты. Оно разделило нейронные сети по конфигурациям на два класса: в первом классе (линейные, решетчатые конфигурации) переход на односторонние взаимодействия гарантирует устойчивость сети, во втором классе (кольцевые, тороидальные) не гарантирует. Введение понятия парадоксальных точек дает как теоретические перспективы их исследования в сложных нейронных сетях, так и возможности исключения нежелательных явлений в реальных нейронных сетях в процессе их разрыва. Практическим применением работы является также внедрение специальных курсов по устойчивости нейронных сетей в учебные программы магистров на факультете информатики Челябинского государственного педагогического университе-
9 Kaslik Е. Balint St. Complex and chaotic dynamics in a discrete-time delayed Hopfield neural network with ring architecture // Neural Networks. — 2009. — Vol. 22, №10. — P. 1411-1418.
та. В рамках этих спецкурсов магистранты под руководством автора делали численные эксперименты по изучению устойчивости нейронных сетей [12-14].
Методология и методы исследования Автор разработал новый метод исследования матричных разностных уравнений с запаздываниями — метод конусов устойчивости, и применил этот метод к анализу устойчивости нейронных сетей. Этот метод сводит анализ устойчивости многомерных задач к анализу расположения некоторых точек трехмерного пространства относительно некоторой поверхности в трехмерном пространстве, называемой конусом устойчивости. Использованы также идеи метода D-разбиений.
Результаты и положения, выносимые на защиту
-
Автор разработал новый метод конусов устойчивости для анализа устойчивости дискретных моделей нейронных сетей с произвольным количеством нейронов и произвольными запаздываниями. Метод реализован в виде алгоритмов и комплекса программ для вычисления границ областей устойчивости нейронных сетей в пространстве параметров.
-
Построены области устойчивости в пространстве параметров нейронных сетей базовых конфигураций: кольцевой, линейной, двуслойной, звездной, с учетом запаздываний как в демпфировании собственных колебаний нейронов, так и во взаимодействиях различных нейронов.
-
Определена операция декартова произведения нейронных сетей, указан метод анализа устойчивости декартова произведения нейронных сетей, благодаря чему построены области устойчивости в пространстве параметров нейронных сетей решетчатой (планарной), тороидальной, цилиндрической конфигураций и нейронных сетей с топологией связей многомерного куба. Показано, что разрыв большого кольца нейронных сетей благоприятствует устойчивости. В то же время найдены условия, при которых разрыв нейронного кольца может сопровождаться потерей устойчивости.
-
Построены классификации нейронных сетей: А) по признаку сохранения устойчивости в процессе неограниченного увеличения количества нейронов с сохранением архитектуры сети; Б) по признаку сохранения устойчивости при неограниченном увеличении силы действия нейронов в одном из направлений при условии нулевого воздействия в другом направлении.
Степень достоверности и апробация результатов Достоверность результатов диссертации подтверждается согласованностью теоретических выводов с результатами численных экспериментов. Основные результаты диссертации докладывались на следующих конференциях: на Международной конференции «Колмогоровские чтения V. Общие проблемы управления» (Тамбов, 2011 г.); на Всероссийской конференции «Статистика, моделирование, оптимизация (СМО)» (Челябинск, 2011); на Всероссийской конференции «Теория управления и математическое моделирование» (Ижевск, 2012); на международной конференции «Applications of Mathematics in Engeneering and Economics» (Sozopol, Bulgaria, 2013).
Публикации Материалы диссертации изложены в 14 публикациях, из них б статей в рецензируемых журналах [1-6], 7 статей в сборниках трудов конференций [8-14] и свидетельство о регистрации программы для ЭВМ [7].
В статьях [4-6] М. Кипнису и В. Малыгиной принадлежат замысел и общее руководство работой. В трудах научных конференций [12-14] автор диссертации выступал как научный руководитель магистрантов-соавторов. Все конкретные результаты диссертации получены лично автором.
Структура и объем диссертации Диссертация состоит из введения, трех глав, заключения, библиографии и Приложений А, Б, В. Общий объем диссертации 135 страниц, включая 43 рисунка. Библиография включает 88 наименований на 10 страницах.
Конусы устойчивости для матричного уравнения ха = Аха-т + Вха-к с одновременно триангулизируемыми матрицами
В дальнейшем в Теоремах 1.1-1.4 выяснится, что D(k,m,a, р) есть множество комплексных чисел 6, таких что уравнение (1.15) асимптотически р-устойчиво при данных Ь. Очевидно, при к т 1 и взаимно простых к,т область D(k,m,a, р) обладает следующими свойствами. При 0 \а\ рт это есть связная область на плоскости комплексного переменного Ь, содержащая 0, границей которой служит кривая D-разбиения (1.18). При \а\ = рт область вырождается в точку 6 = 0, при рт \а\ ртк/(к — т) область D(k,m,a,p) пуста, при \а\ ртк/(к — т) область D(k,m,a,p) вообще не определена ввиду того, что основные овалы (Определение 1.4) не определены.
При т = 1 область D(k, 1,а,р) есть множество точек, лежащих внутри овала LQ. ЕСЛИ 0 \а\ р, то D(k,1,a, р) содержит 0. Если р \а\ рк/(к — 1), то D(k,1,a,p) непуста и не содержит 0. Если \а\ = рк/(к — 1), то D(k,1,a,р) вырождается в точку Ь = —рк/(к — 1), и, наконец, при \а\ рк/(к — 1) область D(k, 1,а,р) вообще не определена. Следующие теоремы ос 26 нованы на локализации корней полинома (1.16) относительно круга радиуса/) при неотрицательных коэффициентах а и комплексных Ь.
Теорема 1.1. Пусть к}т взаимно просты, к т 1, а Є М+; р 0. 1. Если а рт, то при любом комплексном b уравнение (1.15) р-неустойчиво. 2. Если а = рт, то то при любом комплексном b = 0 уравнение (1.15) р-неустойчиво; при 6 = 0 оно р-устойчиво (не асимптотически). 3. Если0 а рт, то уравнение (1.15) асимптотически р-устойчиво тогда и только тогда, когда комплексное числоЪ лежит внутри областиD(k}m}а,р). 4- Если 0 а рт, то уравнение (1.15) является р-устойчивым тогда и только тогда, когда комплексное число Ь лежит либо внутри, либо на границе области D(k}m}a}р).
Ввиду неравенства а Rmk/(k — т) можно рассмотреть т основных овалов Lj(R), j = 0,1,... ,m — 1, заменяя в Определении 1.4 переменную/) на R. Ввиду Rm а система овалов Lj(R) не имеет ни одной общей точки. Поэтому для любого комплексного числа Ь найдется j Є Z, 0 j т, такое что Ь находится вне овала Lj(R). По Лемме 1.3 уравнение (1.15) Л-неустойчиво. Ввиду R р оно р-неустойчиво. Пункт 1 доказан.
2. Пусть а = рт. При 6 = 0 пункт 2 Теоремы 1.1 очевиден. Пусть Ъ = 0. Если Re Ъ 0, то Ъ лежит вне овала LQ. ЕСЛИ Re 6 0 и т четно, то Ъ лежит вне овала Emj2- Если Re Ь 0 и т нечетно, то Ь лежит вне овала Ь(т_і)/2, либо вне овала Lfm+iy2- В любом случае по Лемме 1.3 уравнение (1.15) р-неустойчиво. Пункт 2 доказан.
3. Пусть 0 а рт. Пусть число Ъ лежит внутри области D(k)m)a)р). Тогда при любом j (0 j т) число Ь лежит внутри овала Lj. В силу Леммы 1.2 от 0 до может быть проведен луч на комплексной плоскости, не пересекающий кривую -разбиения (1.18). Поэтому полином (1.16) имеет одинаковое количество корней внутри круга радиуса как при данном , так и при = 0. Но при = 0 все корни полинома (1.16) находятся внутри круга радиуса . Поэтому и при данном уравнение (1.15) асимптотически устой-чиво.
Если же находится на границе или вне области ( , , , ), то лежит либо на границе одного из основных овалов j, либо вне его, и по Лемме 1.3 уравнение (1.15) асимптотически неустойчиво.
4. Если лежит вне области ( , , , ), то заключение пункта 4 Теоремы 1.1 непосредственно следует из Леммы 1.3. Если лежит внутри ( , , , ), то заключение пункта 4 Теоремы 1.1 непосредственно следует из пункта 3 Теоремы 1.1. Пусть лежит на границе области Тогда для любого корня полинома (1.16) либо , либо = . В последнем случае ввиду неравенства 0 т т /( — ) имеем
поэтому корень на границе круга радиуса не кратный. Теорема 1.1 доказана
Доказательство. 1. Пусть а pkjik - m), пусть дано комплексное число Ь. Найдем такое R р, что pkjik - т) а Rk/(k - т) и точка Ь находится вне овала Lo(R), полученного по Определению 1.4 заменой р на R. По Лемме 1.3 найдется комплексный корень А полинома (1.16), такой что А R р, и -неустойчивость уравнения (1.15) доказана. Положим теперь а = pk/{k - 1). Тогда предыдущие рассуждения также докажут -неустойчивость, если Ь -pk/(k - 1). Если же Ъ = -pk/(k - 1), то при а = pk/(k - 1) число X = р является кратным корнем полинома (1.16), и, следовательно, уравнение (1.15) также р-неустойчиво. Пункт 1 Теоремы 2 доказан.
2. Пусть 0 а pkjik - 1). Область D(k, 1,а,р), то есть область внутренних точек овала Lo, связна. Функция &(w) (см. (1.18)) монотонно возрастает при движении UJ как от 0 до 7Г, так и от 0 до (- 7г). Поэтому внутри LQ нет ни одной точки годографа (1.18). Для завершения доказательства асимптотической/)-устойчивости (1.15) в любой точке внутри LQ достаточно показать, что хотя бы в одной точке bo внутри овала Lo имеет место асимптотическая р-устойчивость. Случай 1. О а р. Тогда точка 6 = 0 лежит внутри Lo, при 6 = 0 полином (1.16) имеет (к - 1)-кратный корень А = 0 и простой корень А = а, что ввиду а р дает асимптотическую р-устойчивость.
Програмный продукт «Устойчивость матричных разностных уравнений с двумя запаздываниями»
В настоящей главе мы назвали базовыми конфигурациями следующие нейронные сети: кольцевые, линейные, двуслойные, звездные, полносвязные.
Устойчивость непрерывных моделей кольцевых сетей хорошо изучена [38, 62, 87] (2004, 2005, 2011). Сравнительный анализ устойчивости кольцевой нейронной сети и линейной, получающейся из кольцевой разрывом связи, изучалась в непрерывных моделях в статьях М.М. Кипниса и Т.Н. Хохловой [64, 65] (2012, 2013) и в диссертации Т.Н. Хохловой [26] (2013).
Но проблема устойчивости дискретных моделей кольцевых нейронных сетей поставлена только в статьях Е. Каслик и ее учителя С. Балинта [58-60] (2007 - 2009). Результаты нашего раздела 2.1 не противоречат результатам Е. Каслик. Преимуществом нашего подхода является изучение поведения кольцевой сети при неограниченном увеличении количества нейронов в ней, а также сравнительный анализ устойчивости дискретных моделей кольцевой и линейной сетей (изучение парадоксальных точек).
Преимущество нашего исследования устойчивости кольцевой сети перед недавней работой Ванга с соавтором [85] (2012) в гораздо более изощренной технике, дающей возможность изучить устойчивость не только сетиСз( 2, &), как в [85], но и любых сетей Сп(а, Ь) и даже их предельное поведение при п — С другой стороны, в [85] затрагивается проблема поведения нелинейной модели сети после потери устойчивости, что не входит в цели нашей диссертации.
Сравним наши результаты с результатами статьи Wei-Ruan [86] (1999) об устойчивости двухнейронной сети с двумя запаздываниями. Преимущество ста 71 тьи [86] перед другими, например, статьей Yuan-Campbell [87] (2004) в том, что в [86] допускается два запаздывания. Преимущество статьи [87] и многих других перед [86] в том, что рассматриваются сети с большим количеством нейронов. Наше исследование соединяет преимущества и тех, и других работ.
Анализ различий результатов настоящей диссертации, с одной стороны, и результатов об устойчивости непрерывных моделей с другой стороны, затрудняется тем, что в непрерывных моделях (например, см. [64, 65]) отсутствует аналог коэффициента демпфирования 7- Но общие моменты в непрерывных и дискретных моделях есть, например, отсутствие парадоксальных точек при разрыве колец с числом нейронов, кратных четырем.
В работе [33] изучалась нелинейная дискретная модель многослойных нейронных сетей. В этой работе даны достаточные условия глобальной устойчивости таких моделей. Наша задача другая — изучение локальной устойчивости и полное описание областей устойчивости в пространстве параметров.
Задача об устойчивости сетей линейной, звездной конфигураций и полносвязных сетей, насколько известно автору, не появлялась в литературе до работ автора. Устойчивость нейронных сетей, полученных из базовых сетей с помощью операции декартова умножения
Постановка задачи о декартовых произведениях сетей
В предыдущей главе мы изучили проблему устойчивости базовых нейронных сетей. Многие распространенные нейронные сети являются декартовыми произведениями базовых. Так, решетка является произведением двух линейных конфигураций, тор — произведением двух колец, цилиндр — произведением кольца на линейную конфигурацию.
Напомним, что мы определили (см. Определение 1.1) нейронную сетьЛ. как упорядоченную пятерку объектов Л = (7, &,m,n, .В), где 7 Є К коэффициент демпфирования, к запаздывание во взаимодействиях нейронов, т запаздывание в демпфировании собственных колебаний нейрона (т к),п количество нейронов в сети, В Є Шпхп матрица взаимодействий различных нейронов с нулевыми диагональными элементами.
Уравнением сети Л = (7,&,m,n, В) мы назвали матричное уравнение с запаздываниями (см. 1.9) х3 = іх3-т + Вх3-к, s = l,2,... (3.1) Нейронная сеть Л = (7, к, т, п, В) представляется взвешенным направленным графом (V, Е) с множеством вершин V = {1, 2,. .. , п} и множеством дуг Е, определенным следующим образом: (j,v) Є Е, если и только если bjv 7 0, в этом случае bjv есть вес дуги (j, v). Ввиду того, что все диагональные элементы В равны нулю, петель в графе нет. Определим декартово произведение двух сетей.
Определение 3.1. Две нейронные сети назовем согласованными, если у них одинаковые у к т. Декартовым произведением двух согласованных нейронных сетей Л\ = (7, k,m,r, В\) и Ai = (7, &,m, 71,-82) мы называем нейронную сеть Д1ПД2 = ( l k m rn Bi 0 В2). Здесь операция Кронекерова сложения матриц 0 определяется равенством 8 i 0 8 2 = 1п 0 В\ + B i 0 Ir, где 0 операция Кронекерова умножения матриц, In, 1Г суть единичные матрицы порядков n, г соответственно.
Сравнение областей устойчивости нейронных сетей кольцевой и линейной конфигураций. Парадоксальные точки
Переход от сети Сп(а,Ь) к согласованной с ней сети Сп(а,Ь) естественно рассматривать как разрыв сети Сп(а, Ь). Если Л произвольная нейронная сеть, согласованная с Сп(а,Ь), то сеть ЛП„(а,6) естественно считать результатом разрыва всех связей между первым и последним экземпляром сети Л в кольце 4ПСп(а, Ь) (Рисунок 3.16). Следующая теорема проясняет, что происходит при этом с областью устойчивости.
Теорема 3.11. Если нейронные сети Л, Сп(а,Ь) и Сп(а,Ь) согласованы. то для любых Й Є R, 6 Є R, р 0 при условии а2 + Ь1 0 существует такое щ, что для любых п щ из р-устойчивости нейронной сети AdCn(a,b) следует асимптотическая р-устойчивость нейронной сетиАС1Сп(а,Ь). i/v sr\ \/\ Рис. 3.16. Кольцо нейронных сетей А\ЗСз(а, Ъ) и результат его разрыва ЛПз(а, Ь).
Доказательство. Пусть задана нейронная сеть Л = (7, к, т, п, А). Фиксируем к, т, 7? Р 0- Пусть действительные числа а, Ь таковы, что а2 + b2 0. Пусть Ai,... , Аг полный список всех собственных чисел матрицы А. Известно [25, 27, 37], что собственные числа матрицы Сп(а, Ь) суть (а + Ъ) cos — + г(а Ъ) sin , а собственные числа матрицы Ln(a, Ъ) суть 2va6cos у, 1 г» п. В силу леммы 3.1, следуя результатам главы 1 диссертации, для анализа устойчивости нейронной сети АП\Сп(а,Ь) мы должны построить точки Mjv = (u\jV} U2jV} UZJV) (1 J T, 1 v п), такие что
СЛУЧАИ 1.1: найдется такое j (1 j г), что точка М1 лежит вне конуса р-устойчивости для данных к,т. Тогда точка Mjn (см. (3.27)) находится вне конуса р-устойчивости, поэтому сеть АП\Сп(а,Ь) при любом п 3 является р-неустойчивой. Поэтому можно положить в заключении теоремы щ = 3. СЛУЧАИ 1.2: найдется такое j (1 j г), что точка М2 лежит вне конуса р-устойчивости. Воспользуемся тем, что [п/2]/п — 1/2 при п — оо (здесь [z] есть целая часть z). Поэтому ввиду (3.27) найдется такое щ, что при любых п щ точка Mj[n/2] лежит вне конуса р-устойчивости. Поэтому сеть Л Сп(а, Ь) при любом п щ является р-неустойчивой.
СЛУЧАИ 1.3: при любом j (1 j г) обе точки М1, М2 лежат внутри конуса р-устойчивости или на его границе. Ввиду неравенства 2у ah а + Ъ (напомним, что а2 + Ь2 т 0) все точки Pjv (см. (3.28)) находятся внутри отрезка прямой с концами М1, М2 (см. (3.29), (3.30)). Но сечение конусар-устойчивости на уровне щ = І7І является выпуклой областью, следовательно, все точки Pjv (1 j г, 1 v п) лежат внутри конуса р-устойчивости. Поэтому нейронная сеть v4Dn(a,&) асимптотически р-устойчива. Следовательно, можно положить в заключении теоремы щ = 3.
СЛУЧАИ 3.1: найдется такое j (1 j г), что точка M3 лежит вне конуса р-устойчивости для данных к, т. Если п — оо, то [п/Щ/п — 1/4, в силу чего ввиду (3.27) найдется такое По, что при любых п щ точка М пш лежит вне конуса р-устойчивости. Поэтому сеть АП\Сп(а,Ь) при любом п щ является р-неустойчивой. Значит, указанное щ будет искомым.
СЛУЧАИ 3.2: найдется такое j (1 j г), что точка М4 лежит вне вне конуса р-устойчивости. Случай рассматривается аналогично случаю 3.1 с той разницей, что используется [Зп/Щ/п — 3/4 вместо [п/4]/п — 1/4. СЛУЧАИ 3.3: при любом j (1 j г) обе точки М3, М4 лежат внутри конуса р-устойчивости или на его границе. Случай может быть рассмотрен аналогично случаю 1.3 с использованием неравенства 2у/а6 а — Ъ вместо 2л/аЬ а + Ъ.
Устойчивость нейронной сети с топологией связей многомерного куба (нейронного гиперкуба)
К классу 1 отнесем такие нейронные сети, что для каждых значений демпфирующего коэффициента (—1,1) и запаздываний имеется непустая область на плоскости которая гарантирует устойчивость сети при любом сколь угодно большом количестве нейронов в ней, при условии сохранения общей архитектуры сети. К классу 2 отнесем такие нейронные сети, в которых для любых фиксированных значений параметров Є ( — 1,1), Є Z+ при стремлении количества нейронов к бесконечности область устойчивости на плоскости ab стягивается к одномерной области (в координатный крест) или в начало координат.
По результатам диссертации классу 1 принадлежат кольцевые и линейные нейронные сети и декартовы произведения кольцевых и линейных сетей в произвольном порядке и количестве. Например, классу 1 принадлежат цилиндрическая пхг конфигурация Сг(а, Ъ) Сп(а, Ъ) (п, г Є Z+), тороидальная п х г конфигурация Cr(a, Ъ) ПСп(а, Ь), решетка Cr(a,b)\3Cr(a,b). К этому классу относятся также не рассмотренные в диссертации экзотические сети, такие как кольца цилиндров Cr(a,b)\3Cn(a,b)\3Ci(a,b) (они же линии торов) (п}г}1 Є Z+), решетки колец Cr(a, b) Пп(а, b) ПС/(а, Ь) (они же линии цилиндров) и другие. Все эти сети сохраняют шансы на устойчивость при стремлении п, /, г к бесконечности вместе или по отдельности, поскольку собственные числа матриц запаздывающих взаимодействий для этих сетей ограничены в процессе роста числа нейронов.
Классу 2 принадлежат остальные рассмотренные в диссертации нейронные сети, например, двуслойная сеть с количеством нейронов п и г в первом и втором слоях соответственно, трехслойная сеть с количеством нейронов п, г, / в первом, втором и третьем слоях соответственно. Также классу 2 принадлежат звездные сети с п периферийными нейронами, n-мерный нейронный гиперкуб, полносвязная сеть. Все эти сети теряют устойчивость при стремлении п,1,г к бесконечности вместе или по отдельности, поскольку собственные числа матриц запаздывающих взаимодействий для этих сетей неограниченно растут при неограниченном росте числа нейронов.
Классификация по сохранению/несохранению устойчивости при односторонних взаимодействиях и неограниченном росте силы действия нейрона в одном из направлений. Рассмотрим изученные в диссертации сети с фиксированными коэффициентом демпфирования 7 Є ( —1,1) и запаздываниями к,т,п Є Ъ+{к т). Положим 6 = 0, тем самым обеспечив одностороннее взаимодействие внутри сети. Отнесем сеть к классу I, если она устойчива при любом а, и к классу II, если найдется такое ао, что при любых а 2о данная сеть неустойчива.
По результатам диссертационного исследования выясняется, что классу II принадлежат нейронные кольца Сп(а, Ь) и все декартовы произведения кольца Сп(а, Ь) на любую нейронную сеть, поскольку при 6 = 0 собственные числа матрицы запаздывающих взаимодействий для нейронного кольца неограниченно увеличиваются при неограниченном росте количества нейронов в кольце. Классу II принадлежат цилиндрическая п х г конфигурация Cr(a}b) ПСп(а,6) (п}г Є Z__), тороидальная п х г конфигурация Сг(а, Ъ) ПСп(а, Ъ). Этому классу принадлежат также упомянутые ранее кольца цилиндров Сг(а, Ь) ПСп(а, Ь) ПС/(а, Ь) (п, г, / Є Z__), а также решетки колец Сг(а, Ъ) П Сп(а, Ъ) П Ci(a} b).
Классу I принадлежат все остальные рассмотренные в диссертации нейронные сети, например, линейные конфигурации Сп(а, Ь), звездная и двуслойная конфигурации, нейронные решетки Сп(а, Ь) П Сг{а, 6), нейронные гиперкубы, полносвязные нейронные сети, поскольку все собственные числа матриц запаздывающих взаимодействий этих сетей равны нулю, когда взаимодействие нейронов в сети является односторонним. Классу I принадлежат также декартовы произведения всех упомянутых здесь сетей класса I на любые устойчивые нейронные сети.
Рекомендации по использованию научных выводов диссертации Введение понятия парадоксальных точек дает возможности исключения нежелательных явлений в реальных нейронных сетях в процессе их разрыва. Практическим применением работы является также внедрение специальных курсов по устойчивости нейронных сетей в учебные программы магистров на факультете информатики Челябинского государственного педагогического университета.
