Содержание к диссертации
Введение
ГЛАВА 1. Анализ составных фрагментов технологий биометрической аутентификации
1.1. Обзор методов измерения параметров статических биометрических образов личности 17
1.1.1. Использование рисунка сосудов глазного дна 18
1.1.2. Использование радужной оболочки глаза 19
1.1.3. Особенности геометрии кисти руки 20
1.1.4. Папиллярный рисунок пальцев руки 21
1.1.5. Индивидуальные особенности геометрии лица 23
1.1.6. Термографическое наблюдение лицевых артерий и вен 26
1.1.7. Идентификация по венам руки 26
1.1.8. Другие статические методы идентификации 27
1.2. Обзор методов измерения параметров динамических биометрических образов личности 27
1.2.1. Принципы, объясняющие стабильность динамической биометрии 27
1.2.2. Идентификация личности по рукописной подписи и динамике ее воспроизведения 35
1.2.3. Идентификация личности по клавиатурному почерку 45
1.2.4. Идентификация личности по особенностям голоса 49
1.2.5. Другие методы биометрической идентификации по динамике подсознательных движений 58
1.3. Особенности режимов биометрической идентификации и аутентификации 59
1.3.1. Биометрическая идентификация в широком и узком смысле... 59
1.3.2. Биометрическая аутентификация личности 63
1.3.3. Многообразие протоколов биометрической аутентификации... 68
1.4. Обобщенная структура систем биометрической идентификации и аутентификации личности по особенностям динамики подсознательных действий 75
1.5. Анализ атак на биометрические системы идентификации и аутентификации 80
1.5.1. Атака перехвата предъявляемого биометрического образа... 80
1.5.2. Атака прямого подбора известного биометрического образа 81
1.5.3. Атака подбора неизвестного биометрического образа 82
1.5.4. Атака на автомат обучения 82
1.5.5. Атака на биометрический эталон 83
1.5.6. Атака на содержание решающего правила 84
1.5.7. Атака на «последний бит» решающего правила 85
1.6. Проблемы использования искусственных нейронных сетей в биометрических системах идентификации и аутентификации личности 86
1.6.1. Низкое быстродействие процедур итерационного обучения искусственных нейронных сетей 87
1.6.2. Плохая устойчивость итерационных алгоритмов обучения 91
1.6.3. Отсутствие гарантий качества обучения нейронных сетей 92
1.6.4. Проблема отсутствия представительной выборки образов «Все Чужие» 93
1.6.5. Проблема отсутствия достаточно полного аналитического описания искусственных нейронных сетей 94
1.7. Формулировка основных требований к нейросетевым технологиям
биометрической аутентификации и задач исследования 95
ГЛАВА 2. Использование теории рядов вольтерра для аналитического описания искусственных нейронных сетей
2.1. Описание искусственного нейрона функциональным рядом Вольтерра 99
2.2. Проблемы идентификации многомерных ядер Вольтерра и пути их решения 102
2.2.1. Приведение ядер Вольтерра к симметричной форме 104
2.2.2. Независимость вычислительной сложности аппроксимационной идентификации ядер Вольтерра от их порядка 109
2.2.3. Одномерная аппроксимация ядер Вольтерра 111
2.2.4. Двухмерная аппроксимация ядер Вольтерра 116
2.2.5. Идентификация ядер Вольтерра с учетом гистерезиса нелинейных элементов 123
2.3. Особенности аппроксимации ядер Вольтерра при
детерминированных входных воздействиях 126
2.3.1. Ортогональная идентификация ядер Вольтерра на синусоидальных входных воздействиях 130
2.3.2. Ортогональная идентификация ядер Вольтерра на несинусоидальных входных воздействиях 133
2.3.3. Переход от модели Гаммерштейна к эквивалентной модели Винера на синусоидальных сигналах 135
2.4. Наблюдение сечений ядер Вольтерра по главной диагонали на
случайных входных сигналах 137
2.4.1. Регуляризация одномерных алгоритмов идентификации ядер Вольтерра при входных случайных воздействиях 140
2.4.2. Ортогонализация одномерных алгоритмов идентификации ядер Вольтерра при входных случайных воздействиях 142
2.4.3. Пересчет параметров модели Гаммерштейна в параметры модели Винера на «белом» шуме 145
2.4.4. Процедуры наблюдения сечений ядер Вольтерра на «белом» шуме вне главной диагонали 147
2.5. Размерность задачи обучения искусственных нейронных сетей (приемы понижения размерности) 150
2.5.1. Понижение размерности задачи обучения нейронных сетей через их симметризацию 152
2.5.2. Понижение размерности задачи через явное разделение линейных и нелинейных операций в модели объекта 153
2.5.3. Понижение вычислительной сложности через совместное использование моделей Гаммерштейна с моделями Винера 154
ГЛАВА 3. Обучение линейных элементов искусственных нейронных сетей
3.1. Алгоритмы обучения, имеющие линейную вычислительную
сложность и вычислительную сложность выше и кубической 156
3.2. Алгоритмы обучения с квадратичной вычислительной сложностью 160
3.3. Модель злоумышленников "Все Чужие" 164
3.4. Снижение размерности задачи описания качества обучения
биометрической системы 166
3.5. Оценка качества обучения линейного нейрона 168
ГЛАВА 4. Алгоритмы быстрого обучения нелинейных нейронных сетей
4.1. Выбор формы нелинейного элемента для нейронных сетей систем биометрической аутентификации 171
4.2. К вопросу о точности исходных данных и гладкости, отыскиваемых при обучении нейросетевых решений 173
4.3. Механизм улучшения качества решения, принимаемого нейронными сетями при введении в них нелинейных элементов . 176
4.4. Декомпозиция нейронной сети на последовательность линейных и нелинейных слоев 178
4.5. Преимущества и недостатки модели Гаммерштейна в сравнении с моделью Винера 180
4.6. Симметризация настраиваемой нейронной сети 181
4.7. Выбор постоянного смещения нелинейного элемента,
исключающий «паралич» настраиваемого нейрона 184
4.8. Оптимизация масштаба входного сигнала нелинейного элемента 187
4.9. Преимущества и недостатки быстрых алгоритмов обучения
искусственных нейронных сетей 190
Глава 5. Измерение качества входных данных и предсказание ожидаемого качества обучения нейросети биометрических систем
5.1. Корректная постановка задачи предсказания качества обучения
нейронной сети биометрической системы 192
5.2. Классификация пользователей биометрических систем 193
5.3. Симметризация линейной части нейрона для прогноза качества его обучения 197
5.4. Предсказание качества обучения для алгоритмов линейной вычислительной сложности 202
5.5. Синтез таблицы предсказания качества обучения для алгоритмов квадратичной вычислительной сложности 205
5.6. Использование таблиц предсказания качества обучения для сравнения входных разнородных данных 207
5.7. Предварительное измерение качества данных перед обучением искусственных нейронных сетей 208
ГЛАВА 6. Неиросетевое объединение протоколов криптографической и биометрической аутентификации
6.1. Электронные деньги - потребность е-бизнеса, е-банкинга и Internet-торговли 211
6.2. Стойкость к перебору параметров протоколов парольной, криптографической и биометрической аутентификации 216
6.3. Корректная стыковка протоколов биометрической, парольной и криптографической аутентификации , 220
6.4. Расширяющиеся нейронные сети для синтеза личного биометрического ключа 221
6.5. Оценка длины синтезируемого личного ключа при использовании только нелинейных преобразований 225
6.6. Улучшение параметров личного ключа при переходе к совместному использованию линейных и нелинейных элементов сети 229
6.7. Многослойные нейронные сети для синтеза личных криптографических ключей пользователя 231
6.8. Организация процедуры внутрисетевого перемешивания входных данных за пределами области «Свой» 233
6.9. Многообразие вариантов программных средств организации биометрического доступа к защищенной информации 234
6.10. Не криптографические способы привязки программного обеспечения к биометрии личности пользователя 237
6.11. Аудит биометрической информации как одна из эффективных мер повышения защищенности информационных технологий 240
ГЛАВА 7. Малопараметрическая имитация биометрических данных с симметричными и асимметричными корреляционными матрицами
7.1. Проблема простого синтеза примеров биометрических данных с плавно изменяемым качеством 245
7.2. Синтез векторов некоррелированных входных данных 247
7.3. Синтез векторов равнокоррелированных входных данных 252
7.4. Синтез векторов со знакопеременной, но равной по модулю взаимной корреляцией данных 254
7.5. Синтез векторов со знакопостоянными, но случайными по модулю значений коэффициентами корреляции 256
7.6. Формирование зависимых данных со случайными дисперсиями и случайной знакопеременной матрицей коэффициентов корреляции 259
7.7. Синтез зависимых данных с ленточными матрицами коэффициентов корреляции 261
7.8. Синтез зависимых данных с Марковской корреляционной матрицей 263
ГЛАВА 8. Условия эквивалентности симметричных и асимметричных нейронных сетей
8.1. Эквивалентность искусственных нейронных сетей для некоррелированных входных данных с одинаковыми и разными математическими ожиданиями 266
8.2. Эквивалентность искусственных нейронных сетей для некоррелированных входных данных с одинаковыми и разными среднеквадратическими отклонениями 269
8.3. Два типа условий симметризации искусственных нейронных сетей 271
8.4. Полная эквивалентность данных с равными по модулю коэффициентами корреляции 275
8.5. Эквивалентность искусственных нейронных сетей с входными данными, имеющими равную корреляцию и три разных значения коэффициентов корреляции 279
8.6. Эквивалентность искусственных нейронных сетей с данными, имеющими нормальный закон распределения значений коэффициентов корреляции 282
8.7. Симметризация искусственных нейронных сетей, разделяющих множества «Свой» и «Чужой» с существенно разными эквивалентными коэффициентами корреляции 286
ГЛАВА 9. Синтез автоматов для обучения искусственных нейронных сетей биометрических систем
9.1. Синтез табличного автомата для обучения сужающейся искусственной нейронной сети с заданной структурой 290
9.2. Синтез табличного автомата для обучения сужающейся ИНС с заранее не определенной структурой связей 295
9.3 Синтез автомата для формирования сети нелинейных элементов, преобразующих тайный образ «Свой» в личный ключ пользователя 299
9.4 Синтез автомата для обучения расширяющейся однослойной ИНС, преобразующей тайный образ «Свой» в бинарный личный ключ 301
9.5 Синтез автомата для обучения расширяющейся однослойной ИНС, преобразующей тайный образ «Свой» в личный ключ из цифр с основанием более двух 304
9.6 Синтез автомата для обучения расширяющейся многослойной ИНС, преобразующей тайный образ «Свой» в личный ключ 309
9.7. Связь качества входных данных и необходимого числа входов искусственной нейронной сети 312
9.8. Задание необходимого числа примеров обучения при входных данных разного качества 315
9.9. Рост числа примеров обучения при увеличении числа входов у искусственных нейронов 318 9.10. Расчет ограничителей при реализации вычислительных процедур декорреляции биометрических входных данных 320
ГЛАВА 10. Оценка вычислительной сложности алгоритмов обучения и тестирования искусственных нейронных сетей
10.1. Обобщенная вычислительная сложность процедур обучения искусственных нейронных сетей 323
10.2. Устойчивость алгоритмов обучения искусственных нейронных сетей 325
10.3 Оценка сокращения времени обучения при отказе от итерационных алгоритмов обучения ; 328
10.4 Вычислительная сложность декорреляционных алгоритмов обучения нелинейных нейронных сетей 331
10.5. Оценка вычислительной сложности обучения по алгоритму с оптимизацией структуры связей ИНС 333
10.6. Оценка вычислительной сложности обучения по алгоритму со случайным выбором связей ИНС 335
10.7. Оценка вычислительной сложности атак перебора возможных значений биометрических параметров 337
10.8. Сокращение затрат вычислительных ресурсов при сертификации нейросетевых продуктов удаленной биометрической аутентификации 341
10.9. Стандартизация нейросетевых биометрических технологий... 342
Заключение 350
Литература
- Обзор методов измерения параметров динамических биометрических образов личности
- Проблемы идентификации многомерных ядер Вольтерра и пути их решения
- Механизм улучшения качества решения, принимаемого нейронными сетями при введении в них нелинейных элементов
- Синтез таблицы предсказания качества обучения для алгоритмов квадратичной вычислительной сложности
Обзор методов измерения параметров динамических биометрических образов личности
Одним из ранних и самых надежных методов идентификации личности является использование рисунка кровеносных сосудов глазного дна. Вены и артерии, снабжающие глаз кровью, хорошо видны при подсветке глазного дна внешним источником света. Саймон и Голдштейн в 1935 году доказали уникальность дерева кровеносных сосудов глазного дна для каждого конкретного индивидуума. Процедура идентификации личности сводится к тому, что человек наблюдает сквозь специальный окуляр удаленную световую точку. При этом осуществляется инфракрасная подсветка его глазного дна и на нем выделяется дерево кровеносных сосудов. Оно сравнивается с эталоном. Ошибки метода обусловлены отклонениями головы испытуемого от эталонного и неверная фокусировка им взгляда на удаленном источнике света (при тестировании испытуемый должен сфокусировать свой взгляд на удаленной светящейся точке). По данным Сандийской национальной лаборатории (США) ошибки первого рода для метода составляют 0,4%. Ошибки второго рода практически невозможны. Отсутствуют данные о трудностях по изготовлению муляжа, способного обмануть подобные биометрические устройства. Устройства этого класса являются одними из самых дорогих -4000 долл. и относятся к наименее популярным. Пользователи предубеждены, что используемая устройствами инфракрасная подсветка их глазного дна вредит здоровью. Данных по хорошо подготовленным специфическим атакам на этот тип биометрических устройств нет.
Еще одним уникальным для каждой личности статическим образом является радужная оболочка глаза. Уникальность рисунка радужной оболочки обусловлена генотипом личности, и существенные отличия радужной оболочки наблюдается даже у близнецов. Врачи используют рисунок и цвет радужной оболочки для диагностики заболеваний и выявления генетической предрасположенности к некоторым заболеваниям. Обнаружено, что при ряде заболеваний на радужной оболочке появляются характерные пигментные пятна и изменения цвета. Для ослабления влияния состояния здоровья на результаты идентификации личности в технических системах используются только черно-белые изображения высокого разрешения.
Уникальность рисунка радужной оболочки глаза позволяет выпускать фирмам целый класс весьма надежных систем для биометрической идентификации личности. Этот класс систем захватывает видеоизображение глаза на расстоянии 20-30 сантиметров от видеокамеры, осуществляет автоматическое выделение зрачка и радужной оболочки. По рекламным данным ошибки второго рода для этого метода составляют величину порядка 0,0001%. О том, насколько трудно изготовить муляж радужной оболочки, данных нет. Стоимость систем колеблется в интервале от 6500 долл. до 500 долл. Ожидать падения стоимости систем этого класса не приходится, так как в них используются видеокамеры высокого разрешения, и основные патенты этой технологии идентификации находятся в руках одной фирмы MScan.
Данных по возможности изготовления муляжа радужной оболочки человека, например, в виде контактной линзы нет.
Системы идентификации по силуэту кисти руки появились одними из первых и начали серийно выпускаться фирмой Idenmat (США) более 20 лет назад. С точки зрения компактности образа этот класс систем является самым экономичным. При хранении информации только о длине периметра тени и ширине тени пальцев требуется всего 9 байт. Естественно, что для систем, учитывающих только длину и ширину пальцев, может быть легко изготовлен картонный муляж руки оригинала.
Более сложными являются системы, дополнительно измеряющие профиль руки (объем пальцев, объем кисти, неровности ладони, расположение складок кожи на сгибах). Данные об объемах (3D геометрии) руки получают путем использования одной телевизионной камеры и инфракрасной подсветки руки под разными углами. Последовательное включение нескольких подсвечивающих светодиодов дают теневые варианты проекций трехмерной геометрии кисти руки, содержащие информацию об её объёме. Использование подобного технического решения не позволяет выполнять устройства малогабаритными, так как требуется выносить источники подсветки на расстояние 10-15 сантиметров. Стоимость устройств составляет от 3000 до 600 долл. Ошибки первого и второго рода для современных биометрических устройств этого класса составляют менее 0,2%. Пользователи лояльно относятся к системам идентификации личности по геометрии кисти руки. Системы этого класса не предъявляют особых требований к чистоте, влажности, температуре рук.
Изготовление муляжа руки при подготовке профессиональной атаки оценивается экспертами как вполне реальная угроза.
Кожа человека состоит из двух слоев, при этом нижний слой образует множество выступов - сосочков (по латыни сосочек - papillae), в вершине которых имеются отверстия выходных протоков потовых желез. На основной части кожи сосочки - papillae (потовые железы) располагаются хаотично и трудно наблюдаемы. На отдельных участках кожи конечностей папилляры строго упорядочены в линии (гребни), образующие уникальные папиллярные узоры.
Идентификация личности на основе папиллярных рисунков пальцев рук предложена двумя авторами Г. Фулдсом и В. Гершелем в статье авторитетного английского журнала «Nature» в 1880 году. Метод идентификации широко распространен в криминалистике, что является причиной настороженного отношения к нему части населения. В США дактилоскопия проводится у всего населения и не вызывает предубеждения, характерного для жителей других стран.
Системы дактилоскопической идентификации личности снимают с помощью телевизионной камеры папиллярный узор с одного из пальцев заявителя прав доступа и сравнивают его с эталонным рисунком. Объем хранимой эталонной информации может быть существенно уменьшен [4], если осуществить классификацию на характерные типы папиллярных рисунков и выделить на отпечатке характерные микроособенности, представляющие собой начала (окончания) папиллярных линий или их слияния (разветвления). Выделяют три типа папиллярных рисунков (дуговые, завитки, круговые) и два типа макроособенностей (дельты и центы).
По результатам независимого тестирования ошибки первого рода для систем этого класса составляют от 10% до 20%, если учитывать неблагоприятные случаи сухой кожи, а также включать в состав группы тестирования лиц с плохо выраженными папиллярными рисунками (как правило, это женщины и лица азиатского происхождения). Производители папиллярных биометрических систем идентификации в рекламе своих продуктов оценивают ошибки первого рода на уровне 2%, а ошибки второго рода на уровне 0,0001%. Последняя цифра, видимо, может быть отнесена только к случаям «неумелого» взлома систем без использования муляжа. В работе [5] приводится описание двух примитивных технологий изготовления муляжей, оказавшихся эффективными для взлома 2 из 6 тестируемых систем.
Проблемы идентификации многомерных ядер Вольтерра и пути их решения
Существует достаточно высокая вероятность того, что конкретный пользователь передоверится биометрической системе, ориентируясь на ее хорошие среднестатистические показатели. Из-за неудачного выбора слова-пароля или из-за использования системой неудачной проекции биометрических параметров конкретной личности реальные показатели качества системы могут оказаться очень плохими. Для того, чтобы избежать этой ситуации, биометрические системы будущего должны уметь сравнивать биометрический эталон конкретной личности со среднестатистическим эталоном и предсказывать показатели качества системы для конкретного пользователя. На сегодня ни одна из коммерческих биометрических систем подобным свойством не обладает, и, видимо, потребуется значительное время на осознание производителями тонкостей этой проблемы. В конечном итоге конкретного покупателя (потребителя) услуг биометрии должны мало волновать среднестатистические абстракции, для него куда более важными являются те конкретные качества системы, которые она обеспечит лично для него. Эпоха биометрических систем, скроенных под абстрактного среднестатистического пользователя, должна рано или поздно закончиться. Обязательно должны появиться биометрические системы, способные индивидуально подходить к идентификации каждой личности и гарантирующие для каждой конкретной личности вполне определенное качество услуг.
Выводы по параграфу 1.3.1. На сегодняшний день классическая идентификация, биометрия и нейроинформатика выглядят как три почти самостоятельных независимо развивающихся направления исследований. Однако это близкие и во многом пересекающиеся направления исследований. Наиболее строгим и хорошо развитым научным направление является идентификация. Целесообразно попытаться максимально полно отобразить в биометрию и нейроинформатику такие основные понятия идентификации как идентификация в широком и узком смысле (отображается как разделение задач разработки биометрической системы (нейросети) и задачи обучения существующей биометрической системы (нейросети)); ; оценка погрешности конкретных моделей (отображается как требование гарантий качества при обучении биометрической системы или нейросети на конкретных данных пользователя).
С точки зрения потребителя биометрическая идентификация является некоторой подготовительной операцией перед основными процедурами биометрической аутентификации. Основной задачей биометрических систем является задача биометрической аутентификации. Принципиальным отличием идентификации и аутентификации является уровень доверия к пользователю. На предварительном этапе идентификации (обучения системы) уровень доверия к регистрируемому пользователю априорно высок. В многопользовательской системе биометрическая идентификация обязательно должна проводиться под прямым контролем ее владельца или его представителя (офицера безопасности), подтверждающего полномочия регистрируемой личности и корректность ее поведения при обучении системы.
Режим биометрической аутентификации, напротив, предполагает низкий уровень доверия к аутентифицируемой личности. При биометрической аутентификации личность-заявитель должна доказать подлинность своего заявленного имени путем предъявления своих уникальных биометрических образов. Следует : особо отметить, что биометрическая аутентификация потенциально ! уязвима, если она используется независимо от методов классической аутентификации, построенных на протоколах с использованием паролей и ключей. Достаточный уровень информационной безопасности может быть обеспечен только сочетанием методов классической аутентификации и биометрической аутентификации.
Классическая аутентификация пользователей строится на знании ими паролей или на обладании пользователями криптографическими ключами [42-46]. До запуска процедур классической аутентификации все участники этих процедур должны предварительно получить всю необходимую им аутентификационную и проверочную информацию. Для классической аутентификации этап регистрации пользователя совпадает с процедурой его идентификации через присвоение имени пользователя (идентификатора), генерации и передачи пользователю его пароля, генерации и доставке пользователю его ключа (ключей). Далее по тексту нет смысла обсуждать такие проблемы, как распределение симметричных ключей или сертификацию асимметричных открытых ключей. Управление ключами - это специфическая тема, не обсуждаемая в данной работе.
Биометрическая аутентификация пользователя предполагает добавление к классическим элементам аутентификации биометрического эталона пользователя или биометрического ключа, полученного из биометрического эталона. При этом синтез биометрического эталона пользователя и его биометрического ключа осуществляется на этапе обучения системы или на этапе биометрической идентификации в узком смысле. Структура этапа регистрации и идентификации личности пользователя приведена на рисунке 14.
Для современных биометрических систем принципиальным является обучение на множестве из нескольких примеров биометрических образов пользователя. При этом качество обучения биометрической системы улучшается с ростом числа использованных примеров, однако большое число примеров при обучении раздражает потребителей и неприемлемо. Оптимальным является наличие контроля качества биометрического эталона в процессе обучения системы и увеличение числа примеров только при недостаточном уровне качества. Если рассматривать процедуры обучения или процедуры биометрической идентификации как подготовительные, то их завершением будет являться момент времени, когда вся аутентификационная информация будет распределена между участниками будущих процедур аутентификации.
При распределении между участниками биометрической аутентификационной информации могут быть использованы только безопасные каналы связи. Требования к каналам распределения биометрической информации в виде биометрических эталонов и ключей совершенно такие же, как и требования к распределению классической аутентификационной информации в виде паролей и симметричных ключей. При распределении этой аутентификационной информации должны использоваться специальные меры по обеспечению ее конфиденциальности и целостности (личные встречи, шифрование, потайные каналы).
Механизм улучшения качества решения, принимаемого нейронными сетями при введении в них нелинейных элементов
При малом статистическом объеме обучающей выборки нельзя достоверно разделить ошибки из-за малого (всегда конечного) числа примеров и ошибки из-за неудачного подбора весовых коэффициентов нейронной сети. Может оказаться, что пресловутые овраги и плато, мешающие градиентному поиску минимума, порождаются не природой решаемой задачи, а природой ошибок измерения (наблюдения).
Очевидно, что проблему «сложности структуры поверхности ошибок» можно ослабить, если вместо поочередной подстановки исходных данных примеров пользоваться некоторыми интегральными параметрами. В частности, если обучать систему, пользуясь вычисленными статистическими моментами обучающей выборки, то конечное решение должно сглаживаться быстрее. Интегральные статистические моменты (математические ожидания, дисперсии, коэффициенты корреляции) выгоднее использовать при обучении, так как они построены на операциях усреднения, подавляющих случайные ошибки исходных данных.
Заметим, что «гладкость» поверхности ошибок в методе обратного распространения ошибок прямо связана с качеством исходных данных. Очевидно, что всегда можно искусственно ухудшить ситуацию, размывая данные обучения «белым шумом». При этом поверхность ошибок будет усложняться, приближаясь к «белому шуму». Различные итерационные методы направленного поиска глобального максимума іфункции качества при добавлении шума и усложнении поверхности ошибок будут работать все хуже и хуже. Будет расти вероятность их зацикливания. С ростом шума в исходных данных растет время итерационного поиска оптимгльного решения. Можно говорить о том, что гладкость решения («гладкость» поверхности ошибок) прямо связана со временем поиска решения итерационными методами.
В наличии подобной связи (время -» качество данных) легко убедиться, рассматривая простую задачу решения системы линейных уравнений. Эту задачу можно решать несколькими способами, например, методом Гаусса. Можно идти другим путем и пользоваться известными итерационными процедурами поиска приближенного решения системы линейных уравнений [175, 176]. будет иметь линейную
Для начала возьмем хорошо определенную систему линейных уравнений с диагональной матрицей. Для такого идеального случая итерационные процедуры поиска решения будут работать быстрее метода Гаусса. Метод Гаусса имеет кубическую вычислительную сложность, в то время как итерационный поиск для диагональных матриц вычислительную сложность.
Если теперь постепенно добавлять шум в исходные данные, то поиск итерационными методами будет занимать все больше!и больше времени. Число итераций связано с качеством исходных данных для итерационных методов. Для метода Гаусса такой связи нет (время вычислений не меняется).
Если шум оказывается сопоставимым с величинами диагональных элементов исходной матрицы, то после ее зашумления увидеть ее диагональную структуру невозможно. Получается, что начиная с некоторого критического качества исходных данных, итерационные процедуры перестают давать выигрыш во времени по сравнению с методом Гаусса.
При дальнейшем увеличении шума в исходных данных итерационные методы зацикливаются и перестают давать правдоподобные решения. Справедливости ради следует отметить, что и метод прямых вычислений по Гауссу дает плохие результаты, но при этом он не зацикливается и не тратит впустую вычислительные ресурсы.
Таким образом, при прочих равных условиях всегда имеет смысл иметь данные с минимальной погрешностью. В частности, предварительное усреднение исходных данных и вычисление их статистических моментов всегда предпочтительнее прямого использования [зашумленных примеров. Кроме того, предварительное усреднение исходных данных наряду с очевидным повышением точности отыскиваемого решения должно приводить к сокращению времени его поиска итерационными методами.
Вывод по параграфу 4.2. Негладкость решения, вносимая кусочно-линейной функцией возбуждения нейронов для биометрии оказывается пренебрежимо малой в сравнении с негладкостью того же решения, обусловленной ошибками из-за малой обучающей выборки (20-30 примеров).
Механизм улучшения качества решения, принимаемого нейронными сетями при введении в них нелинейных элементов.
Одной из важных проблем нейроинформатики является проблема объяснения механизма улучшения качества решений нейронных сетей за счет введения в них нелинейных элементов. На сегодня «по умолчанию» принято считать, что нелинейные нейронные сети всегда лучше линешшх, внятных объяснений этому общепринятому положению нет.
Общепринятое «положение» о преимуществах нелинейных сетей не является абсолютным. Представляется, что в более строгой формулировке должны уйти категорические переходы. Скорее всего, правильным будет утверждение о том, что нелинейные сети выгоднее «линейных» сетей нейронов в большинстве случаев, однако при очень плохих входных данных введение нелинейных элементов в сеть наносит только вред [l]j
К такому утверждению легко прийти, если рассмотреть механизм влияния нелинейных элементов на статистические моменты законов распределения значений множеств «Свой» и «Чужой». Заметим, что законы распределения множеств «Свой» и «Чужой» на выходе сумматора нейрона близки к нормальным. Даже если входные данные сумматора отличаются от нормальных, они нормализуются при суммирование при настройке весовых коэффициентов декорреляционными процедурами. Известно, что суммирование независимых (г = 0) случайных іеличин приводит к их нормализации.
Синтез таблицы предсказания качества обучения для алгоритмов квадратичной вычислительной сложности
Ситуация, описываемая одномерным интегральным уравнением (8.5) и отображенная на рисунке 57, соответствует вырожденному персептрону с одним входом. Соответственно, невырожденный персептрон с п входами будет описываться n-мерными интегральными уравнениями: определяется взаимным расположением множеств «Свой» и «Чужой» по каждой из переменных.Подчеркнем, что появление несимметричных многомерных плотностей распределения значений рс(х1} х2,...,хп), рч(хі, х2,...,хп) в подинтегральных выражениях (8.6) дает право заменить их на некоторые эквивалентные симметричные плотности смрс(хі, х2,...,хп), смрч(х}) х2,...,х„), которые относительно некоторой точки симметрии - ai дадут то же самое значение равновероятной ошибки: что и исходные несимметричные функции. При этом каждое сечение многомерной симметричной функции будет давать проекции, совпадающие друг с другом и повторяющие в некотором масштабе его параметров рисунок 57.
Более того, потребуем от симметричных многомерных функций того, чтобы при изменении параметра а кривые ошибок первого и второго рода повторяли кривые этих же вероятностей ошибок первого и второго рода для исходного несимметричного персептрона:
Отметим, что все приведенные выше соотношения записаны для персептрона с единичными весами (весьма сомнительный способ настройки), однако хорошо настроенную нейросеть или один персептрон можно представить как некоторую многомерную функцию F(X;, х2,...,хп). Тогда эквивалентную симметричную функцию обозначим как CMF(xy, Х2,...,х„), причем эта функция должна давать функции ошибок первого и второго рода:
Очевидно, что построить симметричные плотности распределения значений и симметричные функции много проще, если учитывать только эквивалентность вероятностей
Очевидно, что условия (8.10) являются частным случаем более жестких условий (8.11). Соответственно имеет смысл (8.10) рассматривать как некоторое частичное выполнение симметризации, а (8.11) тогда можно рассматривать как полную симметризацию изначально несимметричных многомерной функции, реализуемой нейронной сетью.
Необходимость в подобных уточнениях должна быть очевидной. Так, процедуры симметризации, описанные в предыдущем параграфе, приводят только к частичной симметризации. Выполняется эквивалентность вероятностей ошибок первого и второго рода только в их точке совпадения. Вычислительная процедура (8.3) дает одинаковые средние дисперсии для множеств «Свой» и «Чужой» даже тогда, когда эти множества имеют существенно разные диаметры.
Для того, чтобы воспроизводить несимметричные кривые вероятностей ошибок первого и второго рода (например, как это показано на рисунке 57), необходимо независимо усреднять дисперсии данных образов «Свой» и дисперсии данных образов «Чужой». Вместо (8.3) целесообразно использовать следующие вычисления:
ВЫВОД по параграфу 8.3. Статистические характеристики общие для множеств «Свой» и «Чужой» (например, расстояния между центрами этих множеств по каждому параметру) могут рассчитываться по упрощенным формулам частичной симметризации. Частные статистические параметры плотностей распределения значений множеств примеров «Свой» и «Чужой» должны рассчитываться только по своему множеству. Соответственно, эти параметры получаются разными для множеств «Свой» и «Чужой», однако в этом случае удается воспроизводить у симметричных моделей кривые вероятностей ошибок первого и второго рода, характерные для исходно несимметричных нейронных сетей.
Полная эквивалентность данных с равными по модулю коэффициентами корреляции. Рассмотрим систему зависимых между собой биометрических данных. Будем считать, что данные «Свой» и «Чужой» имеют автокорреляционные матрицы с одинаковыми по модулю элементами. «Чужой» знает или угадывает модули автокорреляционных связей образов «Свой», и при реализации атаки ему нужно угадать только значения математических ожиданий и дисперсий.
Для определенности будем рассматривать «Чужого», который уже угадал дисперсии «Своего» ( G4- JC ) и не знает только математических ожиданий биометрических параметров. Биометрические образы «Чужого» отличаются от образов «Свой» только значениями математических ожиданий ровно на значение своей дисперсии -ач, имеется одностороннее смещение m4;i = Шсд + ач. (8.13.).
Зададим корреляционные связи единичной матрицей связей с одинаковыми числами «а» на диагонали. При этом мы получим одинаковые по модулю и по знаку коэффициенты парной внутренней корреляции данных образов «Свой» и образов «Чужой».
Далее будем строить простейшую линейную нейронную сеть, имеющую 16 входов. Обучение этой сети будем осуществлять простейшим итерационным методом градиентного спуска на 100 примерах. После обучения осуществим тестирование искусственной нейронной сети на 1000 контрольных примеров. Повторим численный эксперимент для одинаковых значений коэффициентов корреляции г=0.7 и г=0.3 в двух разных корреляционных матрицах. Кроме того, повторим этот же численный эксперимент для корреляционных матриц с равными по модулю коэффициентами корреляции, но разными знаками этих коэффициентов г=±0.7 и г=±0.3.
