Содержание к диссертации
Введение
Глава 1. Анализ предметной области. Постановка цели и задач исследования 10
1.1 Современное состояние проблемы аутентификации пользователей информационных систем 10
1.2 Анализ биометрических признаков для аутентификации пользователей информационных систем 13
1.3 Анализ угроз безопасности информационных систем 21
1.4 Существующие методы противодействия атакам спуфинга на системы биометрической аутентификации пользователей по изображению лица 24
1.5 Подход к расчету эффективности разрабатываемой системы аутентификации пользователей по изображению лица 27
Выводы по главе 1 30
Глава 2. Разработка методов повышения точности аутентификации пользователей информационных систем 31
2.1 Повышение точности аутентификации путем повышения точности подсистемы детектирования лица 31
2.1.1 Детектирование лица 31
2.1.2 Обнаружение и локализация внешних углов глаз 42
2.1.3 Сокращение затрат на обучение при обнаружении симметричных объектов 50
Выводы по разделу 55
2.2 Повышение точности аутентификации путем использования нескольких изображений лиц одного человека 56
2.2.1 Сопровождение лиц людей в видеопотоке з
2.2.2 Выбор оптимального набора изображений лиц одного человека для идентификации лиц по списку 61
Выводы по главе 2 68
Глава 3. Разработка методов противодействия атакам спуфинга 69
3.1 Метод противодействия атакам спуфинга на основе анализа моргания 69
3.1.1 Предварительная обработка изображения лица 70
3.1.2 Проверка наличия движения в области глаз 71
3.1.3 Проверка отсутствия движения вне области глаз 72
3.2 Метод противодействия атакам спуфинга на основе анализа текстурных характеристик лица ансамблем слабых классификаторов 74
3.2.1 Предварительная обработка изображения лица 75
3.2.2 Извлечение вектора лицевых признаков 77
3.2.3 Разработка классификатора атак спуфинга на основе ансамбля слабых классификаторов с использованием в качестве лицевых признаков текстурных характеристик лица 78
3.3 Метод противодействия атакам спуфинга на основе анализа локальных инвариантных признаков лица сверточной нейронной сетью 79
3.3.1 Предварительная обработка изображения лица 80
3.3.2 Извлечение вектора лицевых признаков 81
3.3.3 Классификация вектора лицевых признаков 85
Выводы по главе 3 88
Глава 4. Проведение вычислительного эксперимента 90
4.1 Оценки характеристик метода обнаружения лица 90
4.2 Анализ параметров обучения каскадного классификатора для поиска внешнего угла глаза 4.2.1 Влияние различных размеров вырезаемых изображений 98
4.2.2 Влияние размера окна каскада классификаторов 100
4.2.3 Выявление зависимости работоспособности метода от величины порога суммарного веса значимых примеров (weighttrimming) 102
4.2.4 Выявление зависимости работоспособности метода от максимального допустимого результата ложных обнаружений на каждой стадии (maxfalsealarm) 104
4.3 Эксперименты по оценке точности аутентификации при использования нескольких изображений лиц пользователя 107
4.3.1 Испытания по оценке точности аутентификации в зависимости от числа фотографий пользователя 108
4.3.2 Испытания по оценке точности аутентификации в зависимости от способа выбора фотографий пользователя 109
4.4 Эксперименты по оценке характеристик методов противодействия атаке спуфинга 110
Выводы по главе 4 114
Заключение 115
Список литературы
- Анализ биометрических признаков для аутентификации пользователей информационных систем
- Обнаружение и локализация внешних углов глаз
- Проверка наличия движения в области глаз
- Испытания по оценке точности аутентификации в зависимости от способа выбора фотографий пользователя
Введение к работе
Актуальность исследований в этом направлении подтвержается большим числом работ ученых в России и за рубежом. Изучениям различных аспектов проблем лицевой биометрии посвящены труды Г.А. Кухарева, И.Н. Спиридонова, О.С.Ушмаева, P.Viola, M.J.Jones, Anil К. Jain, A. Ross, D. Zhang и других отечественных и зарубежных ученых. Однако задача распознавания и подтверждения подлинности объекта аутентификации не решена в полной мере.
Таким образом, методы повышения точности аутентификации по изображению лица, позволяющие повысить степень защищенности информационных систем, являются на сегодняшний день крайне актуальными. Устойчивость системы биометрической аутентификации пользователей к атакам спуфинга на устройство ввода является также одной из важнейших задач для предотвращения несанкционированного доступа к информационной системе.
Целью работы является повышение эффективности систем биометрической аутентификации пользователей информационных систем по изображению лица.
Для достижения поставленной цели решались следующие задачи:
анализ систем биометрической аутентификации пользователей информационных систем, выявление их достоинств и недостатков;
разработка методов повышения точности систем биометрической аутентификации пользователей информационных систем по изображению лица;
разработка методов повышения устойчивости систем биометрической аутентификации пользователей информационных систем по изображению лица к атакам спуфинга;
проведение экспериментальных исследований для подтверждения полученных результатов и сравнение с мировыми аналогами.
В соответствии с заявленными целью и задачами работы объектом исследования являются лицевые биометрические системы аутентификации пользователей информационных систем, а предметом исследования— методы повышения эффективности аутентификации пользователей информационных систем по изображению лица.
Основные положения, выносимые на защиту
-
Метод повышения точности аутентификации за счет совершенствования подсистемы детектирования и обработки изображений лиц.
-
Метод повышения точности аутентификации путем использования нескольких изображений человека, метод группировки лиц людей в
видеопотоке, способ оптимального выбора необходимого числа изображений.
-
Методика оценки точности локализации контрольных точек лица.
-
Методы противодействия атакам спуфинга, позволяющие повысить устойчивость систем биометрической аутентификации пользователей по изображению лица к атакам спуфинга на модуль ввода биометрической информации.
Научная новизна работы
-
Разработан модифицированный метод детектирования лиц на изображении, отличающийся вводом проверки наличия внешних углов глаз на изображениии лица для подтверждения наличия лица. Разработана вариация метода обнаружения и локализации внешних углов глаз на изображении лица. Новым элементом в методе является использование нескольких классификаторов и ввод ограничивающей поверхности, позволяющей избавиться от ложных выбросов.
-
Предложены новые подходы к повышению точности аутентификации лицевыми биометрическими системами, а именно новый метод группировки лиц людей в видеопотоке, новый метод формирования набора шаблонов пользователя для занесения в базу данных системы аутентификации.
-
Предложена методика оценки точности локализации контрольных точек лица, основанная на построении функции распределения отклонения истинных координат точек лица от найденных.
-
Обосновано три новых метода противодействия атаке спуфинга, отличающиеся наиболее высокими показателями эффективности разделения лиц на истинное и поддельное. Первый метод основывается на анализе моргания, второй - на анализе текстурных характеристик лица ансамблем слабых классификаторов, третий — на анализе локальных инвариантных признаков лица сверточной нейронной сетью.
Обоснованность и достоверность
Обоснованность и достоверность полученных результатов обеспечивается результатами экспериментальных исследований, представлением основных положений в докладах на международных конференциях, а также результатами испытаний на реальных системах.
Практическая значимость работы заключается в реализации предложенных методов в виде технических решений, которые могут быть встроены в коммерческие лицевые биометрические системы аутентификации пользователей информационных систем.
Методы исследования. Исследования базируются на методах цифровой обработки изображений, методах распознавания образов, методах защиты информации, теории нейронных сетей, аппарате теории вероятности, статистического анализа, матричной алгебры.
Внедрение результатов работы. Разработанные методы внедрены в составе продуктов ООО «Простые решения»: системе визуальной идентификации «Smilart», системе управления доступом «SmilartKIin», в составе продукта 000 «ЦРТ»: мультимодальной системе криминалистического учета и биометрического поиска «VoiceGrid». Результаты диссертационной работы были внедрены в учебный процесс на кафедре речевых информационных систем Университета ИТМО в дисциплине «Многомодальные биометрические системы», а также были использованы в НИР №713554 «Исследование методов и алгоритмов многомодальных биометрических и речевых систем», выполняемой на кафедре речевых информационных систем Университета ИТМО и при выполнении прикладных научных исследований и экспериментальных разработок по теме «Разработка технологии автоматической кластеризации голосов дикторов в массивах неразмеченных данных для решения задач голосовой биометрии» в рамках Соглашения о предоставлении субсидии с Минобрнауки России №14.578.21.0126 от 27.10.2015 г. (ID проекта RFMEFI57815X0126), выполняемых в Университете ИТМО.
Апробация результатов исследования. Результаты работы докладывались: на 16-й Международной конференции «Цифровая обработка сигналов и ее применение-Б8РА-2014» (Москва, 2014г.), на Международной конференции «Interactive Systems: Problem of Human Computer Interactions» (Ульяновск, 2013г.), на 4-й Международной конференции по анализу изображений, социальных сетей и текстов - АИСТ'2015 (Екатеринбург, 2015г.), на 13-й Всероссийской конференции «Вузовская наука - региону» (Вологда, 2015г.), на 25-й Международной конференции GraphiCon2015 (Протвино, 2015).
Публикации. По материалам диссертационного исследования опубликовано 11 печатных работ, из них шесть в журналах, рекомендованных ВАК, Scopus — 1. Получено 2 свидетельства государственной регистрации на программы для ЭВМ.
Структура и объем диссертации. Диссертация состоит из введения, четырёх глав и заключения. Полный объём диссертации составляет 129 страниц с 49 рисунками и 7 таблицами. Список литературы содержит 113 наименований.
Анализ биометрических признаков для аутентификации пользователей информационных систем
Системы биометрической аутентификации пользователей по изображению лица, которые не поддерживают поддержку витальности лиц (принадлежности к живым) подвержены атаке спуфинга — попытке обмана биометрической системы путем предоставления поддельного объекта идентификации [39].
Для этого достаточно просто предъявить фотографию лица интересующего человека. При этом, одну или несколько фотографий реального пользователя можно легко получить даже без физического контакта с ним, захватив его лицо с помощью камеры или скачав его фотографию из Интернета, куда зачастую люди сами загружают свои данные.
Как правило существует три способа подделки объекта идентификации при атаке спуфинга: фотография, видео и трехмерная модель реального пользователя [44].
Атака с использованием фотографии является самой дешевой и простой. Злоумышленник может осуществить поворот, сдвиг, изгиб фотографии перед камерой для имитации поведения живого человека при попытке обмана системы аутентификации. Спуфинг атака с использованием видео является более серьезной угрозой, поскольку позволяет имитировать поведение человека более реалистично, в сравнении с манипуляциями над фотографией. И наконец, трехмерная модель лица или головы человека имеет 3D информацию о лице пользователя, однако она не содержит достаточно физиологической информации. Кроме того, трудно создать реалистичную трехмерную модель живого человека без его участия. Таким образом, использование фотографии и видео человека является наиболее распространенным способом подделки объекта идентификации.
Для решения задачи противодействия атаке спуфинга исследователи рассматривали использование дополнительных датчиков, а также трехмерные сканеры [45-47]. Данные методы дают высокие показатели эффективности, однако их применение затрудняется из-за необходимости использования специального оборудования.
Методы без дополнительных устройств и участия человека предпочтительнее, поскольку они могут быть легко интегрированы в существующую систему распознавания лиц, которая как правило оборудована только камерой. В подобных (неинвазивных) методах обычно используются характеристики движения, действий и текстуры [48]. Анализ движения При анализе движения используют тот факт, что, движение плоских двумерных объектов существенно отличается от движения реального человеческого лица, которое является трехмерным объектом.
В работе [49] были проанализированы различия в свойствах оптического потока, генерируемого трехмерными объектами и двумерными плоскостями. Оптический поток — изображение видимого движения, представляющее собой сдвиг каждой точки между двумя изображениями. По сути он представляет собой поле скоростей, т.к. сдвиг с точностью до масштаба эквивалентен мгновенной скорости. Анализ полей позволяет системе распознавания лиц определить объемный ли объект находится перед ним.
В работе [50] авторы оценивают траекторию движения отдельных частей лица, используя небольшую последовательность изображений и упрощенный анализ оптического потока. Основная идея метода основывается на предположении, что центральная часть лица движется иначе, чем периферийная его часть (например, в районе уха).
Следует отметить, что подход, основанный на анализе движения, может не дать должного качества в случае, когда информации о движении недостаточно. Например, ошибка может возникать при анализе зашумленных изображений и изображений с низким разрешением.
Анализ действий Признаки действия в зависимости от способа взаимодействия с пользователем можно условно разделить на два типа: требующие обратной связи от пользователя (например, выполнить распоряжение открыть рот в определенный момент, так сказать, предъявить "пароль движения") и не требующие определенной активности от пользователя, т.е. базирующиеся на действиях, независимых от внешних указаний (например, самопроизвольное моргание).
Так в [51] был предложен метод, основанный на анализе моргания. В [52] авторы проанализировали движения глаз и обучили модель движения с использованием машины опорных векторов. В работе [53] предложен метод, в котором определение витальности лица определяется по губам.
Признаки действия очень сложно подделать с помощью фотографии или трехмерной скульптуры головы человека. Тем не менее, этот подход может потребовать взаимодействия с пользователем и в значительной степени зависит от точности обнаружения черт лица.
Методы, основанные на анализе движения и анализе действий без обратной связи, также могут быть неэффективны в случае использования видеозаписи объекта идентификации. Анализ текстуры Этот подход позволяет обнаружить особенности текстуры не характерные для «живого» человека, которые могут возникнуть, например, в случае сбоев при печати или из-за общей размытости фотографии. Так в работе [54] информация о текстуре была вычислена с помощью локальных бинарных шаблонов. Авторы работы предположили, что изображения, полученные при съемке двумерного объекта (фотографии), как правило, страдают от потери богатства текстуры, по сравнению с изображениями, полученными при съемке трехмерного объекта (лица человека). Кроме того, разница в уровне детализации приводит к разнице в микро-текстуре.
В отличие от предыдущих двух подходов, анализ текстуры не требует взаимодействия с пользователем и прост в реализации. Этот подход работает на предположении, что поддельные изображения лица печатаются на бумаге, а процесс печати и структура бумаги порождают изменения в текстуре, что позволяет отличать напечатанные изображения от реальных лиц [55].
Тем не менее, эти предположения могут не быть истинными в некоторых случаях. Например, с развитием дисплеев сверхвысокой четкости, вероятность того, что воспроизведение интенсивности цветов на дисплее близко к реальным значениям цветов растет. Т.е. атака может быть выполнена с помощью снимка, отображаемого на экране, а не на бумаге, что приведет к трудностям в различении текстур изображения живого человека и подделки.
Таким образом, атака спуфинга с использованием видеозаписи лица, воспроизведенной на дисплее высокой четкости будет становиться все более распространенным явлением. Следовательно, при разработке и тестировании методов противодействия атаке спуфинга на систему биометрической аутентификации пользователей информационных систем, следует обратить внимание на эту схему спуфинга.
Обнаружение и локализация внешних углов глаз
Существенным недостатком использования каскадов классификаторов является процедура обучения, требующая больших затрат времени и аппаратных ресурсов. В связи с чем, возникает задача сокращения затрат на обучение при поиске симметричных объектов путем анализа их формы и дальнейшей модификации имеющихся каскадов классификаторов с учетом выявленных характеристик. При решении задачи поиска внешних углов глаз при имеющемся обученном классификаторе для внешнего угла одного глаза и построенном методе отражения каскада относительно вертикальной оси, необходимость в обучении внешнего угла второго глаза отпадает.
Опишем структуру хранения данных о каскаде классификаторов на основе признаков Хаара. Структура XML-файла с описанием представлена в таблице 2.1
Поясним некоторые моменты, показанные в таблице. Заголовок высшего уровня содержит название и размер стандартного окна, к которому приводится изображение для идентификации наличия или отсутствия объекта интереса, для поиска которого каскад классификаторов обучен.
Далее следует описание отдельных узлов каскада. Сначала описываются примитивы Хаара, которые используются в качестве слабых классификаторов: указываются положение и размеры прямоугольников на изображении, внутри которых необходимо рассчитывать сумму интенсивностей пикселей, и весовые коэффициенты для каждого из прямоугольников. Также для каждого примитива указано пороговое, левое и правое значения. При работе алгоритма в случае, если рассчитанное значение будет меньше порогового, к сумме по уровню прибавляется левое значение, иначе — правое.
После описания примитивов следуют параметры уровня: пороговое значение, номер узла-предка и номер следующего узла на этом же уровне, если он есть. При проходе по стадиям, если фактическая сумма для данного уровня оказывается больше или равной его пороговому уровню, происходит переход к узлу-потомку. В противном случае выполняется переход к следующему узлу, если он есть, или попытка найти подобный узел на вышестоящих уровнях. Если все выше расположенные узлы не имеют соседей, то выдается значение 0.0, т.е. искомый объект не опознан.
Теперь опишем процедуру получения особенностей для симметричного обученному объекту [65].
Предположим, что имеется обученный классификатор для внешнего угла правого глаза. Задача — получить каскад, который на основе обученного будет использовать отраженные особенности и, соответственно, будет обнаруживать квадрат левого внешнего угла глаза человека.
Предлагаемый метод основывается на пересчете координат особенностей Хаара с сохранением контрольных сумм и пороговых значений. Определим параметры описания примитива: х — абсцисса верхнего левого угла прямоугольника, входящего в состав примитива; у — ордината верхнего левого угла прямоугольника, входящего в состав примитива; w — ширина прямоугольника, входящего в состав примитива; h — высота прямоугольника, входящего в состав примитива; WIDTH — ширина прямоугольника, внутри которого расположен примитив (фиксирована для каскада и указывается в заголовке высшего уровня).
Для тестирования метода разработан программный продукт, позволяющий осуществлять отражение каскадов классификаторов на основе признаков Хаара, а также выполнять на их основе обнаружение объектов. На рисунке 2.11 показано сравнение результатов отклонений для исходного каскада на исходных изображениях и отраженного каскада для отраженных относительно вертикальной оси изображений, изображения для тестов взяты из базы FERET.
График отображает функцию распределения случайной величины, определяемой как абсолютное отклонение между координтатами истинной и найденной точки. Подробное описание построения графика — в главе 4.
Для проверки корректности работы метода поиска отраженного объекта отраженным каскадом, нам достаточно, чтобы графики совпадали, при этом допустимо некоторое отличие между ними из-за особенностей функций отражения изображения и объединения результирующих квадратов. Поскольку графики практически совпадают, можно сделать вывод, что анализируемый метод работает корректно. Обученный каскад на исходной базе -Отраженный каскад на отраженной базе Отношение максимального отклонения к расстоянию между внешними углами глаз. % Рисунок 2.11 — Сравнение результатов поиска объекта обученным каскадом и отраженного объекта модифицированным каскадом классификаторов на базе FERET Таким образом, разработан новый метод получения простых признаков последовательности слабых классификаторов для классификации симметричного обученному объекту. Метод обеспечивает возможность производить поиск симметричных объектов, сокращая длительную и затратную процедуру обучения каждого из классификаторов.
В подразделе 2.1.1. обсуждается задача детектирования лица. Для тренировки системы используется метод адаптивного бустинга, а используемые признаки основываются на вейвлетах Хаара. Для подтверждения наличия лица предложено введение проверки наличия внешних углов глаз на изображении лица, что позволяет существенно сократить число ложных обнаружений. В подразделе 2.1.2. обсуждается вопрос обнаружения и локализации внешних углов глаз. На основе метода Виолы—Джонса предлагается модифицированный метод, характеризующийся использованием многопроходной схемы по классификаторам, обученным с различными параметрами и на разных выборках, а также применением предложенного метода выбора результирующего ответа, согласно статистическим данным о распределении координат контрольных точек лица. Подраздел 2.1.3. представляет решение проблемы сокращения затрат на обучение. Новые классификаторы для поиска внешнего угла правого глаза построены в предыдущем разделе. Внешний угол левого глаза является симметричным ему по признакам относительно вертикальной оси. В подразделе предлагается метод получения особенностей Хаара для подобных объектов. Главная характеристика метода — возможность обеспечивать поиск симметричных объектов, обходя длительную и затратную процедуру обучения, что в нашем случае позволило сократить затраты на обучение вдвое.
Проверка наличия движения в области глаз
В данном разделе представлен нейросетевой метод для обнаружения ситуации, в которой при лицевой аутентификации один человек маскируется под другого путем подмены его лица фотографией или отображаемым видеороликом. Задача решается в два последовательных этапа. На первом этапе проводится выделение вектора лицевых признаков. На втором этапе проводится классификация и определение насколько получаемый кадр (или группа кадров) похож; на то, что перед камерой находится человек, а не его фотография или видео. Вектор лицевых признаков извлекается с помощью сверточной нейронной сети. Классификация реализуется путем использования машины опорных векторов.
Исходные данные, подаваемые на вход сети, представляют собой изображения лица размером 224 пикселя. Все изображения лиц проходят блок геометрической нормализации, в соответствии с координатами контрольных точек. Архитектура сверточных нейронных сетей не предусматривает устойчивость к аффинным преобразованиям, таким как вращение, зеркальное отражение и масштабирование, поэтому блок геометрической нормализации использует пять контрольных точек лица: внешние углы глаз, кончик носа, внешние углы губ. Контрольные точки, используемые для геометрической нормализации, изображены на рисунке 3.5 (а), их находим с использованием метода, описанного в работе [83].
Нормализованное изображение лица показано на рисунке 3.5 (б). Нормализация производится в несколько этапов. Сначала, используя координаты внешних углов глаз, производится поворот изображения лица относительно горизонтальной оси. Данное действие компенсирует наклон головы вправо или влево (к плечам), поворот вокруг оси, проходящей через нос и затылок. Определение угла поворота по координатам углов глаз описано в разделе 3.1.1.
Для определения зоны обрезки, а также определения масштаба изображения, используем линию между серединой глаз и серединой рта, которая является относительно инвариантной к повороту головы вокруг шеи. Граница лица определялась таким образом, чтобы линия, соединяющая точки середины глаз и середины губ, располагалась по центру горизонтальной оси.
Данный способ выравнивания лица описан в [84] и используется в настоящей работе, поскольку хорошо показал себя в нейросетевом методе распознавания лиц.
В качестве нейросетевой архитектуры для получения вектора признаков предложено использовать сверточную нейронную сеть модели AlexNet [31], содержащую 5 сверточных слоев и 3 полносвязных слоя. Ее преимуществом перед другими архитектурами являются высокая скорость работы, а также возможность легко адаптировать к поставленной задаче. Архитектура AlexNet первоначально была разработана для классификации по базе ImageNet [85], которая, в свою очередь, предназначена для классификации изображений с большим числом категорий. Предложенная архитектура отличается от архитектуры AlexNet параметрами слоев. В табл. 3.1 представлены параметры предложенной архитектуры нейронной сети и архитектуры сети AlexNet. Предложенная архитектура нейронной сети представлена на рисунке 3.6. На выходе данной модели будет вектор [poj i]) элементы которого характеризуют вероятность попадания исходного изображения в соответствующий класс - «живое» лицо или поддельное.
Для обучения сети выбран алгоритм стохастического градиентного спуска [86]. Обучение сети проводилось с использованием баз лиц С ASIA FASD [87], OULU [88] и собственной базы данных. Собственная база данных включает 6635 поддельных лиц и 7047 истинных лиц. Истинные лица собственной базы выбраны из базы CASIA-WebFace [89], предназначенной для обучения систем идентификации лиц, фотографии поддельных лиц получены с использованием камер двух мобильных устройств (iPhone5, Xiaomi RedMe 3S). Образцы поддельных лиц были взяты из напечатанных журналов и отображаемых на экране монитора фильмов. Всего обучающая выборка содержит 10811 изображений лиц, вали-дационная - 994 изображений лиц. Для обучения модели используется Caffe [90] — библиотека с открытым исходным кодом, разрабатывается командой Berkeley Vision and Learning Center и предназначена для научных разработок в сфере компьютерного зрения. Входной слой принимает цветное изображение размером 224 х 224 пикселей. Для повышения качества сети использовалась аугментация (augmentation, «раздутие») - добавление искаженных изображений в выборку с целью увеличения разнообразия данных. Было задействовано такое преобразование как отражение. Подобная процедура позволяет улучшить обобщающую способность сверточной нейронной сети, а также предотвратить переобучение [31]. Коэффициент скорости обучения сначала устанавливается в 10 и постепенно уменьшается до 10-5.
В процессе обучения нейронная сеть настраивает веса таким образом, чтобы минимизировать эмпирический риск - функционал качества, характеризующий среднюю ошибку алгоритма а на обучающей (валидационной) выборке, который определяется по следующей формуле: 1 т lib І=1 где у : X — Y — отображение множества описаний объектов X в множество допустимых ответов У, целевая зависимость, значения которой известны только на объектах конечной обучающей (валидационной) выборки Хт = {(ж1,2/1),...,(жто,;уто)} размерности т; Y(yi,y) - функция потерь, характеризующая величину отклонения ответа у = а(х) от верного ответа у = у (ж), для произвольного объекта х Є X.
В качестве функции потерь используем перекрестную энтропию, которая имеет вид Т(уі}у) = - Х =1 У І l9(yij) Графики изменения значения средней ошибки на обучающей и валидационной выборках представлены на рисунке 3.7.
Несмотря на то, что после обучения сети есть возможность использовать последний слой для классификации и получения результата, сеть используется только для получения вектора лицевых признаков, который извлекается из пер
Испытания по оценке точности аутентификации в зависимости от способа выбора фотографий пользователя
Испытания проводились на данных, собранных с камеры видеонаблюдения, при этом испытания проводились для трех следующих типов данных: в базе данных системы хранится по одной фронтальной фотографии каждого пользователя, в базе данных системы хранится 5 фотографий, выбранных случайным образом из 100 фотографий пользователя, в базе данных системы хранится 10 фотографий человека, в базе данных системы аутентификации хранится 15 фотографий пользователя.
Результаты испытаний иллюстрируются на рисунке 4.18, на котором показана зависимость поведения ROC-кривых, характеризующих точность работы системы аутентификации от количества фотографий пользователя в базе данных системы аутентификации.
График зависимости точности аутентификации от числа фотографий пользователя в базе данных системы аутентификации, показывает, что точность аутентификации растет с ростом числа фотографий одного пользователя в базе данных системы. Однако, следует отметить, что от числа фотографий в базе данных системы аутентификации пользователей зависит скорость работы всей системы, поэтому необходимо находить компромисс между скоростью работы системы и ее точностью. Анализируя графики на рисунке 4.18, можно заметить, что использование 10 фотографий пользователя, в отличие от использования 15 фотографий практически не увеличило точность работы системы, поэтому сбалансированным значением числа фотографий персоны между скоростью и точностью работы будем считать равным 10.
Испытания проводились на данных, собранных с камеры видеонаблюдения, при этом испытания проводились для трех типов данных: в базе данных системы хранится 10 фотографий, выбранных случайным образом из 100 фотографий пользователя, в базе данных системы хранится 10 фотографий пользователя, выбранных описанным в разделе 2.2.2 методом.
Результаты испытаний иллюстрируются на рисунке 4.19, на котором показана зависимость поведения ROC-кривых, характеризующих точность работы системы аутентификации от способа выбора фотографий пользователя для занесения в базу данных системы аутентификации.
Графики доказывают работоспособность представленного в диссертации метода выбора нескольких фотографий пользователя для добавления в базу данных системы аутентификации. Представленный в диссертации метод показывает более высокую точность в отличие от случайного выбора такого же числа фотографий пользователя. Точность аутентификации в FAR равном нулю
Для проверки предлагаемых методов противодействия атаке спуфинга по изображению лица было проведено несколько практических экспериментов, в рамках которых предлагаемые методы сравнивались с другими наиболее известными методами решения задачи противодействия атаке спуфинга. Цель экспериментов заключалась в исследовании эффективности работы предложенных методов, а также в определении качественных характеристик, по которым предложенных метод превосходит существующие аналоги.
Эксперименты проводились на базах CASIA FASD [87] и NUAA PI DB [79]. В этих наборах данных моделируются различные типы атак спуфинга.
База данных NUAA PI DB создана для проведения экспериментов по противодействию атаке спуфинга, предоставляется по запросу у ее авторов [79] База содержит изображения 15 человек. База разделена на 3 сессии и различными условиями освещения (рис. 4.20)
Объем данных между сессиями не сбалансирован, т.к. не все люди принимали участие во всех трех сессиях. При съемке участнику было предложено смотреть фронтально на веб-камеру, имея нейтральное выражение лица, избегая движения головы или моргания, что позволяет быть максимально похожим на фотографию. Камера записывает ролик длительностью 25 секунд при 20 FPS. Для скачивания доступна не исходная последовательность видео, а изображения, выбранные из нее.
Изображения для атаки спуфинга были собраны для тех же участников. Лицо человека было сфотографировано с использованием камеры Canon таким образом, чтобы занимало изображения. Затем фотографии были напечатаны и предъявлены камере, с перемещением во время захвата кадра, как показано на рисунке 4.21
Обоснованием выбора этой базы для экспериментов противодействия атаке спуфинга является вариативность характеристик лиц и освещения, а также вариативность манипуляций с постерами людей, что имитирует реальную атаку с использованием фотографии.
База данных CASIA FASD [87] содержит изображения лиц 50 человек. Для каждого человека были получены изображения лица с низким, средним и высоким качеством. Поддельные лица имитируют три вида атак: деформированное фото (злоумышленник предъявляет камере напечатанную фотографию, намеренно ее искажая, пытаясь симулировать движение лица), частично вырезанное фото (из фотографии вырезаются глаза, злоумышленник прячется за фотографией и имитирует моргание) и с использованием видео (камере предъявляется iPacl, на котором транслируется видео высокого качества). В результате для каждого человека имеется 12 видеопоследовательностей (3 истинных лица и 9 поддельных). Общее число последовательностей в базе - 600, из них 240 используются для обучения, 360 - для тестирования.
Обоснованием выбора этой базы для экспериментов противодействия атаке спуфинга является вариативность характеристик лиц и освещения, а также вариативность манипуляций с изображениями людей, что имитирует реальную атаку с использованием фотографий и видео.
Среднее значение ошибок первого и второго рода (Half Total Error Rate, HTER) и точность (Accuracy, доля входных данных, отнесенных к правильному классу) для предложенного метода противодействия атаке спуфинга, а также сравнение предложенных методов с существующими подходами на базе NUAA PI DB представлены в табл. 4.3.
Лучшее значения характеристик эффективности показал нейросетевой метод, для котого по результатам выполненных экспериментов были построены DET-кривые, представленные на рисунке 4.22. Оценивалось 2 типа ошибок: 1. ошибка ложного принятия фотографии (видео), установленной перед экраном, за живого пользователя (False Accept); 2. ошибка ложного принятия живого пользователя за его изображение (видео) (False Reject).