Содержание к диссертации
Введение
ГЛАВА 1. Методы и алгоритмы обнаружения лица 11
1.1. Анализ проблемы обнаружения лица человека на цифровых изображениях 11
1.2. Задача обнаружения лица 12
1.2.1. Вызовы на методах обнаружения лица 13
1.2.2. Практическое применение алгоритмов обнаружения лиц 15
1.2.3 Ошибки при выделении лиц 16
1.3. Алгоритмы обнаружения лица 16
1.3.1. Методы на основе признаков 18
1.3.1.1. Низкоуровневый анализ 18
1.3.1.2. Анализ признаков 21
1.3.1.3. Модели активных форм 22
1.3.2. Методы моделирования изображения лица 25
1.3.2.1. Факторный анализ 25
1.3.2.2. Моделирование класса изображений лиц с помощью метода главных компонент (Principal Components Analysis, PCA) 26
1.3.2.3.Моделирование распределения векторов лиц с помощью смеси многомерных нормальных распределений (mixture of
Gaussians) 27
1.3.2.4.Линейный дискриминантный анализ (Linear Discriminant Analysis, LDA) 27
1.3.2.5. Нейронные сети 28
1.3.2.6. Скрытые Марковские Модели (Hidden Markov Models, HMM) 30
1.3.2.7.Машины опорных векторов (Support vector machines) 31
1.4.Техника обнаружения лиц по Viola и Jones 33
1.5. Анализ существующих методов обнаружения лица человека 41
1.6. Постановка задачи исследования 42
1.7. Выводы по первой главе 44
ГЛАВА 2: Разработка программных модулей для обнаружения лица 46
2.1. Цветовая сегментация областей кожи на изображении 46
2.2. Задача цветовой сегментации кожи на изображении 47
2.3. Метод выбора цвета кожи 48
2.4. Выделения лиц с использованием алгоритма сегментации по цвету кожи и алгоритма сравнения с шаблоном 52
2.5. Результаты выделение области лица 58
2.6. Влияние уровня яркости изображения на точность детектирования лиц 64
2.7 Выводы по второй главе 65
ГЛАВА 3. Методы обработки изображений для выделения иц 67
3.1. Метод обнаружения лиц на изображении с использованием комбинации метода Виолы-Джонса и алгоритмов определения цвета кожи 67
3.1.1. Результаты метода обнаружения лиц на изображении 73
3.2. Новый экспресс- метод для обнаружения лица 80
3.3 Алгоритм автоматического обнаружения лица с помощью метода вычитания фона 85
3.4. Выводы по третьей главе 87
ГЛАВЕ 4: Гибридный алгоритм обнаружения лица человека 89
4.1. Программно-Аппаратный комплекс выделения лиц 89
4.2. Результаты модель программно-аппаратного комплекса выделения лиц 93
4.4. Выводы по четвертой главе 98
Заключение 99
Список использованных источников
- Практическое применение алгоритмов обнаружения лиц
- Выделения лиц с использованием алгоритма сегментации по цвету кожи и алгоритма сравнения с шаблоном
- Результаты метода обнаружения лиц на изображении
- Результаты модель программно-аппаратного комплекса выделения лиц
Введение к работе
Актуальность работы.
В настоящее время вычислительная техника используется во многих
областях человеческой деятельности, являясь удобным и
многофункциональным инструментом решения широкого круга задач, и в
связи со стремительным развитием цифровой фотографии , цифрового видео
перспективной является задача распознавания образов на цифровых
изображениях. Однако при работе с ЭВМ человек вынужден использовать
средства взаимодействия, слабо адаптированные к возможностям
человеческого восприятия и ограничивающие способности человека к обмену информацией.
Лицо человека является важным источником информации при общении между людьми. Выражение лица, мимика, артикуляция при разговоре, движения головой являются удобным, естественным и, что важно, необременительным способом передачи информации. Обнаружение лиц является первым этапом в построении системы идентификации и распознавания лиц человека. Обнаружение лица, в отличие от других биометрических характеристик человека (отпечаток пальца, форма руки, рисунок радужной оболочки глаза, голос), не требует физического контакта, что значительно расширяет возможности применения.
Задача локализации лиц людей является сложной ввиду нескольких основных причин: лицо - ато динамический объект, имеющий высокую степень изменчивости, например, по форме лица и цвету кожи; различные условия освещенности, определяющиеся типом, направлением и количеством источников света; частичное перекрытие лиц другими объектами сцены; необходимость локализации и распознавания лиц, имеющих произвольные положения в пространстве.
В существующих системах при увеличении процента обнаружений свыше 90% наблюдается экспоненциальный рост числа ложных обнаружений, что затрудняет использование этих систем в ситуациях, когда требуется работа полностью в автоматическом режиме без участия контролера-человека.
Таким образом, учитывая, что наиболее важными характеристиками систем обнаружения являются скорость и процент обнаружения, актуальной является задача разработки и внедрения новых, более быстрых и точных алгоритмов, способных обнаруживать лицо человека.
Учитывая вышеизложенное, актуальной является задача создания программно-аппаратного комплекса, который в автоматическом режиме позволял бы выделять лица проходящих мимо него людей и передавать на дальнейшую обработку не просто фотоизображение, а связку «лица-фото».
На основании приведенного в работе анализа, делается вывод, что одним из лучших по соотношению показателей качество распознавания/скорость работы является метод Виолы – Джонса. Однако в ряде случаев этот метод дает достаточно большое количество ложных обнаружений.
Степень разработанности. В диссертации разработана новая решающая для задач детектирования лиц на изображениях. Вопросами разработки алгоритмов анализа информации цифровых изображений, а также предварительной обработки и выделения контуров занимались многие авторы. Наиболее известны работы А.Михельсона, В.Ф.Нестерук и В.Н.Порфирьева, Р.А.Воробель и др., описывающие алгоритмы определения контрастности цифровых изображений. Последние десять лет в области обнаружения образов ведутся активные разработки и предложены различные методы обнаружения, использующие такие подходы, как метод главных компонент, методы с использованием гистограмм, нейросети, байесовские сети, алгоритм Viola-Jones, Захры и др., статистические методы и т. д. К наиболее значимым работам в области распознавания образов следует отнести труды следующих ученых: В. Н. Вапника, В. М. Глушкова, Ф. Розенблатта, Б. Уидроу, Л. Рабинера, Ю.И. Журавлева, Б.А. Алпатова, А.И. Галушкина, Я.А.Фурмана, А.Л. Горелика, В.С. Михалевича, В.С.Пугачева, G.Nagy, L.N. Kanal, K. Fukunaga, R.O. Duda, P.E. Hart, К. Фу, J. Kittler, L. Gyorfi, G.Lugosi, CM. Bishop, B. Ripley и др.
Часть этих алгоритмов обнаружения инвариантны по отношению к объекту, другие используют такие априорные знания об объекте, как: форма, цветовая гамма, взаимное расположение частей и др.
Существующие потребности в создании подобных систем накладывают жесткие ограничения на скорость работы алгоритмов, которые должны работать в режиме близком к реальному времени. Однако даже наиболее быстрые из существующих подходов (Viola 2001, Lienhart 2002, Shneiderman 2004) позволяют обнаруживать лица в реальном времени лишь при вертикальном положении лица и непригодны для обнаружения лиц.
Для успешного функционирований системы обнаружения лиц обеспечение высокой скорости работы должно также сочетаться с малым количеством ложных обнаружений.
Целью диссертационного исследования является совершенствование методов анализа и обработки изображений на основе данных систем детектирования лиц в местах массового пребывания людей, за счет улучшения характеристик алгоритмов определения лиц людей на изображениях и под повышением эффективности понимается улучшение следующих характеристик: повышение процента обнаружения лиц человека, снижение процента ложных обнаружений.
Для достижения поставленной цели необходимо решить следующие задачи:
Анализ существующих методов и выбор наиболее перспективны для решения задач детектирования лиц на изображениях, и описать обзор подходов и алгоритмов обнаружения, выявить их ограничения;
Модификация метода Виолы-Джонса позволяющие повысить процента степень достоверности;
Исследовать возможности сегментации кожи человека на цветных изображениях в различных цветовых пространствах;
Усовершенствование работы алгоритмов детектирования лиц на изображениях;
Разработка автоматизированной информационной системы, реализующей выделение лиц человека на изображениях;
Оценка эффективности предложенных моделей и методов детектирования лиц на изображениях.
Объектом исследования являются алгоритмы обнаружения лиц человека на изображениях.
Предметом исследования являются эффективность и качество работы алгоритмов обнаружения лиц человека на изображениях.
Научную новизну работы составляет следующее:
-
Разработано математическое обеспечение компьютерной системы обработки изображений с целью детектирования лиц, основанное на использовании цветовых пространствах и сравнении с шаблоном, достигнуть показателя детектирования порядка 95%.
-
Предложены модификации метода Виолы-Джонса, основанная на вычитании фона и использовании цветовых пространств, позволившие на 10-15 % средний уровень верного детектирования множества лиц на одном изображении и повысить эффективность метода Виолы-Джонса.
-
Предложен метод обработки информации из видеопотока, отличающийся автоматическим выделением лиц с последующей передачей блока, содержащего лицо в виде статичного изображения с временной привязкой, позволяющий автоматизировать этот процесс.
Практическая значимость диссертационного исследования:
1. На основе проведенного анализа влияния яркости анализируемого
изображения на качество работы метода детектирования лиц показано, что
наиболее инвариантным к яркости изображения является алгоритм Виолы-
Джонса.
2. Разработано программное обеспечение для детектирования лиц на
изображениях (свидетельство о государственной регистрации программы для
ЭВМ № 2015661926 от 12.11.2015 г. Программа для обнаружения лиц на
изображениях), позволяющее повысить качество принимаемых решений в
сфере обеспечения безопасности в местах массового скопления людей.
3. Разработан прототип аппаратно-программного комплекса выделения
лиц из видеопотока, прошедший апробацию в Астраханском филиале ПАО
«Ростелеком». Отдельные результаты исследования внедрены в IT-парке
«Фабрика», подтвердившие 95% достоверность детектирования множества
лиц на изображениях, поступающих с камеры наблюдения, расположенной в
бизнес-инкубаторе IT-парка. Все результаты внедрения подтверждены
соответствующими актами.
Методология и методы исследования. В процессе работы
использовались цифровой обработки изображений, распознавания образов, математического и системного анализа, теории алгоритмов, теории графов, математической статистики, теории принятия решений.
Область исследования. Содержание диссертации соответствует паспорту
специальности 05.13.01 – системный анализ, управление и обработка
информации (информационные системы управления) по следующим
областям исследования: п.1. Теоретические основы и методы системного
анализа, оптимизации, управления, принятия решений и обработки
информации, п.5. Разработка специального математического и
алгоритмического обеспечения систем анализа, оптимизации, управления,
принятия решений и обработки информации. п.12. Визуализация,
трансформация и анализ информации на основе компьютерных методов обработки информации.
Положения, выносимые на защиту:
-
Математическое обеспечение компьютерной системы детектирования лиц человека, основанного на цветовых пространствах и сравнении с шаблоном.
-
Алгоритмическое обеспечение обнаружения лица человека на основе модифицированного алгоритма Виолы-Джонса с использованием цветовой информации и вычитании фона.
3. Компьютерная система обнаружения лица человека из видеопотока.
Степень достоверности обусловлена применением адекватного
математического аппарата, подтверждается их согласованностью с
результатами проведенного компьютерного моделирования и сопоставлением
полученных результатов с научными данными, известными из российской и
зарубежной литературы, а также подтверждается результатами, полученными
при практическом использовании автоматизированной системы
детектирования лиц на изображениях, что отражено в акте внедрения.
Личный вклад соискателя. Все изложенные в диссертации результаты
исследования получены либо соискателем лично, либо при его
непосредственном участии.
Апробация результатов диссертационного исследования.Основные положения и результаты исследования доложены на VII международной научно-практической конференции для молодых ученых «Фундаментальные и прикладные проблемы» (Астрахань, 2013) , VI международной научно -практической конференции «Европейская наука и технологии» (г.Мюнхен, Германия , 2013), VIII международной научно-практической конференции для молодых ученых «Фундаментальные и прикладные проблемы» (Астрахань, 2014), XXI международной научно-практической конференции «Перспективы развития информационных технологий» (Новосибирск, 2014), XLI Международной заочной научно-практической конференции «Научная дискуссия: инновации в современном мире» (Москва,2015).
Публикации. По теме диссертации опубликовано 10 научных работ, из них 4 статьи в журналах, рекомендованных ВАК, 5 публикаций в сборниках международных конференций, получено 1 свидетельство о государственной регистрации программы для ЭВМ.
Структура и объем диссертации. Диссертация содержит введение, 4 главы, заключение, библиографический список из 142 наименований. Основная часть работы изложена на 118 страницах и содержит 42 рисунков, 13 таблиц и 2 приложения. .
Практическое применение алгоритмов обнаружения лиц
Типичная проблема методов низкоуровневого анализа, которые были описаны в предыдущем разделе, заключается в выделении областей изображения, которые не относятся к человеческому лицу. Методы детекции базируются на основе априорных знаний о геометрии лица человека. В такой обработке известны два подхода: используются гибкие модели человеческого лица и последовательное нахождение черт характерных для лица.
Поиск признаков
На простоту и качество выделения черт человеческого лица сильно влияют их размер и свойства. К примеру, выделить глаза получается проще, чем другие черты лица, благодаря их контрастности и симметричности, поэтому глаза часто выступают в качестве основной черты лица человека, которую используют для решения биометрических задач [30]. В то время как остальные черты лица возможно выделить, основываясь на информации об уже выделенных областях и известной антропометрической информации [63]. По координатам глаз возможно сделать заключение о пропорциях головы и величине угла наклона, а также линии симметрии рта, носа и всего лица [50].
Так, примером, который характерен для данного метода, может явиться алгоритм поиска линии глаз, который был предложен Де Сельвой (De Silva) [64]. Для линии глаз на изображении характерна высокая концентрация тёмных элементов. Основываясь на расстоянии между линией глаз и верхней частью головы можно сделать предположение о расположении подбородка, бровей, рта и носа. Известны методы на основе генетических алгоритмов [18] и радиально-базисных функций (Radial-basis functions, RBF) [53].
Групповой анализ
Для того чтобы детектировать лица в условиях, которые невозможно контролировать, разработаны методы по объединению признаков в группы, подобные человеческому лицу, основанные на более устойчивых алгоритмах, например, на статистическом анализе. Известны примеры множества схем группировки признаков [15], такие как: оператор градиентного типа над локальными областями изображений (7x7 элементов) для получения «ориентированного» изображения [24]. «Ориентированное» изображение обрабатывается в два этапа. На первом этапе изображение проходит обобщённое преобразование Хафа, это делается для выделения областей, имеющих овальную форму, на втором этапе происходит проверка одного из двенадцати шаблонов лица. В системах детекции и распознавания лиц наиболее распространённым является подход сопоставления с графом, который содержит геометрическую информацию в качестве рёбер и информацию о локальных признаках лица в качестве вершин графа. Однако, сопоставление с графом в подобных детектирующих системах человеческого лица [57] является только одним из нескольких этапов алгоритма. Методы детектирования лица на изображении такой категории эффективны, однако неприменимы для точной 2–3 пиксельной сегментации отдельных элементов лица.
Модели активных форм (Active shape models, ASM) характеризуются способностью описывать актуальное физическое и, как следствие, гораздо более высокоуровневое наличие признаков. К примеру, модель, которая настроена по схожести с отдельными определёнными признаками лица, будет выдавать отклик только на эти локальные признаки (границы, яркость) и деформироваться, принимая нужную форму.
Известно три базовых вида активных моделей, применяемых для решения задач по детектированию лиц: гибкие шаблоны (Deformable template), которые учитывают априорную информацию о некоторых признаках лица [4]; активные контуры («snakes») [68]; модели распределения точек (smart snakes, Point distributed models, PDM), основанные на множестве промаркированных точек человеческого лица, которые принимают ограниченное количество форм [5]. Активные контуры Активные контуры («змеи») могут быть использованы для выделения границ области лица на изображении. Так, на первом этапе решения задачи происходит инициализация контура в области, которая близка к границе лица. Определение границ области лица основано на минимизации энергетической функции: Е snake = Е external + E int ernal , (1 1) где Eextenai , Ь метаї - внешняя и внутренняя энергетические функции. При этом решающими факторами выступают различные техники минимизации энергетических функций и их выбор. В качестве внутренней энергетической функции обычно используется эластичность, пропорциональная расстоянию между контрольными точками контура [41,108]. То какая внешняя энергетическая функция будет выбрана в зависимости от типа выделяемых критериев. Так, если будет выбран градиент, контур будет сходиться к границам изображения. При выделении контура лица обычно вводится дополнительная зависимость от цвета человеческой кожи. Минимизация энергии производится с использованием методов градиентного спуска или метода наискорейшего спуска. Однако к недостаткам данного подхода можно отнести низкую эффективность выделения невыпуклых контуров, выделение частью контура ошибочных (ложных) признаков, а также всё это, безусловно, влечёт за собой внушительные вычислительные затраты.
Гибкие шаблоны
Чтобы повысить качество работы метода активных контуров разработан параметризованный гибкий шаблон, применимый для выделения глаз [4]. Так же как активные контуры, данный шаблон нуждается в инициализации в интересующей области изображения (к примеру - глаза). Механизм деформации шаблона базируется на минимизации с применением метода градиентного спуска энергетической функции: E = EV+Ee + Ep + Ej+Ejnternah (1.2) где Еу, Ее Ер , ЕІ - энергетические функции минимума, границы, пика, яркости и внутренняя энергетическая функции соответственно. Расчёт энергетических функций может быть основан на интегральном вычислении шаблонов размеров и площади параболы и окружности. Качество выделения черт существенно определяется выбором начальной точки, который происходит во время инициализации алгоритма. В том случае, когда инициализация проходит над глазом, существует высокая вероятность того, что будет выделена область брови. Данный метод отличается сложностью эвристического подбора коэффициентов алгоритма и большими вычислительными затратами. Впоследствии были опубликованы работы, в которых описывалось частичное решение этих проблем, а также шаблоны, которые возможно использовать для детектирования области рта [61].
Модели распределения точек
Модели распределения точек представляют собой компактные параметризованные описания форм, основанные на статистике. Процедура адаптации таких моделей и их структура имеют отличия от моделей, которые были описаны ранее. Контуры в таких моделях описываются при помощи дискретного множества промаркированных точек. При этом распределение точек происходит на этапе обучения алгоритма. Различные варианты черт лица, заложенные в обучающей базе изображений, определяют характеристики линейной гибкой модели, которая строится с применением метода главных компонент.
Выделения лиц с использованием алгоритма сегментации по цвету кожи и алгоритма сравнения с шаблоном
Существует несколько цветовых пространств, которые могут быть применены для выделения областей на изображении, содержащих кожу человека. К группе априорных относятся методы, которые в качестве модели цвета кожи используют явно заданный многогранник в заданном цветовом пространстве, т.е. заранее задается некоторый жесткий набор правил.
Модель цвета HSV [44, 25] пользуется большей популярностью по сравнению с моделями цвета RGB, потому что она идентична человеческому восприятию цвета, а алгоритмы на её основе работают быстрее. Также HSV обеспечивает хороший результат для обнаружения кожи [39] при переменных условиях освещения [87]. Некоторые исследования [112] показывают, что модель HSV инвариантна для матовых поверхностей и окружающего освещения. Значение «оттенок» и «насыщенность» не изменяются даже при эффекте освещение [14]. Цветовое пространство HSV получено из RGB как [51, 10]: V=max(R,G,B) S D V G-B 6xD R = V 2-R + B Н = \ 6xD G = V 4-G + R 6xD B = V D=Max{R,G,B)-Min{R,G,B). (2.1) Sobottka and Pitas [104] предложили значений для компонентов Н и S как: для определения границ кожи используются условия: 0 # 50, 0.23 S 0.68. (2.2) Tsekeridou и Pitas [117] модифицировали это значение: 0 # 25 , 0.2 S 0.6 V 0.4. (2.3) Wang and Yuan [122] изменили значения для HSV и ввели новый диапазон: 0.35 V J.0 , 0.20 S 0.68 , 0 Н 50. (2.4) Цветовое пространство YIQ - основная цветовая схема, принятая национальным комитетом по телевизионным стандартам США для широковещательной передачи цветного телевещания. Сигнал I называется синфазным, Q - квадратурным. Цветовое пространство YIQ использовано в основном для передачи восприятия человеческим зрением. Преимущество этого цветового пространства - быстро различать области «не кожи» и «кожи» на человеческих лицах в цветных изображениях [88].
Abadpour and Kasaei [1] пришли к заключению, что в цветовом пространстве YIQ при удалении освещения (Y) увеличивается производительность обнаружения кожи. Конверсия в RGB и обратно осуществляется по следующим формулам [26]:
Для обнаружения кожи в данной работе использованы цветовые модели HSV и YIQ с выделением нескольких блоков изображения. Цель комбинаций состоит в том, чтобы улучшить производительность обнаружения кожи в ситуациях с вариантами освещения и с различным цветом кожи.
Исследованы цветовые модели HSV и YIQ, для которых, в свою очередь, экспериментально установлены граничные условия для отнесения пикселов к цвету кожи. Например, пиксели изображения относятся к коже, если выполняется следующее условие: (20 / 90) изYIQи
Чтобы ускорить работу алгоритма, предлагается использовать блочное выделение: главная идея алгоритма - разделение изображения на блоки, каждый размером 3 3 пикселя показана на рисунке 2.2. Затем производится тестирование центрального пикселя, если этот пиксель удовлетворяет условиям (2.7), то блок пикселей рассматривают как содержащий изображение кожи, в противном случае данный блок маркируется как не содержащий кожу.
Математическая морфология используется для извлечения некоторых свойств изображения, полезных для его представления и описания (контуров, остовов и т.п.). Также интерес представляют морфологические методы, применяемые на этапах предварительной и итоговой обработки изображений. Например, морфологическая фильтрация, утолщение или утоньшение.
В данной работе предлагается использовать морфологическое сужение (эрозия) и морфологическое расширение (дилатация). Эрозия, заключается в удалении точек вдоль границ в бинарном изображении (изображение, переведенное в двухцветную (черно-белую) цветовую схему). Связанный компонент После морфологической обработки дальнейший анализ бинарного изображения может быть произведен посредством выделения связанных компонентов на изображении. Два пиксела называются связанными, если они расположены в соседних ячейках. При этом вводится понятие 4- и 8-связанности. 4-связанные пиксели соседствуют по вертикали и по горизонтали, а 8-связанные -по горизонтали, вертикали и диагонали.
Исключение областей, не относящихся к лицу
Для исключения фрагментов, полученных на предыдущих шагах, которые не относятся к области лица, можно использовать правила, предложенные в работе [132]: 1- Исключаем из рассмотрения фрагменты, размер которых меньше чем 1/600 от общего размера изображения в пикселях. 2- Соотношение между шириной и высотой фрагмента, содержащего лицо, должно удовлетворять следующим условиям: 1 ширина l5 57 или 06 ширина 2 высота Экспериментальные исследования показали, что для фильтрации полученных на предыдущих этапах фрагментов изображения с целью исключения не содержащих изображение лица, лучшие результаты дает комбинация правил (2.8) и (2.9) (1 высота 2) и исключение фрагментов, размер которых меньше 400 пикселей. Для обнаружения границ лица в полученных фрагментах используется детектор пикселей границы на основе оператора Собеля [27, 100]. Сравнение с шаблоном лица
Недостаток метода обнаружения кожи - сложность распознавания границ области лица, связанная с тем, что данный метод основан только на классификации пикселов изображения с целью обнаружения областей, содержащих цвет кожи, поэтому для обнаружения более точных границ лица и исключения «не - лиц», предлагается использовать метод сравнения с шаблонами.
Преимущество метода сравнения с шаблонами состоит в том, что его просто реализовать для определения расположения лица и отдельных фрагментов (нос, глаза, рот и т.д.).
Основа этого метода заключается в выделении областей лица на изображении, и последующем сравнении этих областей для различных изображений.
Для тестирования был выбран готовый шаблон. Шаблон содержит собой изображение центральной части лица и имеет основные его компоненты: глаза, брови, нос и рот (показан на рисунке 2.4). Использование в качестве шаблона только центральной части лица позволяет устранить влияние наиболее непостоянных частей головы человека (верхних и нижних), содержащих прическу и/или бороду. Обнаружение лица с помощью шаблона, тестирование каждой из областей изображения с заданным шаблоном.
Шаблон масштабируется согласно высоте и ширине проверяемой области. Отнесение части изображения к области, содержащей лицо, производится путем расчета корреляции между исследуемой частью изображения и шаблоном. Для этого используется коэффициент корреляции (г): r= ri(zxy)-(zx)(zy) -i r i. (2.10) n(Zx2)-(Zx)2 Jn(Zy2)-(Zy)2
Если получившиеся значение по модулю находится ближе к 1, то это означает наличие сильной связи, а если ближе к 0 — связь слабая или вообще отсутствует. Если коэффициент корреляции близок к -1, это означает, что между переменными наблюдается отрицательная корреляция. Экспериментально установлено, что лучшие результаты получаются, когда коэффициент корреляции г 0.6.
Результаты метода обнаружения лиц на изображении
В данной работе решена задача выделения области лица на основе двух методов. Первая техника использует пропуск пикселей изображения [113] вместо того, чтобы проверить каждый пиксель, чтобы идентифицировать его как кожу или не кожу при помощи цветового пространства RGB. Причиной пропуска процесса является высокая вероятность того, что соседние пиксели цвета кожи также являются пикселями кожи.
В цветовом пространстве RGB для обнаружения кожи применяются правила, которые представлены Пером [79]. При естественном дневном освещении пиксели изображения относятся к коже при выполнении следующих условий: (R 95) && (G 40) && (В 20) && [Max{R, G, B} -Min{R, G, B} 15] && (3.9) (\R-G\ 15) && (R G) && (R B) , где R, G, В - соответственно значения красной, зелёной и синей компонентов, которые составляют яркости пикселя. Таким образом, предлагаемый метод обнаружения лиц на изображении состоит из следующих шагов: подсчёт изображение из базы данных; применение обнаружение цвета кожи с пропуском многих пикселей; в этом подходе мы использовали пропуск 1, 3, 5 и 10 пикселей соответственно; применение алгоритма Виолы-Джонса; вычисление точности обнаружения и процессорного времени. Вторая техника использует цветовое пространство YCbCr и блочный алгоритм. Наконец, для выявления лиц на изображениях мы применили метод Виолы-Джонса. YCbCr потому, что его эффективность в обнаружении кожи, компоненты YCbCr получаются из RGB с помощью следующего преобразования [86, 2] : Y = 16 + 0.299 R + 0.587 G + 0.114 B; Cb = 128 - 0.16873 R - 0.33126 G + 0.5 B; Cr = 128 + 0.5 R - 0.41868 G - 0.08131 B. (3.10) Есть несколько алгоритмов обнаружения кожи, которые используют цветовое пространство YCbCr. Chai and Ngan в [9] нашли, что пиксель классифицируется как кожа, когда выполняется следующее условие: Cb 127 133 Cr 173
Экспериментальные результаты показывают, что пиксель классифицируется как кожа при выполнении условий: 60 С6 130, 127 Сг 170 , 7 75 (3.12) Ґ NНачало і Исходное изображение 1 пропуск 1, 3,5 и 10 пикселя і Г Определение цвета кожи сиспользованием цветовоепространство YCbCr и блочногометода Обнаружение кожи сиспользованием цветовоепространство RGB Метод Виолы-Джонса м W т Конец Рисунок 3.5 – Структурная схема алгоритма обнаружения лиц Чтобы ускорить работу алгоритма, изображение разделяется на блоки, каждый размером 3 3 пикселя. Затем производится тестирование центрального пикселя, если этот пиксель удовлетворяет условиям (3.12), то блок пикселей рассматривают как содержащий изображение кожи. Структурная схема алгоритма обнаружения лиц на рисунке Системные параметры показаны в таблице 3.6. Для оценки предлагаемого алгоритма и для проведения апробации было использовано 100 цветных изображений из базы данных, суммарно содержащей 326 лица. Итоговые результаты обнаружения лица представлены в таблице 3.7.
Экспериментальные результаты показывают, что предложенный метод обнаруживает приблизительно 95.7 % лиц, представленных на тестовом наборе изображений при существенном снижении вероятности ложного обнаружения. Итоговые результаты измерения время центрального процессора в таблице 3.8.
В данной работе, предложен алгоритм обнаружения лица на изображении с помощью метода вычитания фона по сравнению с фоновым изображением. Предлагаемый подход Для повышения качества работы метода Виолы–Джонса предлагается провести предварительную обработку исходного изображения путём вычитания фона (рисунок 3.9). Исходное изображение + Фоновое изображение Z Вычитание фона NZ Метод Виолы - Джонса Обнаружение лиц Рисунок 3.9 - Схема работы В работы предлагается подход для обнаружения лиц на изображении, основанный на методе Виолы-Джонса с помощью метода вычитания фона для сравнения, позволяющий значительно снизить вероятность ложного обнаружения, по сравнению с классическим подходом.
Результаты модель программно-аппаратного комплекса выделения лиц
Программно-аппаратный комплекс представляет собой камеру, совмещенную с управляющим устройством, которое делает фотоснимки и выдает на выходе связку «лица - фотоснимок». Программная часть для определения лиц использует модификацию метода обнаружения лиц, основанного на комбинации алгоритма сегментации по цвету кожи и алгоритма сравнения шаблонов. Преимущество предлагаемого решения по сравнению с аналогами состоит в том, что его реализация позволяет фиксировать множественные лица, попадающие в зону действия камеры, а используемый в программной части комплекса алгоритм позволяет минимизировать ошибки первого и второго рода.
В рамках традиционного подхода выделяют процесс выделения лиц на изображении и получение самого изображения (фотосъемку). Кроме того, существующие алгоритмы определения лиц рассчитаны на то, что лицо человека располагается на изображении строго фронтально (анфас), что затрудняет их использование в реальной жизни при большом потоке людей, проходящих мимо камеры.
С учетом вышеизложенного актуальной является задача создания программно-аппаратного комплекса, который в автоматическом режиме позволял бы выделять лица проходящих мимо него людей и передавать на дальнейшую обработку не просто фотоизображение, а связку «лица-фото».
Учитывая, что аппаратно-программный комплекс использует обработку изображений, полученных на базе цифрового видео, представляется целесообразным применение предварительной обработки изображений поступающих с камеры, с помощью алгоритмов, основанных на вычитании фона (рисунок 4.1). Исходное изображение i= Вычитание фона = Алгоритм обнаружения лиц Рисунок 4.1 – Предобработка изображения на базе вычитания фона Программно-аппаратный комплекс состоит из камеры высокого разрешения и блока управления, в состав которого входят различные программные модули: МоЛ Блок предобработки изображения Блок детектирования лиц Лица-фото
1. Модуль выделения статичного изображения (МоСИ), предназначенный для получения с камеры потока статических изображений через заданные промежутки времени. Промежутки времени могут изменяться оператором комплекса в зависимости от задач исследования. Выходными данными модуля являются изображения и параметры съемки (яркость, контрастность, цветность и т.п.)
2. Модуль выделения лиц (МоЛ), предназначенный для выделения лиц на изображениях, полученных от МоСИ. В результате обработки выходными данными модуля являются фрагменты изображения, содержащие лица. Блок-схема программно-аппаратного комплекса представлена на рисунке 4.2.
Программная часть модуля выделения лиц (МоЛ) использует следующий алгоритм, основанный на комбинации алгоритмов: 1) Производится вычитание фона; 2) Производится цветовая сегментация кожи на изображении; (20 / 90) uaYIQu 0.20 S 0.75),(F 0.35),(0 # 25) USHSV 3) Выполняется преобразование полученных областей с помощью операций математической морфологии.
В двоичных изображениях обсуждаемые множества являются подмножествами двумерного целочисленного пространства Z2. Пусть А и В -множества из пространства Z2. Эрозия А по В, обозначаемая АВ, определяется как: AB ={z\(B)z A). (4.2) Эрозия множества А по примитиву В - это множество всех таких точек z, при сдвиге которых множество В целиком содержится в А. Дилатация множества А по множеству В обозначается л в и определяется как: AB = {z\(B)z СЛАФФ). (4.3) 4) Проводится анализ связных компонент для выделения областей цвета кожи; 5) Из получившегося набора областей, потенциально содержащих лица, исключаются области, для которых не выполняется условие 1 2 или высота которые содержат меньше 400 пикселей; 6) На получившемся после фильтрации (шаг 5) наборе областей производится обнаружение границ лиц на основе оператора Собеля. Пусть А исходное изображение, а GX и Gy - две матрицы, где каждая точка содержит приближенные производные по х и по у. Они вычисляются следующим образом:
Координата x здесь возрастает «направо», а y — «вниз». В каждой точке изображения приближенное значение величины градиента можно вычислить, используя полученные приближенные значения производных: 7) Дополнительная обработка с целью исключения неверно определенных лиц на базе метода сравнения с шаблоном. Рисунок 4.3 – Графический интерфейс пользователя для выделения лиц 4.2. Результаты тестирования предложенных модель программно-аппаратного комплекса выделения лиц
Данные алгоритм был успешно реализованы на языке объектно-ориентированного программирования С#.Net . В качестве основной библиотеки для работы со структурами данными, файловой системой и графической оболочкой выбраны библиотеки AForge и OpenCV, разработано программное обеспечение и скомпилированы с помощью компилятора, входящего в среду Visual Studio 2010 .В качестве реализации сравнения использовалась реализация для CPU, которая была запущена на процессоре Intel Core (TM) i7, Ram 4GB, ноутбук DELL, выполняющий Microsoft Windows 7 операционных систем. Графический интерфейс пользователя для выделения лиц (рисунок 4.3).
Программа разработана для использования в качестве системы компьютерного зрения, выполняющей задачи, связанные с обнаружением лица людей на изображениях. На вход программе могут подаваться изображения в форматах JPEG,GIF, PNG.
Тестирование работы алгоритма проводилось на базе из 150 полноцветных изображений, которые суммарно содержали 170 лиц. При этом число лиц на изображениях, и условия съемки различны и максимально приближены к реальным.