Содержание к диссертации
Введение
ГЛАВА 1. Анализ методов определения характеристик различных объектов и программно-технического обеспечения процессов обработки данных 17
1.1. Методы получения первичной информации об объекте 17
1.1.1. Получение первичной информации с помощью активных устройств 17
1.1.2. Определение параметров объекта по размытию его изображения 19
1.1.3. Определение параметров объекта с использованием стереозрения
1.2. Общие понятия о процессах обработки информативных сигналов в программно-аппаратных системах аналитического и неразрушающего контроля и мониторинга 29
1.3. Получение первичных данных в системе контроля и мониторинга 35
1.4. Анализ существующих методов проектирования автоматизированных систем контроля и создания алгоритмического и программного обеспечения для взаимодействия пользователя и системы и межмодульного взаимодействия
1.4.1. Методология MAS-CommonKADS 42
1.4.2. Методология Tropos 44
1.4.3. Методология PASSI 45
1.4.4. Методология Prometheus 46
1.4.5. Методология INGENIAS 47
1.4.6. Agent Unified Modeling Language 48
1.4.7. Методология на основе использования графов 48
1.4.8 Методология на основе использования образцов 49
1.4.9. Методология на основе использования компонентов 50
1.4.10. Методология Gaia 50
1.4.11. Методология MaSE 52
1.4.12. Методология IDEF 52
1.5. Выводы по первой главе
ГЛАВА 2. Методы и алгоритмы определения характеристик состояния и поведения объектов путем анализа их изображений 56
2.1. Определение геометрических характеристик объектов путем оценки размытия их изображений 59
2.2. Совместное использование методов статистического анализа и оценки размытия изображения
2.2.1. Построение зависимостей расстояния от размытия изображения и их аппроксимация методами наименьших квадратов и наименьших модулей 69
2.2.2. Увеличение устойчивости оценок измерений величин 73
2.2.3. Определение плотности вероятности распределения ошибок измерения геометрических характеристик
2.3. Определение геометрических характеристик объектов путем оценки размытия различных цветовых компонент их изображений 86
2.4. Определение геометрических характеристик объектов с использованием методов стереозрения 92
2.5. Определение геометрических характеристик объектов с помощью ком
плексного метода на основе алгоритмов стереозрения и размытия изображений 97
2.6. Выводы по второй главе 107
ГЛАВА 3. Методы и алгоритмы распознавания объектов контроля на основе исследования их изображений 109
3.1. Распознавание объектов при помощи метода оценки размытия их изображения 110
3.2. Распознавание объектов с использованием каскадов на основе примитивов Хаара 113
3.3. Модификация алгоритма распознавания объекта по характерным точкам 116
3.4. Определение параметров объекта контроля методом характерных точек 124
3.4.1 Определение положения объекта 124
3.4.2. Определение расстояния до объекта 125
3.4.3. Определение скорости объекта 126
3.5. Общая блок-схема алгоритма 127
3.6. Разработка прототипа системы распознавания объекта контроля 130
3.7. Реализация алгоритма распознавания объекта по изображению 134
3.8. Выводы по третьей главе 139
ГЛАВА 4. Построение функциональной модели комплексной системы удаленного контроля и мониторинга и апробация ее работы 140
4.1. Правила построения подсистемы управления для программно-аппаратной
системы аналитического и неразрушающего контроля и мониторинга 140
4.2 Реализация алгоритмического и программно-технического обеспечения в
системе контроля и мониторинга 149
4.3. Тестирование подсистемы управления оператором комплексной системы аналитического и неразрушающего контроля 154
4.4. Алгоритм размещения видеодетекторов в замкнутом пространстве 156
4.5. Тестирование алгоритма размещения видеодетекторов 162
4.6. Выводы по четвертой главе 164
Заключение 165
Библиографический список
- Определение параметров объекта с использованием стереозрения
- Совместное использование методов статистического анализа и оценки размытия изображения
- Распознавание объектов с использованием каскадов на основе примитивов Хаара
- Тестирование подсистемы управления оператором комплексной системы аналитического и неразрушающего контроля
Введение к работе
Актуальность исследования. Создание методик определения геометрических и кинематических характеристик статичных и движущихся транспортных средств, людей, других живых организмов, изделий в технологических процессах, которые могли бы функционировать в режиме реального времени и визуализироваться с помощью современных средств ЭВМ, является достаточно актуальным как с точки зрения теоретических основ приборов и методов контроля объектов и изделий, так и с точки зрения практических приложений в области безопасности, измерительной техники и математического моделирования.
В настоящее время наиболее актуальными и своевременными, в связи с расширением проблематики противодействия терроризму, мониторинга и управления транспортными и пассажирскими потоками, являются задачи разработки пассивных методов и алгоритмов, позволяющих определять широкий спектр параметров подвижных объектов, не излучая каких-либо электромагнитных импульсов. Одним из перспективных направлений развития таких методов является исследования изображений объектов, полученных фото- и видеодетекторами, такой подход отличается безопасностью для людей и сложностью обнаружения и противодействия объектами мониторинга или сторонними системами. В связи с вышеизложенным актуальной является также задача реализации пассивных методов и алгоритмов в виде программно-аппаратной системы контроля и мониторинга.
Степень разработанности темы. Потенциальные возможности пассивных методов детектирования подвижных объектов в системах контроля и мониторинга транспортных средств, мест скопления людей и производственных процессов обуславливают возрастающий интерес к ним как со стороны научного сообщества, так и со стороны разработчиков-практиков. Основные аспекты функционирования подобных методов, разработка информационного и алгоритмического обеспечения описаны в работах Алпатова Б.А., Шубина Н.Ю., Атанова А.В., Крыловецкого А.А., Кур-галина С.Д., Быкова С.А., Еременко А.В., Гаврилова А.Е., Девятерикова Е.А., Котю-жанского Л.А., Охотникова С.А., Bardram J., Bender C., Denker K., Elder J.H., Jiwani M.A., Lelegard L., Muljowidodo K., Subbarao M., Zaman T. и других исследователей.
Существующие системы аналитического и неразрушающего контроля обычно имеют узкую область применения, например, позволяют распознавать только автомобильные номера или определять положение транспортного средства относительно дорожной разметки. Существующие методы, алгоритмы и системы контроля имеют значительную вычислительную сложность, трудоемкость переконфигурации, требуют дополнительного обучения операторов, обработка информа-3
ции в них занимает существенное время, а получаемые результаты обладают значительными погрешностями.
Работа выполнена в рамках научного направления «Определение параметров подвижных и неподвижных объектов по серии их изображений и разработка программных приложений для комплексной системы мониторинга» ФГБОУ ВО «Московский государственный университет путей сообщения Императора Николая II (МИИТ)». Работа соответствует приоритетным направлениям развития науки, технологии и техники в Российской Федерации «Безопасность и противодействие терроризму» и «Информационно-телекоммуникационные системы» и способствует развитию критических технологий «Технологии информационных, управляющих, навигационных систем» и «Технологии предупреждения и ликвидации чрезвычайных ситуаций природного и техногенного характера». Настоящая работа выполнена при поддержке Российского научного фонда (проект № 14-49-00079), а также ряда организаций транспортной и строительной отрасли, в интересах которых решались отдельные задачи.
Цель работы – разработка методов определения геометрических и кинематических параметров объектов на основе анализа их изображений, алгоритмического и программно-технического обеспечения процессов обработки информации для увеличения точности определяемых характеристик и быстродействия функционирования системы контроля.
В соответствии с поставленной целью сформулированы и решены следующие задачи:
-
обоснование метода получения первичной информации о подвижном объекте, выбор моделей процессов обработки информативных сигналов и методов проектирования автоматизированных систем удаленного контроля;
-
разработка метода определения параметров статичного и подвижного объекта путем агрегирования методов стереозрения и анализа размытия изображения;
3) разработка автоматизированного алгоритма размещения детекторов про
граммно-аппаратной системы мониторинга для получения изображений, позво
ляющих точно определить характеристики подвижных объектов;
-
разработка метода распознавания объекта путем анализа серии его изображений;
-
реализация разработанных методов и алгоритмов в виде комплексной программно-аппаратной системы контроля;
6) апробирование разработанной системы контроля и мониторинга с опреде
лением параметров функционирования в нормальном режиме эксплуатации.
Объектом исследования являются параметры подвижных и неподвижных объектов различной природы, перемещение которых может быть привязано к мес-4
там скопления людей, транспортных средств, общественным зданиям, объектам инфраструктуры и технологическим процессам при производстве различных изделий.
Предмет исследования – информационное, методологическое, программно-алгоритмическое обеспечение определения геометрических и кинематических параметров подвижного объекта, модель системы контроля и мониторинга и ее реализация в виде программно-аппаратного комплекса.
Тематика работы соответствует п. 2. «Разработка и оптимизация методов расчета и проектирования элементов, средств, приборов и систем аналитического и неразрушающего контроля с учетом особенностей объектов контроля», п. 3 «Разработка, внедрение и испытания приборов, средств и систем контроля природной среды, веществ, материалов и изделий, имеющих лучшие характеристики по сравнению с прототипами», п. 6 «Разработка алгоритмического и программно-технического обеспечения процессов обработки информативных сигналов и представление результатов в приборах и средствах контроля, автоматизация приборов контроля», п.7 «Методы повышения информационной и метрологической надежности приборов и средств контроля в процессе эксплуатации, диагностика приборов контроля» паспорта специальности 05.11.13 «Приборы и методы контроля природной среды, веществ, материалов и изделий».
Достоверность полученных результатов подтверждается корректной постановкой задач, выверенностью математических выкладок, корректным использованием математических методов, проверкой адекватности предложенных моделей, подтверждением теоретических результатов экспериментальными данными и результатами других авторов, применением современных верифицированных методик моделирования и программных вычислительных средств.
Научная новизна работы:
-
Предложен метод определения геометрических (размеры и расстояние) и кинематических (скорость и направление движения) характеристик объектов на основе обработки изображений, отличительной особенностью является использование изображений, полученных с помощью стереоскопического зрения, и анализа размытия образов объектов в зависимости от дефокусировки камеры; данный метод обладает большей точностью, допустимой вычислительной сложностью, позволяет работать на больших расстояниях по сравнению с известными методами.
-
Впервые разработан алгоритм расположения детекторов комплексной системы контроля и мониторинга, учитывающий характеристики движущегося объекта, планировку зданий и сооружений, их освещенность и позволяющий с определенной точностью определять искомые величины.
-
Впервые разработан метод распознавания объектов, основанный на анализе размытия образа объекта и на алгоритме изменения фокусного расстояния детектора и позволяющий работать при различных скоростях и направлениях движения исследуемого объекта или изделия.
-
Разработано алгоритмическое и программное обеспечение процессов обработки информации в системе мониторинга и определения характеристик подвижных объектов, включая пользовательско ориентированные интерфейсы и архитектуру программно-аппаратного комплекса, что позволит создать комплексную систему удаленного контроля, ориентировать ее на решение широкого круга задач контроля и адаптировать под конкретного оператора, это является принципиальным отличием от существующих систем контроля.
-
Реализована и апробирована автоматизированная система удаленного контроля и мониторинга, которая в отличие от существующих систем позволяет не только обнаруживать и распознавать объекты, но также и определять параметры их движения и состояния с заданной точностью.
-
Экспериментально подтверждена работоспособность предлагаемых методов и алгоритмов, реализованных в системе контроля; установлено, что точность определения расстояния от наблюдателя до объекта, скорости и направления движения этого объекта, функциональное быстродействие на уровне человеко-машинного взаимодействия и взаимодействия между отдельными модулями системы мониторинга выше, чем у известных аналогов и прототипов. Отличительной особенностью является то, что предложенные методы и алгоритмы не только направлены на решение поставленных задач, но и сами являются объектом исследования.
Теоретическая и практическая значимость работы заключается в том, что разработанные модели, алгоритмы и методы являются научной основой аналитического, неразрушающего (бесконтактного) и экологически безопасного контроля и мониторинга транспортных средств, людей, объектов живой природы, технологических процессов. Результаты проведенного исследования при их практической реализации приведут к повышению качества оценки ситуации на транспортных магистралях и дорогах, к более точному определению параметров движения и местоположения объектов живой и неживой природы, к увеличению безопасности техногенных объектов, к расширению автоматизации производственных процессов.
Методология и методы исследования основаны на использовании методов математического моделирования состояния и поведения подвижных объектов, системного и статистического анализа, численных методов решения определяющих систем уравнений, методах объектно-ориентированного программирования, имитацион-6
ного моделирования и визуализации процессов на ЭВМ. При получении, обработке и оформлении результатов были использованы компьютерные программы MathCAD, Visual Basic, Microsoft Office, а также собственные программные приложения, реализованные с помощью языков программирования С++, Java, XML, JavaScript.
Положения, выносимые на защиту:
-
Модель системы аналитического и неразрушающего контроля подвижных объектов, объединяющая отдельные программные и аппаратные модули, позволяет реализовать процессы получения первичной информации об объекте, обработки информационных сигналов, человеко-машинного и программного взаимодействия, и вычислять параметры различных объектов более точно чем известные прототипы.
-
Метод определения геометрических (расстояние и размеры) и кинематических (скорость и направление движения) характеристик объектов, основанный на обработке серии изображений, полученных с использованием алгоритмов и моделей стереозрения, анализе размытия объектов, обеспечивает точность на 20-40% выше точности существующих прототипов при допустимой вычислительной сложности, и позволяет работать в более широком диапазоне параметров внешней среды, поведения и состояния самого объекта.
3. Алгоритм расположения фотодетекторов комплексной программно-
аппаратной системы контроля и мониторинга, основанный на совместном учете па
раметров движущегося объекта, планировки и функциональности зданий и соору
жений, позволяет с определенной точностью вычислять исходные величины, а так
же отслеживать перемещение объекта по всей контролируемой территории.
-
Метод распознавания объектов, базирующийся на анализе размытия образа объекта, алгоритме изменения фокусного расстояния детектора, алгоритме использования примитивов Хаара и характерных точек, позволяет работать при различных скоростях и направлениях движения исследуемого объекта, а также в широком диапазоне расстояний до него.
-
Алгоритмическое и программное обеспечение процессов обработки информации в системе контроля и мониторинга и определения параметров состояния и поведения подвижных объектов, основанное на пользовательско ориентированных интерфейсах и модульной архитектуре программно-аппаратного комплекса, позволяет конфигурировать и масштабировать систему контроля в зависимости от поставленных задач и рассматривать в качестве объектов контроля людей, транспортные средства, изделия в ходе промышленного производства.
6. Разработанные методы и алгоритмы при реализации в системе контроля,
позволяют с точностью до 96% определять расстояние до объекта, скорость и на-
7
правления его движения и имеют высокое быстродействие на уровне взаимодействия между отдельными модулями системы и человеко-машинного взаимодействия при работе с системой обычного оператора ЭВМ.
Апробация работы. Результаты исследований, изложенные в диссертации, неоднократно докладывались на научно-практических конференциях и семинарах: на национальной научно-технической конференции «Развитие научно-технического творчества молодежи в Москве и регионах России» в 2013 г.; Всероссийских научно-практических конференциях «Математика, информатика, естествознание в экономике и в обществе» (Москва 2010 г., 2013 г., 2014г., 2015г., 2016 г.), на Всероссийских научно-практических и учебно-методических конференциях «Фундаментальные науки в современном строительстве», Москва 2012 г., 2013г.; на Международном симпозиуме «Динамические и технологические проблемы механики конструкций и сплошных сред» им. А.Г. Горшкова, Москва, 2010, 2015; на научных конференциях профессор-ско-преподавательского состава Московского государственного технического университета им. Н.Э. Баумана, в 2012-2015 годах, на семинарах Московского государственного университета путей сообщения и Московского финансово-юридического университета в 2011-2016 годах, на XII Международной Сибирской конференции по контролю и коммуникациям (SIBCON) в 2016 г., а также на семинаре Федерального исследовательского центра «Информатика и управление» РАН в 2015 году.
Реализация результатов работы. Результаты диссертации были использованы в научно-производственной деятельности Группы компаний «Вагонпутьмаш» г. Москва (отдельные алгоритмы и модули системы мониторинга для контроля состояния рельсошпальной решетки), ООО ПТК «КАМАЗ» г. Острогожск Воронежской области (система видеонаблюдения и безопасности), ООО «Эксперт» г. Воронеж (система измерения расстояний до отдельных элементов зданий и сооружений и выявления дефектов конструкций), а также в научно-производственной и учебной деятельности Московского государственного строительного университета.
Публикации. Основные положения диссертации опубликованы в 18 печатных работах, из них 12 статей опубликовано в изданиях, рекомендованных ВАК Ми-нобрнауки РФ для опубликования основных научных результатов диссертаций на соискание ученой степени кандидата наук, а 6 работ опубликованы в сборниках научных трудов и материалов конференций. Получено 5 свидетельств о государственной регистрации программ для ЭВМ.
Личный вклад автора в работу. Разработка моделей, методов, алгоритмов, методики проведения экспериментальных исследований, требований к системе контроля и мониторинга, программная реализация методов и алгоритмов, разработка и реали-
зация комплексной системы удаленного контроля, анализ полученных были проведены автором лично. Выбор приоритетов, направлений и методов исследования, способов представления результатов, формирование структуры и содержания работы, формулирование основных положений выполнены при участии научного руководителя.
Структура и объём диссертации. Диссертация включает в себя введение, четыре главы, заключение и изложена на 192 страницах машинописного текста, в том числе 7 таблиц, 80 рисунков. Список литературы насчитывает 212 наименований.
Определение параметров объекта с использованием стереозрения
К способам получения информации об объекте с помощью активных устройств относятся любые способы, которые предполагают излучение электромагнитных волн. К таким способам относятся получение характеристик объекта с помощью PMD-камер, лазеров, эхолокаторов и т.д.
Принцип действия PMD-камер (Photonic Mixer Device) основан на времяпро-летных (Time-of-Flight) измерениях, то есть измерении времени перемещения света от камеры до объекта, и обратно после отражения от объекта до специальной светочувствительной матрицы. Расстояние может быть вычислено из уравнения для идеальной камеры [81]: z = R (S2 - S1) / 2(S1 + S2) + R / 2, (1.1) где R - диапазон камеры, определяется в оба конца светового импульса, S1 - количество светового импульса, который принимается, S2 - количество светового импульса, который рассеивается (Рис.1.1).
В статье [128] сравниваются методы определения расстояния с помощью PMD-камеры и стереозрения. Приводятся возможные отклонения расстояния в зависимости от угла наклона видеодетекторов. В итоге, расстояние определено точнее PMD-камерой, недостатки заключаются в низком разрешении PMD камеры, это приводит к более низкому пространственному разрешению по сравнению со стереозрением, т.е., для целей определения формы поверхности исследуемого объекта было бы желательно использование обоих методов.
Совмещению методов, связанных с излучением электромагнитных волн и импульсов (активные методы), и методов обработки серии изображений (пассивные методы) для конечного определения координат объекта, то есть при использовании как PMD-камер, так и алгоритмов стереозрения, посвящена работа [154].
В статьях [200, 187, 208] описываются основные принципы работы подобных камер и их возможное применение, например, в мобильной робототехнике, промышленности, автомобильной безопасности и навигации. Также с их помощью могут быть решены различные прикладные задачи, в том числе «просвечивать» контейнеры и визуализировать находящиеся в нем предметы [81, 121].
Reulke в статье [186] предлагает использовать комбинацию PMD-камеры с RGB-камерой с высоким разрешением для улучшения качества визуализации объекта контроля и увеличения точности определяемых параметров. Рассматривается точность использования PMD-камер, но при этом в данной статье не рассматривает точность общей комбинации.
Langmann и др. [155] проводят сравнение различных ToF камер, таких как Microsoft Kinect и PMDTec CamCube, по погрешностям определения расстояния, по зависимости от угла установки, а также по качеству усредненных кадров по каждому расстоянию. Также сравнение проводится и в статье [13], где описыва ются SR-4000 and CamCube3.0, и в статье [163], где Microsoft Kinect сравнивается с камерой PMD CamCube 3.0 и SwissRanger 4000.
В статье [143] кратко описаны все возможные методы определения расстояния до объекта, используемые человеком, PMD-камеры, комбинирование стерео-зрения и PMD-камер, а также оценка этого метода. Калибровка проводится при помощи Matlab Tools и двух камер [192]. Вопросам калибровки посвящены также статьи [192, 162], где приводятся погрешности метода использования PMD-камер.
Статья [140] рассматривает проблему наличия времени интегрирования (настройки) времяпролетной (Time-of-Flight) камеры, которое следует учитывать для адаптации в реальном времени при динамических сценах для уменьшения ошибок определения расстояния до искомого объекта контроля.
В статье [181] находятся погрешности метода определения расстояния до объекта контроля при использовании камер и описывается способ их уменьшения путем совмещения карты глубины изображения и градации серого цвета изображений.
Применение полупроводникового лазера подробно описывается в работах [193, 129, 99] для составления спектральных портретов объектов контроля, использования для навигации мобильного робота и для 3D реконструкции объекта при использовании системы из четырех камер соответственно. Использование лазеров позволяет с высокой точностью удаленно реконструировать поверхность объекта, но это приводит к ощутимому удорожанию конструируемой системы нахождения координат, моделирования и визуализации объектов [55].
Работа [173] посвящена использованию лазера для определения расстояния под водой. Эксперименты проведены для расстояний вплоть до 3,5 м, максимальная оценка ошибки составила 12%.
Совместное использование методов статистического анализа и оценки размытия изображения
В настоящее время все большую роль в различных программно-аппаратных системах и комплексных системах измерений, контроля и мониторинга начинают играть алгоритмы и модули удаленного определения различных характеристик движущегося объекта: расстояние до него, скорость и направление движения, координаты положения в пространстве и т.д. Для решения подобного рода задач часто используются активные системы, излучающие электромагнитные колебания определенных частот, но при общем усложнении алгоритмов обработки данных необходимо упрощать некоторые процедуры получения первичной информации об исследуемом объекте, в том числе для уменьшения общей стоимости системы. Одним из направлений таких упрощений является попытка получать всю необходимую информацию об объекте контроля по его изображениям.
Описываемое направление научных и технических исследований активно развивается в последнее время как отечественными, так и зарубежными исследователями и целыми организациями. В существующих интеллектуальных системах выделяются несколько пассивных способов получения данных об исследуемых объектах и изделиях. Можно выделить многосенсорный подход (стереозрение), построение перспективы изображения, использование зафиксированной камеры и дополнительного освещения объекта, а также специальную калибровку фото или видеодетектора [110]. Каждая из представленных методик может вполне использоваться на практике в зависимости от поставленной задачи, типа автоматизированных приборов контроля или программно-аппаратной системы аналитического и удаленного контроля и мониторинга, а также от параметров самого объекта контроля [71-73].
В работе используется набор камер, предоставляющих видео в режиме реального времени, при этом движение объекта определяется путем постоянного сканирования изображения, выделяются пути перемещения объектов и происходит их первичное распознавание на уровне человек – не человек (пол человека [119]), транспортное средство – неподвижное препятствие, – в итоге, по точкам, определяющим объект на изображении, анализируется направление его движения. В исследовании предлагается использовать камеру, дающую трехмерное изображение, т.е. одним из параметров получаемого изображения является глубина изображения или расстояние до отдельных элементов [124]. Данная камера снабжена сенсорами, определяющими глубину расположения каждого выделенного пикселя. Поскольку данная технология сопряжена с большими вычислительными нагрузками на программно-техническое обеспечение, то обычно выделяются не все точки объекта, а только некоторые, расположенные вдоль границы объекта и на равном удалении от них. Активные камеры дают исследователю возможность панорамировать изображения, менять угол поворота и параметры фотофиксации, объектив видеодетектора может определять общие координаты, используя координаты пикселей в выбранных точках в отдельном фрейме изображения. Для камер подобного класса очень важна процедура калибровки, чаще всего такие процедуры основаны на повороте самой камеры и включают следующие основные этапы: выделение перекрывающихся графических фреймов наблюдаемого изображения, определение функциональных точек изображения, вычисление двумерных преобразований для изображений с соответствующими точками, получение калибровочной матрицы из гомо-графической матрицы, вычисление функциональных точек глубины, представляющих собой данные для калибровочной матрицы. В работе [129] развивается метод трехмерной реконструкции, основанный на дополнительном подсвечивании исследуемого объекта и изучении формы образуемых теней.
Наиболее популярными методами определения параметров объекта в такой постановке задачи являются методы стереозрения, т.е. наличие нескольких фотодетекторов; определения размытия при заданном движении видеокамеры и последующий его анализ; регулировка фокуса детектора; определения размытия для различных цветов, входящих в образ объекта [107, 33]. Каждый из методов имеет свои преимущества и недостатки, связанные с техническими, алгоритмическими и программными возможностями реализации отдельных процедур. Большинство современных камер используют различные системы и алгоритмы автофокусировки на основе пассивного фокуса и того факта, что точно сфокусированное изображение имеет наилучший контраст относительно любых объектов в выбранной сцене. Для восстановления глубины изображения можно использовать фокусировку камеры, проводимую по следующему алгоритму: изображение разделяется на отдельные активные окна, наилучший контраст для выбранных окон общего изображения записывается в память, и данная процедура повторяется до получения наилучшего контраста для всего изображения, по которому и производится фокусировка объектива; полученное фокусное расстояние используется после определения настоящей глубины отдельных фрагментов изображения [41].
Еще одним популярным методом определения расстояний до объектов на изображении является метод оценки глубины путем исследования дефокусировки [161], в основу данного метода положен физический эффект зависимости определяемого расстояния до объекта на полученном изображении от фокусного расстояния или апертуры объектива. При фокусировке фотодетектора на объекте при определенной дистанции другие объекты, расположенные как ближе, так и дальше фокусного расстояния, образуют пятно размытия в зависимости от расстояния до них на плане изображений. В этом случае важно учесть, что размытие также может существенно меняться из-за диафрагмы, поскольку уменьшение апертуры ведет к получению более четких изображений объектов на разных дистанциях; когда апертура достаточно велика, то пятно размытия увеличивается.
Для нахождения величины размытия в работе [184] в качестве основной области исследования предлагается использовать не всю площадь объекта, а только его угловые границы, т.е. области, в которых сходится изображение объекта и окружающей картины в двух направлениях, что повышает эффективность исследования данных зон по сравнению с областями, в которых объект граничит с фоном только в одном направлении. Параметры движения объекта оцениваются в локальных областях, при этом учитывается неравномерность размытия объекта по разным направлениям, поэтому данный алгоритм предлагается использовать даже в случае вращения камеры или самого объекта. В большинстве работ по данному направле нию [157, 184, 189] форма интересующего объекта является величиной постоянной, хотя эта гипотеза существенно зависит от траектории движения объекта контроля и от ракурса его воспроизведения видеодетектором. В общем случае, считать форму объекта постоянной нельзя, равно как и его геометрические размеры, поэтому в данной работе, наряду с объектом, вводится понятие его границы, по которой легче определить параметры всего изображения.
Описанные методы основаны на использовании дополнительного оборудования и внедрении отдельных элементов в уже существующие технические системы, также они связаны с рядом ограничений на детектируемые объекты, такими как направление и характер движения, внешние параметры среды детектирования. В связи с этим весьма актуальной и своевременной представляется задача разработки методики, позволяющей комплексной программно-аппаратной системе измерений, контроля и мониторинга не зависеть от внешних параметров среды и самого объекта, кроме того сводящей к минимуму все возможные изменения в составе и настройках штатных систем фото- и видеофиксации.
Основной целью исследований, проведенных в главе, является модификация метода определения геометрических характеристик статичного или подвижного объекта контроля путем исследования серии его изображений. Актуальность темы представляемого исследования связана с необходимостью повышения скорости обработки информации о состоянии перемещающихся объектов для улучшения управления инфраструктурой, потоками транспорта и пассажиров, системами мониторинга и контроля, а также с точки зрения комплексных систем безопасности в общественных местах, на объектах транспорта и автоматизации приборов контроля.
Распознавание объектов с использованием каскадов на основе примитивов Хаара
Используемая методика на примере решаемых численных задач хорошо себя показала при определении расстояний до статичных объектов, построенные графики дают количественное представление увеличения погрешности при вычислении расстояний до искомых элементов. Точка излома на кривой зависимости размытия (дисперсии) от расстояния до объекта (рис.2.27) говорит о разнице в образовании пятна расфокусировки до и после фокусной точки, связанной с наличием модуля в определяющем выражении (2.3). При этом скорость увеличения погрешности при удалении от фокусного расстоянии, меньше чем при определении расстояний меньших фокусного. В целом точность определения расстояния зависит от фокусного расстояния, выдержки, числа диафрагмы, светосилы, гиперфокального расстояния и других параметров съемки, от внешних характеристик среды, а также геометрических и кинематических параметров самого объекта контроля, но для более точного определения параметров изучаемого объекта рекомендуется получать его изображение при различных настройках видео- или фотодетектора, а затем оценивать динамику изменения тех или иных визуальных характеристик. Сравнение размытия изображения объекта, полученного при разных настройках детектора (диафрагма, фокусное расстояние) позволяет получить дополнительную информацию о форме и размерах объекта, расстоянии до него, скорости и направлении движения.
Котюжанский в своей работе [50] формулирует достаточно быстрый метод определения карты глубины стереоизображения таким образом, чтобы каждый пиксель графической информации содержал значение расстояния до камеры, которое затем будет обрабатываться специальным графическим процессором. Для генерирования информации о глубине изображения используются пассивные методы сопоставления изображений, полученных с двух камер. В качестве парамет ра сопоставления используется расстояние между точками одного объекта на двух изображениях, определяемое методом «скользящего окна». Данный метод включает построение градиентных изображений с помощью свертки, вычисление линейной комбинации градиентного и исходного кадра, после этого из всех значений модуля разности выбранного и подбираемого пикселя выбирается минимальное значение, соответствующее координатам подбираемого пикселя. В [50] на основании описанной методики разработан вычислительный модуль определения глубины изображения за интервалы времени от 10 до 40 миллисекунд, что позволяет идентифицировать не только лицо человека, но и его жесты [34,87,88].
Несмотря на существенные достижения в области распознавания объектов контроля и детектирования их характеристик [114], многие вопросы реализации методологического обеспечения в виде программно-аппаратных комплексов являются недостаточно изученными. Это связано в первую очередь с частым представлением общей проблемы в виде двух частей: математической и программно-аппаратной, а при сращивании алгоритмов происходит уменьшение точности в определении параметров целей и увеличение ошибок из-за различных несовместимостей. В данном параграфе разрабатывается методика измерения, включающая модуль математического моделирования, методологическое обеспечение, программную обработку данных и аппаратную реализацию в виде конечного комплекса из двух видеокамер и программного приложения, обрабатывающего полученные изображения.
В параграфе разрабатывается методологическое обеспечение, включающее методы математического моделирования поведения объектов и определения расстояния до них, с помощью системы стереозрения, основным элементом которой является стереопара, т.е. две идентичные камеры с определенным расстоянием между ними. Основными критериями классификации при этом являются схожесть окрестности вокруг сравниваемых точек (для этого вычисляется функция расхождения) и способ минимизации энергии.
При использовании двух идентичных камер с параллельными оптическими осями расстояние до точки определяется как: где/- фокусное расстояние, i - расстояние между камерами, x1 иX2 - координаты проекций на левом и правом изображениях [3]. Для более удобного практического применения формулы (2.12) представим ее в виде: где d - база (расстояние между камерами), Н - горизонтальное разрешение изображения, а - угол обзора камеры, x1 и x2 - координаты точки, до которой определяется расстояние, в координатной системе отсчета первой и второй камеры соответственно.
Для возможности использования формулы (2.47) считается, что изображения, получаемые с камер, ректифицированы, то есть камеры расположены так, что в их координатных системах отсчета координаты точки, до которой требуется определить расстояние, у1 и y2 равны, что означает, что горизонтальные линии на изображениях соответствуют одной плоскости.
Калибровка стереосистемы из двух идентичных и установленных соосно камер в эксперименте происходит путем соотнесения ярких точек-объектов, встречающихся на изображениях как с одной камеры, так и с другой, а также измерением расстояния до этих объектов расстояния в реальности. Далее происходит стереореконструкция отдельных точек объекта, параметры которого необходимо определить, с условием предположений, описанных ранее.
Для уменьшения погрешности предлагается увеличить базу до расстояния того же порядка, что и измеряемое [107]. Но, учитывая условия нашей работы, где планируется создание единого прибора измерений, в рамках которого должны находиться камеры, это представляется невыполнимым, поэтому предлагается введение калибровочного коэффициента, учитывающего расхождение получаемого по формуле (2.47) и реального расстояний. Для устранения этих проблем возможно использование в алгоритме методов ректификации изображений [97], но это приводит к серьезному усложнению алгоритма.
Из условия необходимости высокой чувствительности определения расстояния (то есть, чтобы изменение разности пикселей на единицу приводило к изменению определяемого расстояния не более чем на 5%), можно определить, начиная с какой разности пикселей следует применять формулу (2.47):
Тестирование подсистемы управления оператором комплексной системы аналитического и неразрушающего контроля
Одним из основных элементов программно-аппаратных систем контроля и мониторинга являются процедуры и алгоритмы идентификации, каждый из них имеет свои достоинства и недостатки, такие процедуры необходимы для более точной классификации объектов контроля и достоверного измерения параметров состояния и поведения. В средства и приборы аналитического и неразрушающего контроля входит модуль распознавания объектов для более точного их детектирования и обмера, на этот модуль могут влиять условия окружающей среды, наличие предметов, частично закрывающих объект, фоновых шумов, все это может привести к некорректному считыванию устройством первичной информации. Поэтому наибольший интерес представляет распознавание и прослеживание объекта по всему его маршруту следования. Технологии распознавания предметов, изделий и лиц хорошо работают со стандартными видеокамерами, которые транслируют данные и управляются персональным компьютером.
Для оценки возможностей средств наблюдения основными параметрами являются: фокусное расстояние, угол поля зрения и изображения, светосила, разрешение, частотно-контрастная характеристика.
В основе используемой в работе методики распознавания образов заложен алгоритм adaptive boosting (адаптивное усиление) или сокращённо AdaBoost [86,90, 114]. Смысл алгоритма заключается в том, что если имеется набор эталонных объектов и множество простых классификаторов, то на основе их синтеза можно составить один более совершенный и мощный классификатор. При этом в процессе составления или обучения финального классификатора акцент делается на эталоны, которые распознаются «хуже».
AdaBoost вызывает слабый классификатор в цикле, после каждого вызова обновляется распределение весов Dt, отвечающих важности каждого из объектов обучающего множества. На каждой итерации веса любого неверно классифицированного объекта возрастают, новый классификатор «фокусирует своё внимание» на этих объектах и минимизирует взвешенную ошибку классификации:
Таким образом, после выбора оптимального классификатора ht для распределения Dt, объекты Xj, идентифицируемые классификатором ht корректно, имеют веса меньшие, чем объекты, идентифицируемые некорректно. Следовательно, когда алгоритм тестирует классификаторы на распределении Dt+1, он будет выбирать классификатор, который лучше идентифицирует объекты, неверно распознаваемые предыдущим классификатором. Для построения отдельных классификаторов используются примитивы Хаара [9,79].
На рис. 3.1 представлен набор таких примитивов, работающих по следующей схеме: на эталонное изображение накладывается какой-либо из примитивов, например 1(а), затем вычисляется сумма значений пикселей в белой области примитива и чёрной области и из первого значения вычитается второе. Получаемая в итоге величина представляет собой обобщённую характеристику анизотропии базового участка изображения N здесь Qw, Qbl - суммарное количество, соответственно, белых и черных пикселей в примитивах, расположенных в выделенной области изображения.
Данная процедура связана с существенными вычислительными сложностями, поскольку даже для небольшого изображения количество накладываемых примитивов очень велико (для изображение, размером 24х24 пикселя, количество примитивов около 180 тысяч). Задача алгоритма адаптивного усиления заключается в том, чтобы выбрать те примитивы, которые наиболее эффективно выделяют данный объект.
Работа примитивов на базовом изображении Как видно из рис. 3.2, для объекта слева алгоритм выбрал два примитива. По понятным причинам область глаз более тёмная по сравнению со средней областью лица и переносицы. Примитивы этой конфигурации и размеров наиболее лучшим образом «характеризуют» данное изображение. На основе таких классификаторов с отобран 115 ными наиболее эффективными примитивами строится каскад. Каждый последующий элемент каскада имеет более жёсткие условия успешного прохождения, чем предыдущий (используется больше примитивов), тем самым до конца доходят только «полностью описывающие изображение» комплексные примитивы (рис. 3.3).
Для программно-аппаратной системы контроля и мониторинга одна из основных задач - это определение наличия или отсутствия в видеоданных характерных объектов, вновь появившихся аспектов представления изображений, движения отдельных объектов и иных особенностей объектов контроля.
В данной работе для решения задачи используется нескольких камер, таким образом, при перемещении по зданию или по технологической цепочке, объект будет попадать в разные зоны обзора под разными ракурсами.
На этапе предварительной обработки изображения происходит выделение характерных точек изображения и расчет оптического потока в окрестности этих точек, представляющий собой исходные данные для алгоритма захвата, отслеживания и детектирования объекта.
Оптический поток представляется как изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя относительно сцены. При этом пиксель изображения с координатами (х, у, і) в плоскости и времени и интенсивностью / (х, у, і) за прогонку одного кадра получил приращения (Ах, Ay, At), изменившуюся интенсивность пикселя можно представить в виде ряда Тейлора (при малых перемещениях):