Содержание к диссертации
Введение
ГЛАВА 1. Системы объемного технического зрения и обзор методов распознавания 3D объектов 13
1.1. Актуальность проблемы 13
1.2. Обзор систем объемного зрения и их применения 19
1.2.1. Дальнометрические системы 20
1.2.2. Системы стереозрения 21
1.2.3. Системы со структурированной подсветкой 22
1.3. Обзор методов описания объемных объектов 27
1.3.1. Трехмерные каркасные модели 28
1.3.2. Модели типа «Поверхность-ребро-вершина» 29
1.4. Обзор методов распознавания трехмерных объектов 30
1.4.1. Распознавание объектов по их моделям с использованием процедуры совмещения 31
1.4.2. Распознавание на основе сопоставления исходных данных с реляционными моделями 32
1.5. Постановка задача 34
Выводы по главе 1 38
ГЛАВА 2. Метод выделения характеристических точек на 3D изображениях 39
2.1. Выходные данные телекамеры Artec LTM 39
2.2. Фильтрация исходных данных 42
2.3. Алгоритмы сегментации сцены 45
2.3.1. Первый способ – использование направляющих косинусов 45
2.3.2. Второй способ – анализ параллельности треугольников 46
2.3.3. Третий способ – последовательный анализ соседних треугольников 48
2.3.4. Сравнение алгоритмов сегментации 50
2.4. Выделение характеристических точек объектов 51
2.4.1. Методы выделения характерных признаков 2D изображений 52
2.4.2. Способ описания плоскости сегмента 55
2.4.3. Оценка точности описания плоскости сегмента 56
2.4.4. Определение характеристических точек объекта 59
2.4.5. Экспериментальные исследования метода выделения характеристических точек объектов 62
Выводы по главе 2 64
ГЛАВА 3. Метод обнаружения многогранных пространственных объектов 65
3.1. Общий подход к обнаружению 65
3.2. Определение пространственного расположения характеристических точек 66
3.2.1. Способ описания многогранных пространственных объектов по характеристическим точкам 67
3.2.2. Определения параметров характеристических точек объекта 69
3.2.3. Определение связей выбранной точки с другими характеристическими точками объекта 70
3.2.4. Определение параметров характеристических точек реальных объектов 72
3.3. Алгоритм обнаружения многогранных пространственных объектов 73
3.3.1. Процедура сравнения значений группы углов 75
3.3.2. Определение соответствия между характеристическими точками реального объекта и модели 77
3.3.3. Оценка результатов сравнения 83
3.4. Результаты обнаружения реальных объектов 84
Выводы по главе 3 87
Глава 4. Определение траектории движения манипулятора по результатам обнаружения объекта 88
4.1. Способ совмещения модели и объекта 88
4.1.1. Исходная информация для совмещения модели с объектом 89
4.1.2. Этапы совмещения пространственной модели с реальным объектом 91
4.2. Способ определения следующей точки наблюдения 95
4.2.1. Алгоритм выбора следующей точки наблюдения 96
4.2.2. Расчет координат следующей точки наблюдения 98
4.3. Построение траектории движения робота в следующую точку наблюдения 101
4.3.1. Алгоритм управления движением мобильного робота в заданную точку 102
4.3.2. Обратная кинематическая задача манипулятора PUMA 103
4.4. Результаты поиска объектов из двух точек наблюдения 109
Выводы по главе 4 112
ГЛАВА 5. Экспериментаные исследования системы обнаружения 113
5.1. Программное обеспечение системы обнаружения 113
5.1.1. Архитектура программного обеспечения 113
5.1.2. Интерфейс программы 115
5.2. Разработка стенда обнаружения объектов с манипулятором 118
5.3. Экспериментальные исследования системы обнаружения 124
5.3.1. Обнаружение образца противотанковой мины Топфмина 4531 124
5.3.2. Обнаружение образца мины Betonmine 126
5.3.3. Обнаружение образца мины ТМД-40 128
5.3.4. Обнаружение несимметричного многогранного пространственного объекта 129
5.4. Оценка работоспособности системы зрения при различных условиях роботы 131
5.4.1. Обнаружение произвольно расположенных объектов 131
5.4.2. Обнаружение плохо различимых объектов 133
5.4.3. Обнаружение цветных объектов 137
5.4.4. Влияние освещенности сцены 138
5.5. Анализ точности измерения размеров и координат объектов 139
Выводы по главе 5 143
Основные результаты и выводы 144
Список использованных источников
- Дальнометрические системы
- Первый способ – использование направляющих косинусов
- Способ описания многогранных пространственных объектов по характеристическим точкам
- Алгоритм управления движением мобильного робота в заданную точку
Введение к работе
Актуальность работы. Мир пережил несколько войн, большое количество бомб, мин и взрывных устройств по-прежнему остаются на полях сражений. Именно они до сих пор ежедневно угрожают жизни людей. По мнению экспертов при использовании существующих технологий на разминирование всей планеты потребуется около тысячи лет и до ста миллиардов долларов; при этом на каждые 5000 обезвреженных мин приходится один погибший и двое покалеченных саперов. Поэтому в настоящее время, большое внимание уделяется задаче разработки робототехнических систем обнаружения мин для замены человека в экстремальных и опасных условиях работы. Для автономного решения таких сложных задач требует разработка современных робототехнических систем, обладающих широкими функциональными возможностями. При этом робототехнические системы обязательно используют системы технического зрения (СТЗ), что обеспечивает существенное расширение их технологических и функциональных возможностей. Раньше для решения задачи распознавания объектов обычно использовали 2D системы зрения. Но эти системы не позволяют обнаруживать объекты, которые располагаются на сложном фоне, частично перекрыты другими объектами, не полностью видны или камуфлированы. При использовании систем объемного технического зрения (СОТЗ) для анализа и обработки визуальной информации о текущем состоянии рабочей сцены робота можно решить эту проблему. Применение СОТЗ, во-первых, повышает информативность и упрощает фильтрацию зашумленных изображений, обеспечивая высокое качество описания рабочей сцены и, во-вторых, дает потенциальную возможность построить эффективные алгоритмы обнаружения объектов, работающие в условиях помех, вызванных изменениями освещенности и тенями.
Интенсивные исследования систем объемного зрения имеют многолетнюю историю и связаны с роботами. Здесь следует отметить работы Стэндфордского университета (США), Оксфордского университета (Великобритания), Военной академии NATO (Бельгия). В России в этом направлении работают: ЦНИИ РТК, ИПМ им. Келдыша, МГТУ им. Н.Э. Баумана, НПО "Информация". Примером такой системы является устройство KINECT ХВОХ 360 Microsoft Corporation для игровых приложений. Большинство исследований посвящены использованию систем объемного зрения в задачах управления движением роботов, а применение системы зрения для поиска 3D объектов встречается крайне редко.
Результаты исследования типовых опасных объектов (мин), которые многократно использовались в различных странах, показали, что они имеют достаточно большие размеры и выглядят как многогранные пространные объекты. Обычно они располагаются на сложном фоне и плохо видны (частично находятся в грунте, закрыты другими объектами или камуфлированы). Поэтому в диссертационной работе предлагается использовать современную подвижную 3D телекамеру со структурированной подсветкой, установленную на манипуляционном роботе для обнаружения многогранных пространственных объектов. Наличие манипулятора позволяет анализировать рабочую сцену из разных точек наблюдения, а после обнаружения объекта манипулировать с ним в автоматическом режиме.
Цель и задачи работы. Целью диссертации является разработка системы объемного технического зрения манипуляционного робота для обнаружения многогранных пространственных объектов и определения их координат.
В соответствии с целью работы в диссертации были решены следующие задачи:
- Разработан алгоритм обработки и представления изображений рабочей
сцены робота, поступающей от 3D телекамеры.
Исследованы способы сегментации 3D изображения.
Разработан метод выделения характеристических точек многогранных пространственных объектов.
Предложен способ описания пространственных объектов на основе анализа взаимного расположения характеристических точек и их параметров.
Разработан метод для обнаружения многогранных пространственных объектов на основе сравнения параметров характеристических точек объекта и его модели.
Предложен способ вычисления координат следующей точки наблюдения рабочей сцены робота путем совмещения параметров модели и объекта по результатам поиска в данной точке.
Определена траектория движения манипулятора робота с 3D телекамерой в следующую точку наблюдения с учетом его кинематической схемы.
Методы исследования. Поставленная цель диссертации была достигнута с помощью предложенного метода обнаружения 3D объектов, основанного на сравнении параметров характеристических точек модели и объекта. Проверка работоспособности разработанных алгоритмов выполнялось путем математического моделирования и экспериментальных исследовании на разработанном лабораторном стенде. Для обработки полученных результатов использовались методы математической статистики, теории измерений и распознавания образов.
Научная новизна работы заключается в следующем:
предложен способ описания рабочей сцены манипуляционного робота по ее изображению с помощью характеристических точек - точек пересечения трех плоскостей (трех сегментов).
разработан новый способ описания 3D объектов сцены на основе анализа взаимного расположения характеристических точек в пространстве.
разработан новый метод обнаружения 3D объектов на основе анализа пространственного расположения характеристических точек объекта и его модели.
- предложен способ определения координат невидимых точек объекта по его
модели.
Практическая ценность и внедрение. В работе предложена информационно-измерительная система зрения, использующая метод структурированной подсветки и предназначенная для обнаружения многогранных пространственных объектов, расположенных на сложных сценах. Объемное описание рабочей сцены робота дало возможность построить алгоритм для 2
автоматического обнаружения объектов по известным моделям. Использование 3D изображения позволило находить пространственные объекты, которые произвольно расположены на рабочей сцене и плохо видны. Наличие манипуляционного робота обеспечивает возможность осмотра объекта с разных сторон, что существенно повышает вероятность обнаружения. В процессе поиска определяются реальные размеры объектов и их координаты в пространстве рабочей сцены, что позволяет манипулировать с найденными объектами в автоматическом режиме.
Результаты экспериментального исследования системы свидетельствуют об эффективности предложенных алгоритмических и технических решений, которые могут быть использованы при создании робототехнических комплексов обнаружения опасных для жизни объектов.
На защиту выносятся:
результаты исследования методов сегментации 3D изображений;
разработанный метод выделения характеристических точек многогранных пространственных объектов и определения их параметров;
предложенный способ описания пространственных объектов на основе анализа расположения характеристических точек;
разработанный метод обнаружения многогранных 3D объектов на основе сравнения пространственного расположения характеристических точек объекта и модели;
предложенный способ расчета координат следующей точки наблюдения рабочей сцены робота по результатам обнаружения;
- разработанный пакет программ для исследования работоспособности
предложенных алгоритмов.
Апробация работы. Основные результаты работы докладывались и получили положительную оценку на:
Всероссийской научно-технической конференции «Экстремальная робототехника» (Санкт-Петербург, 2012);
- 7th IARP RISE-ER'2013 «Robotics for Risky Environment - EXTREME
ROBOTICS» (Saint-Petersburg, 2013);
- Научно-технической конференции кафедры «Робототехнические системы»,
МГТУ им. Н.Э. Баумана (Москва, 2013);
- International Scientific and Technological Conference «EXTREME
ROBOTICS» (Saint-Petersburg, 2014);
Научно-технической конференции «Техническое зрение в системах управления - 2015» (Москва, 2015);
Научных семинарах НУЦ «Робототехника» МГТУ им. Н.Э. Баумана (Москва, 2011-2015 г.г.).
Публикации. Результаты диссертационной работы нашли отражение в 6 научных трудах, в том числе 2 публикации в изданиях из перечня ВАК РФ.
Структура и объем работы. Диссертационная работа состоит из введения, 5-ти глав, заключения, списка использованных источников и приложений. Объем работы составляет 175 печатных страниц (включая 20 страниц приложений), 114 рисунков, 14 таблиц.
Дальнометрические системы
Достоинством дальнометрических систем на основе лазерных дальномеров является значительный рабочий диапазон измерения по дальности. Лазерные дальномеры имеют достаточно высокую точность, при этом ошибка измерения практически не зависит от расстояния до объекта [10, 26]. Дальнометрические системы осуществляют измерение в одной точке, поэтому необходимо выполнить сканирование (развертку луча) в телесном угле для получения объемной картины.
На Рис. 1.13а показан пример сканирующего лазерного дальномера, осуществляющего развертку луча в плоском угле 180. Результатом измерений данного прибора является массив дальностей до ближайших точек объектов, лежащих в плоскости луча - один «срез» рабочей сцены плоскостью сканирования. Рабочий диапазон по дальности этого датчика составляет от 0 до 80 м, максимальная величина ошибки измерения дальности ±15мм во всем диапазоне расстояний. Угловое разрешение при максимальной частоте съемки - 1.
Для получения полного дальнометрического изображения рабочей сцены изменяют наклон плоскости сканирования, регистрируя последовательно множество плоских сечений. На Рис. 1.13б изображена система объемного зрения на основе лазерного дальномера, разработанная в институте Фраунгофера [71], с сервоприводом для изменения угла наклона плоскости сканирования. Диапазон изменения угла наклона – 120, число дискретных положений плоскости – 256. Сканирование одного дальнометрического изображения рабочей зоны размером 181 на 256 точек при помощи данной системы занимает 0.34 секунды.
Системы стереозрения и системы со структурной подсветкой относятся к общему классу триангуляционных систем (Рис. 1.14). Системы стереозрения являются пассивными, т.е. не содержат в своем составе источников излучения [8, 39, 80, 81]. Рис. 1.14. а) система со структурированной подсветкой Elphel 353;
Технология стереозрения – это техническое зрение, в котором используется, как правило, две телекамеры, работающие синхронно, что позволяет восстанавливать форму и расположение наблюдаемых объектов в трехмерном пространстве. Восстановленная форма – это трехмерная полигональная модель какого-либо объекта, формируемая на основе анализа изображений этого объекта, полученных разнесенными в пространстве телекамерами.
Отметим, что надежность работы стереосистем сильно зависит от условий внешнего освещения. Алгоритмы стерео сопоставления обычно основаны на поиске локальных изменений яркости изображений и работают неустойчиво с монотонно окрашенными поверхностями и при отсутствии на сцене контрастных объектов. Поэтому, в стереосистемах ближнего действия часто применяют дополнительную подсветку со случайным проецируемым рисунком для облегчения идентификации соответствующих точек на изображениях стереопары. Алгоритмы обработки стереоизображений имеют высокую вычислительную сложность, что накладывает повышенные требования к мощности компьютера, особенно при обработке изображений высокого разрешения.
Для систем технического зрения со структурированной подсветкой характерна сравнительно меньшая дальность, ограниченная мощностью источника опорной подсветки. Эти системы менее чувствительны к условиям освещения в силу наличия собственной подсветки, обеспечивают высокую скорость измерений и возможность построения эффективных алгоритмов обработки данных [10]. Метод структурированной подсветки широко применяется в системах технического зрения для получения трехмерной координатной информации. Структурированная подсветка обеспечивает контролируемое освещение сцены, облегчающее решение задачи стерео соответствия. Проблема установления пространственного соответствия элементов пары стереоизображений снимается при использовании структурированной подсветки благодаря освещению объекта детерминированной структурной картиной. Установление соответствия между координатами проекции точки на матрице телекамеры и положением ее в системе координат проекционной системы эффективно решается декодированием сигнала подсветки на изображении. Обобщенная структурная схема активной системы объемного зрения приведена на Рис. 1.15 [10].
Основными блоками системы являются проекционная система (генератор опорной подсветки) и приемная система (телекамера). Приемная оптическая система преобразует излучение от объектов наблюдения и формирует изображение на приемнике излучения. Под регистратором здесь понимается устройство ввода информации в компьютер и сама вычислительная система. В отличие от стереосистем, действующих по собственному излучению объекта наблюдения, либо излучению, создаваемому естественными источниками, в этой системе выполняется подсветка объекта наблюдения при помощи источника излучения, входящего в состав генератора опорной подсветки [10]. Математическая модель системы со структурированной подсветкой
Рассмотрим вначале простейшую реализацию активного триангуляционного метода, в которой трехмерный объект или сцена освещается лазерным лучом, как показано на Рис. 1.16 [10, 56, 57]. Регистрирующая система 2 располагается таким образом, чтобы направление ее оптической оси составляло некоторый угол по отношению к лучу лазера 1. Это дает возможность по положению отраженного луча определить пространственные координаты точки C на поверхности объекта, которые могут быть вычислены из геометрических соотношений между сторонами и углами треугольника ABC (Рис. 1.16).
Первый способ – использование направляющих косинусов
Изображение, поступающее от 3D телекамеры, представляет собой совокупность точек, каждая из которых имеет три координаты в рабочем пространстве. Система зрения предназначена для работы с физическими объектами, расположенными на реальных сценах. Подстилающие поверхности таких сцен всегда не идеальны, а грани (стороны) объектов обычно имеют неоднородности и дефекты, особенно в местах соединений (швы при сварке, головки болтов и гайки при сборке и т.д.). В результате входной 3D массив видео данных содержит много небольших областей, которые по сути являются помехами. Поэтому для повышения точности и ускорения обработки исходные данные фильтруются.
При фильтрации программа рассчитывает площадь каждой отдельной области изображения и сравнивает её значение с заданным порогом. Если площадь полученной области меньше порога, то программа исключает её из дальнейшего анализа. В результаты процедуры остаются только те точки, которые принадлежат фону или расположены на плоскостях объектов сцены.
Пусть S - объемное описание сцены до фильтрации. Определим разбиение S на множество связанных сегментов S,,S „,..., S , для которых выполняется:
Для фильтрации исходного изображения, которое получили от 3D телекамеры, рассчитывается площадь всех отдельных областей на изображении и удаляются области, для которых выполняется условие фильтрации Sa А, где Л - заданное значение порога. б) изображение после фильтрации Как видно из рисунка, на полученном изображении удалены практически все области, значение площади которых меньше заданного порога. 2.3. Алгоритмы сегментации сцены
Целью сегментации является разбиение исходного множества точек на непересекающиеся подмножества. В данном случае сцена разбивается на плоские сегменты, что допустимо, так как большинство реальных объектов имеют плоские грани в пределах выбранного диапазона отклонений. Метод особенно удобен для описания многогранных объектов, поверхности которых достаточно гладкие. В результате рабочая сцена представляется в виде отдельных сегментов, которые могут быть аппроксимированы плоскостями.
В диссертационной работе были исследованы три способа решения задачи сегментации. Первый способ – использование направляющих косинусов При этом подходе мы разделяем все данные элементарные треугольники на несколько классов. Например, ниже показано разделение на восемь классов. Для каждого класса должны выполняться следующие условия [30, 31, 61, 62]:
Третий способ – последовательный анализ соседних треугольников В этом способе последовательно проверяются значения углов наклона между нормалями i-ого и соседних треугольников. Если значения углов между нормалями меньше заданного порога, то эти треугольники собираются в одном массиве [34]. Например, i-ый треугольник имеет три соседних треугольника (j, k, m), как показано на Рис. 2.10. Если значения углов ij, ik, im между нормалями соседних треугольников и треугольника i меньше заданного порога, то предполагалось, что они параллельны и относятся к одному массиву (треугольники i и j). В противном случае для каждого треугольника (m и k) формируется свой массив.
Четыре соседних треугольника (i, j, k, m) Для вычисления углов ij, ik,, im использовалось уравнение плоскости. Для i-го треугольника оно имеет вид: Aix + Biy + Ciz + Di = 0 и нормальный вектор Ni(Ai,Bi, Ci). Аналогично для j-го треугольника имеем плоскость: Ajx + Bjy + Cjz + Dj = 0 и нормальный вектор Nj(Aj, Bj, Cj). Угол между двумя нормальными векторами плоскостей Ni, и Nj рассчитывается по формуле: /
В результате использования третьего подхода мы получили несколько массивов, причём каждый содержал координаты точек одной области изображения. 2.3.4. Сравнение алгоритмов сегментации
Для экспериментальных исследований предложенных алгоритмов сегментации мы использовали реальную сцену, изображение которой показано на Рис. 2.12а. Как видно из рисунка на сцене содержится несколько объектов, ограниченных 16 плоскостями.
Результаты сегментации сцены (а): методом направляющих косинусов (б); путём анализа параллельности треугольников (в); методом последовательного анализа треугольников (г). Результаты применения алгоритмов сегментации приведены на Рис. 2.12. При использовании первого подхода были получены 7 массивов точек (сегментов) из возможных 16 (Рис. 2.12б). Причём каждый сегмент состоит из несколько независимых областей, имеющих одинаковую ориентацию в рабочем пространстве.
При использовании второго подхода были получены 25 массивов точек (сегментов) при возможных 16 (Рис. 2.12в). Это объясняется тем, что сцена имеет сложную подстилающую поверхностью и дефекты на объектах. Используя третий подход, мы получили 17 массивов точек (сегментов) при 16 возможных (Рис. 2.12г). Здесь каждый сегмент состоит из точек только одной независимой области изображения.
Проведенные эксперименты с использованием персонального компьютера "Processor Intel Core i5 - 4200 CPU 2.3 GHz" показали, что все способы сегментации дают хорошие результаты при работе с простыми сценами, а для сложных сцен наилучшие результаты показывает третий способ. Полученные значения приведены в Таблице 1.
Как видно из полученных результатов для анализа достаточно простых сцен при ограниченном времени работы целесообразно использовать первый способ сегментации, который имеет минимальное время работы. Если рабочая сцена состоит из нескольких перекрывающихся объектов, которые расположены на сложном фоне, необходимо использовать третий способ сегментации.
Выделение характерных признаков изображения сцены является очень важным этапом обработки исходных данных. В диссертации решается задача обнаружения многогранных объектов, для которых характерными признаками являются поверхности, ребра, углы и т.д.
Способ описания многогранных пространственных объектов по характеристическим точкам
Для подтверждения работоспособности предложного метода описания 3D сцены был проведен ряд экспериментов. При этом использовались сцены различностей сложности. В процессе экспериментов выполнялось тестирование предложенных алгоритмов сегментации изображения пространственных объектов и их последующего описания с помощью характеристических точек.
Первый эксперимент - простая сцена, на которой находится только один объект . В результате работы алгоритмов найдены две характеристические точки A и B и векторы, совпадающие с линями пересечения двух плоскостей, которые показаны на Рис. 2.20а.
Первая характеристическая точка – точка A (точка пересечения трёх плоскостей 4, 5, 6) с координатами: {36.2407; - 164.852; - 1203.14}.
Вторая характеристическая точка – точка B (точка пересечения трёх плоскостей 1, 5, 6) с координатами: {33.9862; - 228.797; -1229.15}
Второй эксперимент – сцена средней сложности, на которой находится несколько отдельных объектов (Рис. 2.20б). В результате работы программы найдены 12 сегментов, 8 характеристических точек и их координат. Третий эксперимент – сложная сцена, на которой находится несколько перекрывающихся объектов (Рис. 2.20в). В результате работы программы найдены 13 сегментов и 9 характеристических точек: две точки 1, 2 на первом объекте; пять точек 3, 4, 5, 6, 7 на втором объекте и две точки 8, 9 на третьем объекте. Рис. 2.20. Экспериментальные выделения характеристических точек объектов: а) – с простой сценой; б) – со сценой средней сложности; в) – со сложной сценой
Как видно из приведенных рисунков, предложенный алгоритм выделения характеристических точек пространственных объектов показал хорошие результаты при анализе сцен различной сложности. По характеристическим точкам легко вычислить геометрические размеры объектов (длину, высоту и ширину), что обеспечивает высокую вероятность обнаружения объектов сцены и определение их пространственных координат.
Следует подчеркнуть, что у реальных объектов характеристические точки конечно есть, а на изображениях объектов обычно отсутствуют. Мы сами добавляем найденные точки на изображение и затем используем их для описания сцены. Выводы по главе 2
На основе материалов этой главы можно сделать следующие выводы: 1. Приведено описание массива 3D координат точек рабочей сцены, поступающего от телекамеры Artec LTM. Предложены способы фильтрации и представления исходных данных. 2. Исследованы способы сегментации 3D изображения. По результатам экспериментов установлено, что для анализа простых сцен целесообразно использовать первый способ сегментации. А если сцена состоит из нескольких объектов, которые расположены на сложном фоне, необходимо использовать третий способ сегментации. 3. Проанализированы достоинства и недостатки известных методов выделения характерных точек на 2D изображениях. Показано, что их трудно применить для обработки 3D изображений. Предложен новый способ определения характеристических точек многогранных пространственных объектов на 3D изображениях. 4. Проведена оценка погрешности описания сегмента плоскостью. Результаты показали, что плоскость аппроксимирует сегмент объекта с высокой точностью: среднее квадратическое отклонение не превышает 0,45. 5. Экспериментальные исследования предложенного способа выделения характеристических точек пространственных объектов на реальных изображениях показали хорошие результаты при анализе сцен различной сложности. Использование характеристических точек позволяет вычислить пространственные координаты и геометрические размеры объектов, что обеспечивает высокую вероятность их обнаружения. ГЛАВА 3. МЕТОД ОБНАРУЖЕНИЯ МНОГОГРАННЫХ ПРОСТРАНСТВЕННЫХ ОБЪЕКТОВ В этой главе рассмотрен общий поход к обнаружению пространственных объектов (раздел 3.1). Предложен способ описания многогранных пространственных объектов с использованием характеристических точек. Рассмотрены алгоритмы определения параметров характеристических точек и их взаимного расположения в пространстве (раздел 3.2). Разработана процедура обнаружения путем сравнения параметров характеристических точек объекта и его модели (раздел 3.3). Приведены результаты экспериментов по обнаружению реальных объектов (раздел 3.4).
Применение конкретного способа поиска объектов существенно зависит от решаемой задачи, типа данных и требований к достоверности. В диссертационной работе рассматриваются только многогранные пространственные объекты. Изображения таких объектов всегда содержат особенные точки, в данном случае, это точки соединения трех граней. Причём на каждом объекте обычно находятся несколько таких точек (глава 2). Взаимное расположение особенных точек одного объекта однозначно описывает его. Причём это описания является инвариантным в пространстве рабочей цены. Поэтому в диссертационной работе предложен метод обнаружения, основанный на анализе пространственного расположения характеристических точек объекта. В данном случае характеристическими точками являются точки пересечения трёх плоскостей одного объекта. Поэтому я предложил построить алгоритм обнаружения как процедуру совмещения характеристических точек реальных объектов и их пространственных моделей. Этапы обобщённого алгоритма обнаружения показаны на Рис. 3.1.
Сначало входные данные фильтруются для удаления мелких областей на изображении. В результате программа фильтрации выбирает точки сцены для дальнейшего использования. Далее выполняется сегментирование изображения сцены и для каждого сегмента определяется уравнение плоскости. Используя эти уравнения, программа рассчитывает координат точек пересечения трех плоскостей (трех сегментов) и находит характеристические точки и их координаты. После этого определяется пространственное расположение и ориентация каждого объекта сцены относительно его модели. Этот этап очень важен для совмещения модели с реальным объектом. На последнем этапе, программа оценивает результаты обнаружения по степени совпадения модели с реальным объектом.
Алгоритм управления движением мобильного робота в заданную точку
Для тестирования работоспособности алгоритмов обнаружения многогранных пространственных объектов можно использовать различные среды программирования Matlab, Labview, Visual C ++, Visual basic и т.д. В диссертационной работе я выбрал среду Visual C ++ потому, что в ней легче контролировать работоспособность алгоритмов, что ускоряет процесс отладки. Кроме этого, Visual C ++ непосредственно обращается к библиотекам Open CV и Open GL, которые позволяют анализировать полученные изображения и отображать результаты работы алгоритмов на экране [40, 47, 66, 67, 76].
Как видно из выше изложенного в работе решены несколько задач: обработка и анализ изображений рабочей сцены работа; сегментация 3D изображения; выделение характеристических точек пространственных объектов; описание пространственных объектов и обнаружение 3D объектов на основе сравнения параметров характеристических точек модели и объекта. Для проведения тестирования системы зрения было написано несколько программных модулей, решающих отдельные задачи диссертационной работой. Такое построение имеет следующие достоинства:
Состав разработанного программного обеспечения показан на Рис. 5.1. Назначение каждого модуля очевидно из его названия.
Предлагаемая архитектура программного обеспечения в виде отдельных модулей, конечно, не является оптимальным и работает медленно. Однако, она обладает существенным достоинством: с её помощью легко тестировать различные алгоритмы системы обнаружения. Поскольку каждый модуль связан с модулем отображения, можно контролировать все промежуточные результаты и делать выводы об эффективности использованных программ и алгоритмов. Более того, отдельные программные модули можно легко изменить и скомпилировать из них рабочую программу поиска реальных объектов, имеющую максимальное быстродействие, для решения конкретной задачи.
В соответствии с предложенной архитектурой программного обеспечения в диссертации был разработан главный интерфейс, который показан на Рис. 5.2. С помощью этого интерфейса, мы можем проверить работоспособность каждого алгоритма при решении конкретной задачи и соответствующего ему модуля программы.
На главном интерфейсе программы можно выделить шесть областей. Первая область - главное меню программы. В этой области можно задавать или менять значения всех входных параметров алгоритма. Например, порог фильтрации (раздел 2.4), порог минимальной площади при сегментации и т.д. На Рис. 5.3 приведены значение порога для выполнения сегментации - 500 мм2 и условие параллельности сегментов (косинус разности углов между двумя нормальными векторами элементарных треугольников) - больше 0.95 (раздел 2.5.2).
Требуемые значения порогов для решения задачи выделения характеристических точек (раздел 2.6.4) приведены на Рис. 5.4. Здесь же показано условие для определения характеристических точек: если расстояние от точки пересечения трех граней до ближайшей точки на объекте меньше 8 мм, то данная точка является характеристической.
Фрагмент интерфейса настройки параметров для определения характеристических точек С помощью этого интерфейса вводятся ограничение на размер объекта, который мы хотим найти и распознать. В данном случае задается максимальная длина ребра объекта: на Рис. 5.4 она составляет 500 мм. В результате все объекты больших размеров будут игнорироваться. Кроме этого, задается порог для определения точки принадлежащей плоскости (грани) объекта, ближайшей к ребру и максимально удаленной от данной характеристической точки (раздел 3.2.2). В данном случае он равен 12 мм (Рис. 5.4).
Условия решения задачи обнаружения объектов показаны на Рис. 5.5. В этой области задается максимальная ошибка совпадения значений группы углов (раздел 3.3.1), отклонение коэффициента масштабирования и минимальная степень похожести объекта и его модели. В данном случае перечисленные параметры составляют: 40; 0,2 и 10%, соответственно.
Следует отметить, что результаты, полученные после завершения любой процедуры (фильтрации, сегментации и т.д.), разработанная программа может отобразить на экране или экспортировать в численном виде.
Вторая область - предназначена для отображения исходных данных и полученных результатов. На Рис. 5.2 показаны три объекта на рабочей сцене после ее сегментации.
Третья область - используется для выбора входных данных от 3D телекамеры. Используя ее можно выбрать один кадр рабочей сцены из заданной точки наблюдения. Здесь же приведено количество точек и число элементарных треугольников на выбранном изображении. Полный вид исходных данных, получаемых от телекамеры, приведен в приложении 2.
Четвертая область предназначена для отображения результатов. Здесь мы можем выбрать результаты, которые необходимо отобразить в данный момент на экране монитора. Например, на Рис. 5.2 показаны результаты сегментации входного изображения, выполненные с использованием третьего способа.
Пятая область. Задавая параметры в этой области, мы можем реализовать масштабирование и программный поворот 3D изображения сцены при фиксированном положении телекамеры.
Шестая область - область управления. С помощью параметров данной области можно запустить различные процедуры обработки текущего изображения сцены: фильтрацию, сегментацию, выделение характеристических точек и обнаружение. Тексты программных модулей приведены в приложениях 3...6. Для проведения экспериментальных исследований предложенных алгоритмов, был разработан и изготовлен стенд в рамках НИР, проводимой в НУЦ «Робототехника».