Содержание к диссертации
Введение
Глава 1. Анализ систем технического зрения промышленных предприятий. Постановка задачи исследований 9
1.1 Определение локализации. Требования, предъявляемые к процессу локализации 9
1.2 Обзор методов нанесения промышленной маркировки 10
1.3 Анализ существующих систем локализации 14
1.3 Обзор и анализ существующих методов локализации объектов на цифровых изображениях 27
Вывод по главе 1 36
Постановка задачи исследования 36
Глава 2. Разработка метода и алгоритмов локализации объектов на цифровых изображениях 38
2.1 Математическая модель изображения маркировки промышленного изделия 38
2.2 Рекуррентный поиск усредненного максимума на цифровом изображении 40
2.4 Алгоритм локализации на основе яркостных признаков 43
2.3 Алгоритм локализации на основе анализа всплесков яркости 47
2.5 Алгоритм локализации на основе цветовых признаков 52
2.6 Алгоритм локализации на основе текстурных признаков 55
2.7 Алгоритм локализации с использованием дополнительной метки 59
2.8 Алгоритм локализации на основе двухмерного усреднения 62
2.9 Методика настройки системы локализации на определенный вид маркировки 64
2.10 Алгоритм управления системой автоматической идентификации маркировки 72
Выводы по главе 2 75
Глава 3. Экспериментальные исследования разработанных алгоритмов 77
3.1 Описание лабораторной установки и опытных изображений 77
3.2 Исследование алгоритма локализации на основе анализа всплесков яркости 79
3.3 Исследование алгоритма локализации на основе яркостных признаков 85
3.4 Исследование алгоритма локализации на основе цветовых признаков 89
3.5 Исследования алгоритма локализации на основе текстурных признаков. 93
Выводы по главе 3 97
Глава 4. Применение разработанных алгоритмов в системах идентификации промышленных изделий 99
4.1 Структура автоматической системы локализации 99
4.2 Методика настройки разработанной системы 100
4.3 Внедрение разработанных алгоритмов 113
Выводы по главе 4 117
Заключение 118
Список использованной литературы 120
Список иллюстрированного материала 136
- Обзор и анализ существующих методов локализации объектов на цифровых изображениях
- Алгоритм локализации на основе анализа всплесков яркости
- Исследование алгоритма локализации на основе яркостных признаков
- Внедрение разработанных алгоритмов
Обзор и анализ существующих методов локализации объектов на цифровых изображениях
Для того, чтобы повысить эффективность разрабатываемых алгоритмов, необходимо рассмотреть существующие системы-аналоги на рынке информационных систем мира. Анализ систем аналогов позволить выявить основные сильные и слабые места этих систем.
Исходя из того, что система локализации образов промышленных изделий на цифровых изображениях практически всегда используется в составе систем технического зрения, целесообразно рассмотреть уже готовые решения, использующие данную технологию. Наиболее подходящими аналогами можно указать системы локализации и распознавания государственных регистрационных знаков автомобилей, а также номеров железнодорожных вагонов и цистерн, в виду того, что данные системы работают с прямоугольными областями изображения - номерными пластинами и нанесенными цифровыми номерами.
В мире около тридцати компаний предлагают аналогичные решения по распознаванию номеров автомобилей, железнодорожных вагонов и цистерн. Как правило, все они имеет общую архитектуру, как аппаратную, так и программную. Многие системы уже имеют опыт внедрения. Продукты постоянно совершенствуются, появляются новые алгоритмы, и новые аппаратные решения, но базовая архитектура, как правило, принципиально не изменяется [2-8, 15-17, 67, 70].
На данный момент на рынке России присутствует достаточно много готовых программных и программно-аппаратных продуктов, решающих проблему распознавания номеров железнодорожных вагонов и цистерн. Среди российских компаний можно выделить:
К сожалению, многие компании предоставляют очень мало информации о продаваемых ими продуктах. Таким образом, вполне вероятно, что некоторая часть компаний продает не полностью свое решение. Многие, например, покупают готовый SDK (набор программных компонент) и соединяют его со своим аппаратным решением. В таком случае круг «чистых» разработчиков не так велик, как кажется на первый взгляд.
Все перечисленные компании в один голос заявляют о очень высоких показателях своих систем. У большинства точность распознавания (по данным их интернет-сайтов) составляет 95% - 98%. Однако, проверить эту информацию, к сожалению, не представляется возможным. Как правило, демо-версии предлагаемых решений не несут в себе ни какой информации о помехоустойчивости.
В настоящее время эта тема очень актуальна в России. Большое количество разработчиков трудится над этими задачами. Многие достигли значительных успехов. Однако, масштабного внедрения ни одна система не получила до сих пор. Это свидетельствует либо об излишней дороговизне продуктов, либо об их низкой точности. Таким образом, перспективы у данной работы, несомненно, есть [64, 75, 82, 87, 90].
Система АВТО-Инспектор. «АВТО-Инспектор» - специальный аппаратно-программный модуль для регистрации и распознавания автомобильных номеров компании «СТБ-Сервис» действует следующим образом. Над контролируемой полосой движения устанавливается ТВ-камера. Камера подключена к системе «АВТО-Инспектор», программное обеспечение которого обнаруживает появление автомобиля в кадре, отбирает кадр с оптимальным размером и четкостью автомобильного номера и распознает номер автомобиля из кадра. В базе данных сохраняется этот стоп-кадр, либо весь видеофрагмент, связанный с данным автомобилем, а также распознанный номер автомобиля, дата и время проезда автомобиля. Возможности системы: -одновременное распознавание нескольких номеров автомобилей в одной зоне контроля; -при обнаружении номера из списка (например, список машин в угоне) «АВТО-Инспектор» оповещает об этом оператора (подает звуковой сигнал); -наличие архива и возможность работы с ним: вывод на печать изображения автомобиля, сортировка данных в базе по заданным признакам; -распознаются все виды российских (однострочных) номеров и некоторые виды зарубежных; - возможность адаптации к стандартам номеров любой страны; - модуль успешно работает в любых погодных условиях; -эффективно взаимодействует с различными охранными системами (охранного телевидения, контроля доступа); -стоп-кадры номеров сохраняются в архиве с указанием точного времени проезда автомобиля; - создание базы данных автомобильных номеров; - создание сетевых систем на территориях большой протяженности; -«живое видео»; - записывается каждый проезд, въезд/выезд транспортного средства; -возможно создание базы данных из специальных стоп-кадров от 2-х ТВ-камер (фронтальный снимок автомобиля и вид сбоку); - подключение к модулю светофора, шлагбаума, автоматических ворот. Технология распознавания автомобильных номеров состоит из этапов: - исходное изображение приводится к виду, который не зависит от таких условий регистрации изображения, как степень освещенности, неравномерное распределение яркости от источников света, расфокуссировка, зашумленность, цветовая неравномерность символов (неравномерная окраска, грязь, пыль, блики), наличие рисунков или иной графики на подложке номера;
Алгоритм локализации на основе анализа всплесков яркости
С целью повышения быстродействия процесса локализации целесообразно заменить трудоемкие операции вычисления производных на более простые операции сложения. Для решения этой задачи предложен алгоритм локализации на основе анализа всплесков яркости. Основной принцип, положенный в основу алгоритма заключается в том, что он производит поиск самых ярких областей маркера и производит сглаживание графика яркости при помощи поиска производных первого и второго порядка. Результатом работы алгоритма являются предположительные координаты границ маркировки.
За основу алгоритма локализации изображений символьных меток на основе анализа скорости изменения яркости был взят алгоритм локализации маркера, основанный на поиске всплесков яркости. Рассмотренный алгоритм обладает единственным недостатком - вычисление производных и полный перебор пикселей изображения для анализа яркости. Если сделать горизонтальное сечение изображения и построить график зависимости амплитуды яркости от координаты X, область пластины маркера на гистограмме отразится характерными скачками (рисунок 2.8).
Данное свойство послужило основой для следующего алгоритма. Перед использованием метода рекуррентного поиска усредненного максимума предлагается продифференцировать функцию f(x), для получения функции перепадов яркости (7, 8, 9). В непрерывном пространстве функция r(x) рассчитывается по формуле: (7) В дискретном пространстве необходимо рассчитать массив P по формуле: Ri = \Fi+1-Fi\ (8) В рекуррентном виде массив F изменяется по формуле: Fi=\Fi+1-Fi\ (9) Если применить к данному изображению метод рекуррентного поиска усредненного максимума можно добиться результата, представленного на рисунке 2.9 Рисунок 2.9 – График функции f(x) после процедуры сглаживания Разработанный алгоритм позволяет с высокой скоростью определить предполагаемые области расположения маркировки. Кроме того, необязательно сканировать каждую строчку исходного изображения. Существует возможность задать минимально возможную ширину маркировки и проверять сечения, сделанные с интервалом в половину минимальной ширины. Это ускорит, и без того быстрый, процесс поиска в несколько раз. Предложенный алгоритм устойчив к различным шумам, каплям грязи и многим другим дефектам, сильно мешавшим другим методам. Минусом данного алгоритма является его слабая устойчивость к наклонам (поворотам). Таким образом, входными данными разработанного алгоритма являются изображение и предполагаемая ширина метки на изображении.
Предлагаемый алгоритм можно представить в виде последовательности следующих шагов: 1. Производится поиск максимального всплеска яркости на изображении путем построчного анализа матрицы яркостей входного изображения. Результатом этого этапа является строка, характеризующаяся наибольшим всплеском яркости на изображении; 2. Найденная матрица-строка переводится в матрицу яркости с нарастающим итогом, путем последовательного сложения предыдущего значения матрицы с текущим; 3. Производится сглаживание значений в получившейся матрице. 4. Находится максимальное значение матрицы, которое является Х-координатой метки. Результатом работы метода являются координаты расположения метки на изображении. Блок-схема алгоритма представлена на рисунке 2.10. Рассмотренные алгоритмы успешно используются для решения различных задач распознавания образов. Для решения же поставленной задачи ни один из известных, опубликованных алгоритмов не соответствовал предъявленным требованиям. Поэтому был разработан специальный алгоритм, опирающийся на специфику поставленной задачи. Этот алгоритм решает все проблемы локализации маркера. Он идеально быстр, быстрее в принципе невозможно разработать алгоритм, так как он анализирует только малую часть изображения, не говоря уже о нескольких проходах по всему изображению, которые используются в других алгоритмах. Любой другой алгоритм, анализирующий меньшее количество информации, будет иметь вероятность ошибки (пропустить маркер), так как маркер сможет поместиться вне анализируемой области. Кроме того, разработанный алгоритм уникально помехоустойчив [5].
Целью разработки алгоритма является создание эффективного инструмента локализации промышленных маркеров на основе использования цветовых параметров области. Разработка алгоритма основана на том, что каждая маркировка, используемая в производственных целях имеет свою индивидуальную цветовую палитру. К примеру, государственные номера автомобилей могут использовать белый, черный, синий, красный и другие цвета, как и маркировки, основанные на применении штрих-кодов. При анализе производственных изображений предполагается использовать алгоритм сравнения цветовых данных входного цифрового изображения с эталоном.
Исследование алгоритма локализации на основе яркостных признаков
Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия.
Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки. Экспериментальные исследования разработанных алгоритмов 3.1 Описание лабораторной установки и опытных изображений Лабораторная установка является физической моделью системы локализации символьной маркировки. На установке моделируется процесс цифровой локализации символьной маркировки на изображениях Рисунок 3.1 - вид лабораторной установки системы цифровой локализации символьных маркировок рассматриваемой предметной области, для экспериментальной проверки работоспособности алгоритмов. Цель моделирования заключается в тестировании разработанных алгоритмов и выявления влияния различных факторов на вероятность верной локализации символьной маркировки. Вид лабораторной установки представлен на рисунке 3.1. Лабораторная установка состоит из следующих модулей:
Область размещения символьных маркировок. Символьная маркировка представляет собой изображение идентификатора, состоящий из вертикальных линий различной толщины и длины (штрих-кода), а также набора цифр. Макетное изображение маркера имеет размер 297мм х 105 мм.
Для проведения экспериментальных исследований были использованы искусственно смоделированные изображения с применением символьных маркировок различных типов. К ним относятся: штрих-коды различных типов, государственные номера транспортных средств, маркировки, нанесенные на промышленные и продовольственные изделия (Рисунок 3.3). С помощью аппаратных и программных средств было смоделировано 2 000 изображений с изображениями символьных маркировок различного типа.
Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.1. Примеры тестовых изображений, созданных с помощью лабораторной установки представлены на рисунке 3.4. Рисунок 3.4 – примеры тестовых изображений
Из результатов исследования можно сделать вывод, что успешность локализации с использованием разработанного алгоритма в условиях простого фона варьируется в диапазоне от 91% до 99%, а в условиях сложного фона – от 88% до 94%.
Для проведения сравнительного анализа был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF. Исследования проводились в условиях сложного фона. Результаты сравнительного анализа сведены в таблицу 3.3.
Угол поворота маркера 20 градусов 89% 89% График достоверности локализации рассматриваемых алгоритмов в условиях сложного фона представлен на рисунке 3.6. график достоверности локализации алгоритмов на основе всплесков яркости и SURF при условиях сложного фона
По результатам сравнительного анализа можно сделать вывод, что разработанный алгоритм, в силу специфики решаемой задачи, более эффективен чем алгоритм SURF с достоверностью локализации от 85% до 89%.
По результатам сравнительного анализа скорости работы алгоритма на основе анализа всплесков яркости и алгоритма SURF можно сделать вывод, что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,03 до 0,4 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей, а алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей. 3.3 Исследование алгоритма локализации на основе яркостных признаков
Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.5. Примеры тестовых изображений, созданных с использованием лабораторной установки представлены на рисунке 3.8.
По результатам сравнительного анализа скорости работы алгоритма на основе анализа всплесков яркости и алгоритма SURF можно сделать вывод, что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,011 до 0,192 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей, алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей.
Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.8.
Внедрение разработанных алгоритмов
Процесс локализации осложняется разными факторами: малая освещенность, зашумленность изображения посторонними источниками света, наличие теней, малая контрастность изображения и т.д. Все это накладывает на используемые алгоритмы определенные требования.
Для того, чтобы достоверно и быстро идентифицировать переносимое мостовым краном изделие необходимо получить изображение переносимого им груза. Поэтому было принято решение локализовать область магнитов с переносимым грузом целиком, а затем получить изображение переносимого им груза путем вычисления координат его местоположения. Для этого необходимо ввести в систему новую маркировку для мостового крана с такими параметрами, чтобы ее можно было легко и быстро локализовать.
Для решения поставленной задачи была выбрана маркировка, состоящая из чередующихся горизонтальных черных и белых полос – «Зебра». «Зебра» обладает свойством резких перепадов яркости и явно выражается на получаемом цифровом изображении. Вид специальной метки показан на рисунке 4.22. пример реального изображения из САИМ Работу разработанного алгоритма можно представить последовательностью четырех шагов: 1. Производится поиск максимального всплеска яркости на изображении путем анализа матриц-столбцов яркостей входного изображения с заданным шагом. Результатом этого этапа является столбец, характеризуемый наибольшим всплеском яркости на изображении. 2. Найденная матрица-столбец переводится в матрицу яркости с нарастающим итогом, путем интегрирования. 3. Производится дифференцирование значений в получившейся матрице. 4. Находится максимальное значение матрицы.
Результатом работы алгоритма являются координаты расположения метки на изображении. Локализация символьной метки происходит по аналогичному алгоритму, где для поиска максимального всплеска яркости берутся не матрицы-столбцы, а матрицы-строки.
Требования к модулю локализации, входящему в САИМ: - достоверность локализации маркировки промышленного изделия не ниже 80%; - время локализации не более 0,3 секунды (алгоритм локализации при идентификации одного промышленного изделия запускается не менее 6 раз). Акт внедрения разработанных алгоритмов на ОАО «ВМЗ» приведен в приложении А. 1. Построена система цифровой локализации символьных маркировок на цифровых изображениях с использованием разработанных алгоритмов. 2. Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия. 3. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки. 4. Выполнено внедрение разработанных алгоритмов в систему автоматической идентификации маркировки на складе слябов металлопрокатного цеха СТАН-5000 ОАО «Выксунский металлургический завод». Проведен обзор и анализ алгоритмов локализации маркировок промышленных изделий на цифровых изображениях, показывающий необходимость разработки новых алгоритмов, обеспечивающих большую достоверность и оперативность локализации маркировок промышленных изделий. Разработаны алгоритмы локализации, основанные на рекуррентном поиске усредненного максимума, обеспечивающие повышение оперативности локализации маркировок промышленных изделий. Разработан метод локализации с использованием дополнительной метки, позволяющий увеличить достоверность локализации маркировок промышленных изделий на малоконтрастных изображениях и изображениях со сложным промышленным фоном.
Разработан алгоритм локализации, базирующийся на двумерной обработке изображений, обеспечивающий увеличение достоверности локализации маркировок промышленных изделий в условиях их малой контрастности.
Разработан алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия.
Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки.
Проведены исследования разработанных алгоритмов на тестовых и реальных изображениях, показывающие увеличение скорости локализации до 140 раз (0,011-9,15 сек.), и повышение достоверности вычисления координат положения метки на 1-8% (86-98% - достигнутая достоверность локализации в лабораторных и производственных условиях) по сравнению с известными алгоритмами, применяемыми в системах технического зрения.
Результаты проведенных в работе исследований внедрены в систему автоматической идентификации маркировки на промышленном предприятии ОАО «Выксунский металлургический завод», г. Выкса для контроля движения изделий на складе слябов и заготовок. По результатам проведенных исследований достоверность идентификации маркировки составила 96-98%. Время идентификации составило от 10 до 14 секунд, что соответствует предъявленным требованиям к оперативности работы.