Содержание к диссертации
Введение
1. Методы и устройства предварительной обработки изображений в КМОП-видеодатчиках
1.1. Обзор и сравнительная характеристика параметров современных видеодатчиков на КМОП-приемниках излучения
1.2 Функции предварительной обработки сигнала в КМОП видеодатчиках
1.3. Устройства фильтрации шума на изображениях с использованием нейроподобных структур
Выводы 51
2. Математическая модель процесса обработки математическая модель процесса обработки изображений, получаемых с помощью кмоп видеодатчиков
Вывод 60
3. Методы и алгоритмы повышения качества обработки изображений, получаемых на основе КМОП-видеодатчиков
3.1. Метод и алгоритм фильтрации изображения, получаемого с КМОП- датчика
3.2. Моделирование разработанных методов и алгоритмов
Выводы 81
4. 4. Структурно-функциональная организация адаптивного устройства обработки изображений на основе кмоп-видеодатчиков.
4.1. Адаптивный видео датчик с предварительной обработкой изображений
4.2. Структурно-функциональная организация адаптивного устройства обработки изображений
4.3. 90
4.4. Оценка эффективности полученных результатов в сравнении с современным научно-техническим уровнем
Выводы 105
Заключение 105
Библиографический список 108
- Функции предварительной обработки сигнала в КМОП видеодатчиках
- Устройства фильтрации шума на изображениях с использованием нейроподобных структур
- Моделирование разработанных методов и алгоритмов
- Адаптивный видео датчик с предварительной обработкой изображений
Функции предварительной обработки сигнала в КМОП видеодатчиках
Настройка модели заключается в задании параметров (длины, толщины), конфигурации и ориентации эталонных признаков изображений анализируемых объектов путем подключения выходов определенных нейроподобных элементов 4 (рис. 1.9) первого типа к входам нужных нейроподобных элементов 8 второго типа, каждый из которых ориентирован на выделение и распознавание отдельного признака анализируемого изображения заданной конфигурации, параметров и ориентации.
Построение вычислительных систем, интерпретирующих нейросетевые алгоритмы, осуществляется сейчас на традиционной элементной базе. Известны следующие устройства для нейросетевой обработки. Нейроакселератор на базе сигнального процессора TMS320C25 фирмы Texas Ins.; нейрочип MD1220 (интерпретирует 8 нейронов и 8 связей с 16-ти разрядными весами и одноразрядными входами); нейрочип NLX - 420 с 16-ти процессорными элементами; аналоговый нейрочип Intel 80170NW ETANN (содержит 64 нейрона и два банка 64x80 весов); нейпроцессор Neuro Matrix на базе RISC-ядра для выполнения логических, целочисленных арифметических и операций сдвига, а также векторный процессор для обработки двоичных векторов; нейропроцессор МА16 (программируемый каскадируемый процессор для векторных и матричных операций); нейрочип Inova N64000 на основе систолической архитектуры; нейрочип ZISC036 на основе векторно-прототипной архитектуры (алгоритм обучения строится на соотношении входного вектора и запомненными векторами-прототипами) с 36 нейронами (каждый из которых представляет собой независимый процессор), ориентированный на задачи классификации [85-88].
В большинстве используемых методов подавления шумов (фильтрации) выходное изображение формируется попиксельно [например, 89]. Цифровым фильтром последовательно обрабатываются блоки по 9, 25, 49, и.т.д. (в зависимости от размерности фильтрующей маски) пикселей входного изображения. Поэтому данные алгоритмы работают достаточно медленно (до нескольких секунд на обработку одного изображения размером 100 100 пикселей), однако аппаратная реализация нейросетевых алгоритмов позволяет уменьшить время обработки изображения до сотых долей секунды. Таким образом, применение нейросети для обработки изображений, является обоснованным, и засчет высокого быстродействия нейросетевых алгоритмов, появляется возможность применять нейросетевые фильтры для обработки видеоряда в режиме реального времени.
Проведенный анализ научно-технической литературы позволил определить основные методы предварительной обработки изображений, используемые в КМОП-видеодатчиках, и показал переспективность использования нейросетевого подхода для выполнения операции фильтрации.
Высокая вычислительная сложность алгоритмов фильтрации требует использования быстродействующих элементов или увеличения аппаратной сложности устройств. Перспективным подходом для обработки изображений, получаемых с КМОП-видеодатчиков, является использование нейроподобных структур, что позволит достить более высокого показателя производительности за счет параллелизма применяемых элементарных операций, а использовании нейросетевого подхода обеспечить возможность эффективного решения задачи подавления шумов в условиях неполной априорной информации.
Разработана модифицированная математическая модель процесса обработки изображений, получаемых с помощью КМОП-видеодатчиков, позволяющая получить распределение значений яркости цифрового изображения в зависимости от яркости объектов рабочей сцены Lob].
Математическая модель основана на известной математической модели адаптивного видео датчика с пространственно-временной фильтрацией и отличается введением модели нейросетевой обработки сигнала изображения [14,53].
Составляющими математической модели являются модель рабочей сцены FpC, модель приемника излучения Fm, математическая модель аналого-цифрового преобразования сигнала FAUA И математическая модель нейросетевой обработки сигнала изображения F} :
Математическая модель рабочей сцены позволяет получить описание цифрового изображения рабочей сцены в виде функции яркости объектов рабочей сцены Lobj, а также дает возможность определить зависимость освещенности изображения от яркости объектов рабочей сцены и подробно рассмотрена в [14, 42]
Математическая модель КМОП ПИ позволяет определить зависимость величины сигнала на выходе приемника излучения от освещенности изображения.
Изображения, получаемые с помощью видеодатчиков, отличаются наличием шумов, что снижает качество изображения и приводит к некоторой потере информации. Размытие возникает вследствие неидеальности передаточных функций всех звеньев тракта преобразования оптического сигнала. Каждая точка в наблюдаемой сцене отображается в изображение в виде пятна с распределением освещенности, пропорциональным функции рассеивания точки [54, 91]. Выходное изображение представляется как сумма реакций системы на каждую точку сцены. При работе видеодатчика в реальных условиях функция рассеяния определяется совместным действием дифракции объектива, аберрации и дефокусировки объектива, смаз изображения (в том числе вызванного движением объектов в поле зрения), атмосферных условий и др. Итоговую освещенность рабочей сцены обозначим как 71 „
Особенностью КМОП-видеодатчиков является растровая структура формируемого изображения, что обусловлено структурой фотоприемных устройств, представляющих собой матрицу светочувствительных ячеек (фотодиодов или фототранзисторов). В процессе накопления заряда фотоприемные устройства усредняют освещенность первичного изображения в пределах каждой светочувствительной площадки [53, 54, 91]. Величина сигнала с выхода каждого приемника определяется как интеграл по его площади: соответственно номер строки и столбца фотоприемной матрицы; A, b -расстояние между центрами светочувствительных элементов и размер этих элементов соотвественно (будем предполагать, что эти расстояния одинаковы по всей матрице, но не равны между собой); Ejmg(x,y) - освещенность изображения (рис. 2.1).
Устройства фильтрации шума на изображениях с использованием нейроподобных структур
В двухслойных и трехслойных сетях в выходном нейроне применена линейная функция активации, в скрытых слоях - сигмоидальная. Для обучения многослойных сетей широко используется алгоритм обратного распространения ошибки, основная идея которого состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы [70].
Было выполнено моделирование представленных типов сетей. Разработанная программа для моделирования позволяет выбирать структуру сети (количество слоев сети, и количество нейронов в каждом слое), обучать созданную сеть реальными изображениями двумя методами. При обучении сети первым методом в программу загружается исходное изображение, вносится шум, применяется программный фильтр, после чего на вход сети последовательно подаются значения яркости 9 пикселей исходного зашумленного изображения, а в качестве желаемого выхода подставляется яркость соответствующего пикселя программно отфильтрованного изображения. Во втором случае в качестве желаемого выхода подставляется яркость соответствующего пикселя исходного, не зашумленного изображения.
Выполнялось моделирование работы обученной сети, рассчитывалось среднеквадратическое отклонение (СКО) яркости пикселей выходного изображения от желаемого, рассчитывалось пиковое отношение сигнал/шум (ПОСШ) для входного и выходного изображений.
Первой была промоделирована самая простая нейросетевая структура (однослойная сеть с одним нейроном на каждый пиксель обрабатываемого изображения). При обучении в качестве входных изображений представлялись полутоновые изображения размером 200x200 пикселей, предварительно зашумленные импульсным, либо нормальным шумом, а в качестве эталона (желаемого выхода сети) представлялись эти же изображения, но без шума. На рисунке 4 представлены результаты фильтрации изображения, после 100 циклов обучения со скоростью 0,1 для фильтрации импульсного шума.
На полученных изображениях импульсный шум практически отсутствует, за исключением небольших темных областей изображения. Влияние шум в этих области полностью не устранено, но его интенсивность значительно снизилась. Визуальное восприятие изображения заметно улучшилось. При фильтрации нормального шума на результирующих изображениях наблюдались области размытости, а также небольшое осветление темных областей изображений. Однако, визуально, изображение улучшено.
При обучении сети был обнаружен эффект «памяти», который проявляется в случае обучения сети одним и тем же изображением, а потом подачи на вход совершенно другой картинки. На выходных изображениях присутствовали полупрозрачные контуры изображения, на котором сеть обучалась достаточно большое число раз. Данный эффект также называется переобучением сети, т.е. весовые коэффициенты настраиваются таким образом, что сеть практически не реагирует на разные входные значения яркостей пикселей различных изображений
Для подавления как нормального, так и импульсного шума использовались структуры, представленные на рисунке 2. Двухслойные сети показали хорошие результаты при реализации поставленной задачи. Появляется возможность обрабатывать два вида шума одним фильтром без существенных искажений исходного изображения. Результаты обработки изображений трехслойными сетями мало отличаются от результатов двухслойных сетей, кроме того на обучение трехслойной сети тратится значительно больше времени, чем на обучение двухслойных сетей. Результаты обработки изображения двухслойными нейронных сетей, для фильтрации изображений, в которые предварительно внесен как нормальный, так и импульсный шум представлен на рисунке 5.
Однако, моделирование большого количество изображений, выявило существенный недостаток данного подхода к фильтрации. Если обучать сеть одним набором изображений, например полутоновыми фотографиями, а применять фильтр для других изображений, например для изображений геометрических фигур с четкими контурами, результат фильтрации будет неудовлетворительным. На рисунке 6 представлен пример фильтрации изображения геометрических объектов сетью, обученной полутоновыми фотографиями.
В связи с этим, для обучения нейронной сети следует выбирать изображения, которые сходны с теми изображениями, которые будет обрабатывать этот фильтр в рабочем режиме. Для реализации нейросетевых фильтров цифровых полутоновых изображений были рассмотрены следующие конфигурации: однослойная сеть с одним нейроном на каждый пиксель обрабатываемого изображения (с линейной функцией активации нейронов рабочего слоя и использованием в качестве весовых коэффициентов нейронов коэффициентов маски фильтра); двухслойные и трехслойные сети с линейной функцией активации для выходного нейрона и сигмоидальной - для нейронов скрытых слоев.
Было выполнено моделирование представленных типов сетей. Разработанная программа для моделирования позволяет выбирать структуру сети (количество слоев сети, и количество нейронов в каждом слое), обучать созданную сеть реальными изображениями двумя методами. При обучении сети первым методом в программу загружается исходное изображение, вносится шум, применяется программный фильтр, после чего на вход сети последовательно подаются значения яркости 9 пикселей исходного зашумленного изображения, а в качестве желаемого выхода подставляется яркость соответствующего пикселя программно отфильтрованного изображения. Во втором случае в качестве желаемого выхода подставляется яркость соответствующего пикселя исходного, не зашумленного изображения.
Выполнялось моделирование работы обученной сети, рассчитывалось среднеквадратическое отклонение (СКО) яркости пикселей выходного изображения от желаемого, рассчитывалось пиковое отношение сигнал/шум (ПОСШ) для входного и выходного изображений.
Моделирование разработанных методов и алгоритмов
Анализ графиков показывает, что для фильтрации цифровых полутоновых изображений предпочтительней использовать структуру фильтра на основе двухслойной сети. Причем, количество нейронов скрытого слоя на результат практически не влияет.
Результаты применения фильтров к различным изображениями показали, что двухслойные сети хорошо справляются с фильтрацией различных типов шума. Появляется возможность обрабатывать два вида шума (импульсный и нормальный) одним фильтром без существенных искажений исходного изображения, несмотря на то что, обучение этих сетей шло намного дольше однослойной структуры. Результаты обработки изображений трехслойными сетями мало отличаются от результатов двухслойных сетей, кроме того на обучение трехслойной сети тратится значительно больше времени, чем на обучение двухслойных сетей.
Существует ограничение на использование такого фильтра: для обучения нейронной сети следует выбирать изображения, которые сходны с теми изображениями, которые будет обрабатывать нейросетевой фильтр в рабочем режиме. Если обучать сеть одним набором изображений, а применять фильтр для других изображений, результат обработки будет не всегда удовлетворительным (наблюдаются эффекты размытия контуров, наложения цвета). В связи с этим, для обучения нейронной сети следует выбирать изображения, которые сходны с теми изображениями, которые будет обрабатывать этот фильтр в рабочем режиме. Здесь а - коэффициент инерциальнности для сглаживания резких скачков при перемещении по поверхности целевой функции. Алгоритм моделирования нейросетевого фильтра представлен на рисунке 14. Алгоритм обучения нейронной сети представлен на рисунке 15. Внешний вид разработанной программы представлен на рисунке 16.
На каждой итерации алгоритма обратного распространения весовые коэффициенты нейронной сети модифицируются так, чтобы улучшить решение одного примера.
Сложность обучения нейросети характеризуется следующими ограничениями: большое количество параметров, многокритериальность решаемых задач, необходимость найти достаточно широкую область, в которой значения всех минимизируемых функций близки к минимальным. Проблему обучения, как правило, формулируют как задачу минимизации ошибки обучения, при этом график оценки как функции от подстраиваемых параметров сложен, может содержать много локальных минимумов [70]. Начало
Алгоритм обучения нейронной сети В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях выходов, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага л, но это увеличивает время обучения.
Анализ результатов моделирования показывает, что при выборе структуры нейронной сети для реализации операций фильтрации цифровых полутоновых изображений предпочтительным вариантом (с точки зрения уменьшения времени обучения сети и получения лучшего результата) является двухслойная сеть.
Последовательность процедур обработки соответствует этапам их реализаций в устройствах цифрового преобразования изображений. Если использование числа этапов обработки в приводимой последовательности диктуется потребностями прикладной задачи, то каждый последующий этап обработки требует всегда наличия предыдущих.
Для реализации структур фильтров наиболее пригодны ПЛИС фирмы ALTERA семейства FLEX10K, содержащие встроенные блоки памяти (ЕАВ -embedded array blocks), предназначенные для эффективной реализации функций памяти и сложных арифметических и логических устройств (умножителей, конечных автоматов, цифровых фильтров и т.д.). Один такой блок имеет емкость 2 килобита и позволяет сформировать память с организацией 2048 х 1, 1024 х 2, 512 х 4 или 256 х 8. Использование ВБП значительно повышает эффективность и быстродействие создания сложных логических устройств, например, умножителей. В таблице 2 приведены основные сведения о ПЛИС семейства FLEX 1 ОК.
Для операндов небольшой разрядности параллельный умножитель можно реализовать как массив одноразрядных сумматоров, соединенных локальными межсоединениями, при этом общее число сумматоров определяется разрядностью множимого и множителя. Параллельный умножитель 4x4 требует для своей реализации всего 12 сумматоров. При дальнейшем наращивании разрядности матрица одноразрядных сумматоров значительно разрастается [95-97].
Операция фильтрации с маской предполагает выполнение трех основных операций: сложение, перемножение и накопление. Аппаратная реализация операции умножения позволяет значительно увеличить быстродействие устройства в целом.
При использовании нейросетевого подхода к фильтрации коэффициента фильтра вычисляются в процессе обучения и хранятся в памяти. Рассмотрим вариант рализации фильтра 3x3, как наиболее простой с точки зрения схемотехники. Схема фильтра реализована на логических элементах и параллельных сумматорах (рис. 4.2, 4.3).
Адаптивный видео датчик с предварительной обработкой изображений
Запись цифрового значения счетчика в память можно рассмотреть как процесс аналого-цифрового преобразования временного интервала. После начала считывания рабочей сцены и включения цифрового счетчика процесс получения цифровых данных изображения можно описать так: 1) Запись данных цифрового счетчика в буфер по сигналу компаратора пикселя строки т. 2) Подача активного сигнала с линии строки m на схему выборки. 3) Передача сигналов записи (параллельно) от всех пикселей с активными линиями для выбора соответствующих столбцов. 4) Запись значения времени накопления из буфера в память кадра по активным линиям столбца и адресу строки, полученному от блока выбора строки. 5) Подача сигнала «конец считывания» к матрице чувствительных элементов, что снимает сигналы с уже прочитанных пикселей. 6) Конец цикла считывания и запись значений для других строк.
По окончанию записи кадра цифровой счетчик и состояние пикселей матрицы сбрасываются. Полученный кадр изображения передается на схему фильтрации. По окончанию вычислений блок управления подает сигнал сброса на цифровой счетчик, и следует формирование изображения следующего кадра.
Схема фильтрации реализуется на основе нейроподобной двухслойной сети с линейной функцией активации для выходного нейрона и сигмоидальной - для нейронов скрытых слоев. Обработка кадра выполняется построчно. Матрица входных сигналов (входной слой) (дискретные отсчеты яркости для каждого пикселя входного изображения, размер которого mxl) запишется в виде: Элемент Wjj - т.е. элемент /-ой строки у-го столбца - представляет собой значение веса связи соединяющейу-й нейрон с /-м входом. Фрагмент структуры сети и схема фильтрации представлены на рисунке 4, где y(i,j) - значения яркостей точек обрабатываемого изображения, Q(i,j) -получаемые значения яркостей, Out - блок вычисления функции активации. w(0,0]
Даная схема обладает однородной структурой и легко реализуется на ПЛИС. Время выполнения обработки строки изображения при использовании параллельно-конвейерной организации вычислений около 400 не [3].
Предложенная структура позволяет получить улучшенное значение динамического диапазона по сравнению со схемой использующей аналого-цифровое преобразование входящего сигнала, за счет использования асинхронной схемы считывания получить низкое энергопотребление, а конвейерно-параллельная организация схемы фильтрации обеспечить предварительную обработку изображения в режиме реального времени.
Основными элементами блока предварительной обработки являются: память, матричный сумматор, матричный вычитатель, матричный умножитель, схема управления.
Блок калибровки и переобучения предназначен для начального обучения нейронной сети, и для коррекции весовых коэффициентов в процессе работы фильтра. Таким образом, нейронная сеть постоянно переобучается с целью получения качественного выходного изображения, удовлетворяющего всем требованиям, предъявляемым к фильтру.
4.4 Моделирование адаптивного устройства обработки изображений
Для сравнительного анализа полученных параметров разработанных схем были использованы видеодатчик фирмы Micron с подключением к ПЭВМ и видеодатчик Atmel с подключением к нейроматричному процессору для выполнения операций фильтрации изображений, не реализуемых непосредственно в данных видеодатчиках.
Оценка производиласть с точки зрения скорости и производительности. Для оценки производительности разработанных устройств будем использовать скорость обработки при выполнении типовых операций, в которые были включены фильтрация с фиксированной маской фильтра, адаптивной.
Для проведения экпериментальных испытаний устройства обработки были разработаны специальные программы, реализующие алгоритмы нейросетевой фильтрации. Сравнение параметров разработанных схем с известными приведено в таблицах 4.3, 4.4 [75,85,86]. Алгоритм фильтрации, при условии выполнении операции (умножение+сложение) за один такт и размерности изображения 512x512 при использовании предложенных схем выполняется на 5 порядков быстрее, чем при последовательном вычислении (без учета времени обучения нейросети).
Устройство получения изображения Схема фильтрации в видеодатчике располагается непосредственно на кристалле, что предполагает ее реализацию на логических элементах, то возможно сравнение с точки зрения аппаратной сложности и необходимой величины тактовой частоты видеодатчика с теми же фильтрами, реализованными на ПЛИС.
Алгоритм фильтрации, при использовании пороговой функции активации, при условии выполнении операции (умножение+сложение) за один такт и размерности изображения 512x512 при использовании предложенных схем выполняется почти в 100 раз быстрее, чем при последовательном вычислении (с учетом временных затрат на передачу данных).
Сравнительный анализ результатов моделирования предложенного подхода к фильтрации с известными методами на примере операторов выделения границ приведен в табл. 1.
Для сравнительного анализа полученных в ходе моделирования параметров разработанного устройства были использованы видеодатчик подключением к ПЭВМ и видеодатчик с подключением к сигнальному процессору для выполнения операций фильтрации изображений, не реализуемых непосредственно в данных видеодатчиках. Основные параметры сравниваемых датчиков представлены в табл. 2.
При выполнении операций обработки изображения фильтрами с фиксированной и адаптивной маской выигрыш в скорости достигается за счет аппаратной реализации операции фильтрации в разработанном видео датчике. Таким образом, разработанная схема и алгоритмы обработки изображения позволяют получить обработанное изображение в 1,9 раз быстрее по сравнению с известными устройствами и обеспечить увеличение отношения сигнал-шум в 1,1 раза.
Для увеличения скорости обработки возможно внедрение дополнительных схем в кристалл видео датчика, что, однако, повлечет за собой увеличение аппаратной сложности и уменьшение коэффициента заполнения.