Введение к работе
Актуальность темы диссертации. Проводимые во всех технически развитых странах разработки алгоритмов и аппаратуры сокращения объема и рационального пакетирования видео-, аудио- и сопутствующей информации являются основой создания систем эффективного использования каналов связи, сохранения действующих частотных планов, высвобождения значительной части частотного ресурса для передачи потребителям дополнительных видов услуг - мобильной и стационарной видеосвязи, многопрограммного интерактивного телевидения, телевидения высокой четкости, многопрограммного звукового вещания, цифрового кино. Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для их передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет. Был получен ряд важных результатов в плане разработки алгоритмов сжатия (включая стандарты JPEG, JPEG2000, JPEG XR, MPEG-1, MPEG-2, MPEG-4, H.261, H.263, H.264/AVC для статических и динамических изображений).
Значительный вклад в разработку теории и алгоритмов цифровой обработки изображений внесли как отечественные ученые: Ю.Б. Зубарев, М.И. Кривошеев, Л.П. Ярославский, В.П. Дворкович, А.В. Дворкович, В.А. Сойфер, М.К. Чобану, А.С. Крылов, Ю.М. Баяковский, так и зарубежные - Р. Гонсалес, Р. Вудс, Т. Чан, А. Бовик, Ю. Неуво, Я. Астола, К. Егиазарян и др.
Алгоритмы сжатия занимают значительное место в теории цифровой обработки изображений. Связано это с тем, что изображения, представленные в цифровой форме, требуют для хранения довольно большой объем памяти, а при передаче их по каналам связи требуется значительное время. Так, для хранения изображения с Full HD разрешением 1920x1080 пикселей и 24 битами на отсчет требуется 1920x1080x24=5,93 Мбайт памяти. Чтобы передать его по типовому телекоммуникационному каналу со скоростью 1 Мбит/с, понадобится около 40 секунд. В то же время известно, что изображения содержат избыточную информацию, на которую тратятся память и полоса частот канала связи. Алгоритмы сжатия уменьшают объем избыточной информации. Их можно разделить на два класса:
алгоритмы сжатия без потерь (рис. 1а);
алгоритмы сжатия с потерями (рис. 16).
Алгоритмы сжатия без потерь основаны на исключении избыточной статистической информации. «Сжатие без потерь» означает, что процесс обратим, т. е. информацию можно восстановить при декодировании в первоначальном виде.
Алгоритмы сжатия с потерями основаны на том, что в изображении содержится информация, либо слабо воспринимаемая человеческим глазом, либо ненужная для задачи дальнейшей обработки, например для выделения и распознавания объектов. В случае, когда потребителем информации на изображении является человек, мы имеем дело с психофизиологической избыточностью информации. Снижение такой избыточности состоит в исключении несущественных частей изображения, которые человеческий глаз не воспринимает в силу
психофизиологических особенностей. При этом часть информации безвозвратно теряется, и восстановить ее при декодировании невозможно.
Алгоритмы сжатия без потерь
Кодирование длин серий
Метод группового кодирования
Алгоритм
Хаффмана
Арифметическое кодирование
а)
Алгоритмы сжатия с потерями
Перспективные
технологии
сжатия
Дискретное
косинусное
преобразование
Стандарт JPEG Стандарт JPEG XR
Вейвлет-преобразование
Фрактальное кодирование
Нейросетевые методы сжатия
Стандарт JPEG2000 Алгоритм SPIHT
б) Рис. 1. Алгоритмы сжатия цифровых изображений: а) без потерь; б) с потерями
JPEG (Joint Photographic Expert Group - объединенная группа экспертов в области фотографии) - это первый международный стандарт ISO/IEC для сжатия неподвижных цифровых изображений, принятый в 1994 г. Несмотря на широкую популярность данного метода сжатия, развивающиеся приложения цифровой обработки изображений потребовали новых возможностей, отсутствующих в JPEG. Это послужило стимулом для разработки и сертификации новых стандартов -JPEG2000, принятого на рубеже веков, и JPEG XR, вышедшего в 2009 г.
Алгоритм сжатия, используемый в JPEG2000, основан на вейвлет-преобразовании изображения. Стандарт JPEG2000 показывает свою эффективность в широком спектре приложений: передача изображений в сети Интернет, цифровая фотография, создание цифровых библиотек, базы данных изображений, цветное копирование, сканирование, печать, компьютерная графика, обработка медицинских
изображений, мобильная связь третьего поколения (3G), приложения клиент-сервер, цифровое кино и др.
Отбрасывание части информации при использовании стандартов сжатия JPEG и JPEG2000 делает актуальным вопрос об объективной оценке качества восстановленных изображений. Качество столь сложного объекта, как изображение, является важным, но вместе с тем нечетким понятием. С одной стороны, качество может рассматриваться как характеристика самого изображения и определяться его собственными свойствами (статистическими, семантическими, структурными). Соответствующие критерии являются либо субъективными, либо опираются на объективные характеристики изображения: форму и параметры распределения яркости, оценки искажения деталей и т. д.
С другой стороны - качество часто рассматривается как мера близости двух изображений: оцениваемого и эталонного. Такой подход позволяет оценивать количественные изменения значений яркости, общий уровень искажений изображений при преобразованиях (фильтрация, сжатие с потерями и т. д.). При этом оценивается качество самого средства преобразования - алгоритма или устройства, что важно при построении систем обработки изображений.
Относительно новый подход к оценке качества изображений заключается в использовании априорной информации об искажениях, проявляющихся при формировании, кодировании или передаче визуального сигнала. При использовании алгоритмов сжатия визуальная информация подвергается различного типа искажениям: блочность, размытие, звон и др. Если система обработки такова, что выходное изображение содержит лишь конечное число различных типов искажений, то независимая оценка каждого вида искажений позволяет судить о качестве всей системы. Преимущество такого подхода перед описанными выше состоит в том, что даже сильно коррелированные между собой искажения и искажения, зависящие от входного изображения, измеряются независимо. Это позволяет избежать ситуаций, когда разные по качеству изображения не отличаются с точки зрения меры близости их к оригиналу. Более того, независимые метрики количественной оценки искажений могут быть использованы для оптимизации параметров кодирующего устройства с целью повышения качества. Адекватное измерение и анализ искажений позволяет разрабатывать алгоритмы их подавления и улучшения качества восстановленных изображений.
Для стандарта сжатия JPEG существуют как эталонные, так и неэталонные алгоритмы количественного анализа артефактов блочности и размытия. Для стандарта JPEG2000 основными типами искажений являются размытие и звон. Задача количественной анализа данных искажений является новой. Разработка соответствующих метрик размытия и звона позволит проанализировать природу данных искажений, их вклад в общее качество изображения и разработать методы борьбы с ними. Поэтому задачи анализа и подавления искажений в изображениях, сжатых с использованием вейвлет-преобразования, являются актуальными на современном уровне развития систем цифровой обработки изображений.
Основной целью работы является улучшение характеристик систем сжатия изображений путем объективной оценки искажений, вносимых на этапе преобразования.
Для достижения указанной цели в диссертационной работе решаются следующие задачи:
разработка алгоритмов количественной оценки искажений в изображениях, сжатых с использованием вейвлет-преобразования;
проведение эксперимента по оценке корреляции между предложенными объективными оценками качества сжатых изображений со средними экспертными оценками;
разработка алгоритма подавления артефактов звона в сжатых изображениях на основе билатерального фильтра;
анализ влияния искажений в сжатых изображениях на работу алгоритмов выделения и распознавания лиц.
Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, вейвлет-анализа, теории вероятностей, математической статистики, математического анализа, линейной алгебры. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языках C++ и Java.
Научная новизна работы:
Разработаны эталонный и неэталонный алгоритмы оценки качества сжатых изображений, основанные на измерении уровня размытия в восстановленном изображении.
Разработан эталонный алгоритм оценки качества сжатых изображений, основанный на измерении уровня звона в восстановленном изображении.
Разработан и исследован алгоритм подавления звона в сжатых изображениях.
Исследовано влияние искажений звона и размытия на алгоритмы выделения и распознавания лиц на изображениях.
Практическая значимость работы:
Разработаны алгоритмы оценки уровня звона и размытия в изображениях, сжатых с применением вейвлет-преобразования.
Проведен эксперимент по оценке корреляции между объективными критериями качества сжатых изображений со средними экспертными оценками. Коэффициент корреляции Пирсона между предлагаемыми объективными оценками и средними экспертными составил 0,74.
Разработан алгоритм подавления артефактов звона на основе модифицированного билатерального фильтра. Применение данного алгоритма увеличивает ПОСШ восстановленного изображения на 1,5-3 дБ по сравнению с классическим билатеральным фильтром.
Предложена система архивирования видеоизображений на основе стандарта JPEG2000 с учетом требований систем видеонаблюдения и с возможностью идентификации личности. Вероятность верной идентификации личности по видеоархиву составила 48%.
Апробация результатов работы
Результаты работы обсуждались на следующих научно-технических семинарах и конференциях:
Десятая - двенадцатая международная конференция и выставка «Цифровая обработка сигналов и ее применение», Москва, 2008-2010.
63-64-я научная сессия, посвященная Дню Радио, Москва, 2008-2009.
15-я Международная научно-техническая конференция «Информационные средства и технологии», Москва, 2007.
15-я международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика», Москва, 2009.
International IEEE Conference devoted to the 150-anniversary of Alexander S. Popov (EUROCON 2009), Saint Petersburg, 2009.
International Conference «Wavelets and Applications», Saint Petersburg, 2009.
14-я Всероссийская конференция «Математические методы распознавания образов», Москва, 2009.
Реализация результатов работы
Результаты работы внедрены в соответствующие разработки ЗАО «Фирма НТЦ КАМИ», г. Москва, ООО «А-ВИЖН», г. Ярославль. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П.Г. Демидова в рамках дисциплин «Цифровая обработка изображений», «Обработка и передача мультимедийной информации», «Основы телевидения и видеотехники». Научно-исследовательская программа для архивирования изображений с возможностью идентификации личности PicLab.FDJ2K зарегистрирована в Реестре программ для ЭВМ, свидетельство № 2009616724 от 03.12.2009. Все результаты внедрения подтверждены соответствующими актами.
Публикации. По теме диссертации опубликовано 18 научных работ, из них 1 статья в журнале, рекомендованном ВАК, 2 статьи в сборнике научных трудов физического факультета ЯрГУ, 15 докладов на научных конференциях.
Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 208 наименований, и 4 приложений. Она изложена на 174 страницах машинописного текста, содержит 66 рисунков и 13 таблиц.
На защиту выносятся:
Алгоритмы оценки уровня размытия и звона в изображениях, сжатых с применением вейвлет-преобразования.
Результаты сопоставления предложенных объективных оценок искажений и качества сжатых изображений со средними экспертными оценками.
Алгоритм подавления звона в сжатых изображениях на основе билатерального фильтра.
Результаты анализа работы алгоритмов выделения и распознавания лиц в условиях искажений, характерных для изображений, сжатых с использованием вейвлет-преобразования.
