Введение к работе
Актуальность проблемы
В конце 20-го - начале 21-го века средства телекоммуникации и портативные'"устройства цифровой фото-видео съемки развивались чрезвычайно быстрыми темпами. В нашу жизнь прочно вошли такие понятия, как мобильная связь, интернет, цифровая фото и видео камеры, и т.п. Реализация таких устройств требует не только увеличения степени интеграции используемых микросхем, но и повышения эффективности алгоритмов обработки данных.
В связи с тем, что современные каналы связи и хранилища данных не позволяют передавать и хранить большие объемы информации, одной из актуальных задач средств телекоммуникации и портативных фотовидео устройств является передача и хранение сжатых данных. Так например, видеоинформация, генерируемая видеокамерой, состоит из последовательности изображений - кадров. Обычно кадры генерируются с частотой 24, 25 или 30 раз в секунду. В результате получается большое количество данных, для эффективной передачи и хранения которых необходимо использовать сжатие.
Существуют различные подходы к компрессии видеопоследовательностей. Один из вариантов обработки видеоинформации - это последовательное сжатие каждого кадра, используя такие алгоритмы, как JPEG, JPEG2000 [1,2]. Фактически такое внутрикадровое сжатие сейчас широко используется как метод кодирования видеоинформации в системах качественного видеомонтажа, которые требуют быстрого доступа . к любому кадру видеопоследовательности. При отсутствии видимых искажений типичный коэффициент покадрового сжатия равен 8-9.
Однако значительно более высокий уровень сжатия может быть достигнут за счет исключения временной избыточности в видеопотоке (т.е. в
последовательности кадров). Коэффициент сжатия при отсутствии или малозаметных визуальных искажениях в этом случае увеличивается на порядок. Если сцена по существу просто повторяется кадр за кадром без какого-либо существенного изменения, то в таком случае значительно более эффективно кодировать разницу между кадрами, а не каждый кадр видеопотока.
Метод повышения степени компрессии путем кодирования только изменений в видеосцене, называемый условным замещением (УЗ), был использован в первом стандарте цифрового видео кодирования, ITU-T Rec. Н.120 [3]. Кодирование с УЗ состоит из передачи сигналов для индикации того, какая область изображения может быть повторена, и передачи закодированной информации об изменившихся областях. Также данный метод можно развить путем добавления метода компенсации движения (КД) . Суть метода заключается в том, что в некоторой окрестности исходной области одного кадра ищется наиболее похожая область из другого кадра. Разница в координатах между исходной и целевой областью называется вектором движения. В результате вместо кодирования целой области, кодируется только вектор движения и поправки к целевой области (разность между целевой и исходной областью). Размер области поиска движения выбирается исходя из предположения о максимальном смещении объектов внутри кадра. Зачастую используется квадрат размером 16x16 пикселей. Эффективность данных методов зависит от ряда предположений о виде движения в кадре, а именно:
Объекты перемещаются в плоскости, параллельной плоскости камеры. Таким образом, не рассматриваются, например, эффекты масштабирования и вращения.
Появление и исчезновение объектов не рассматриваются. Таким образом, не рассматриваются, например, эффекты вращения и сдвига.
Однако данные ограничения зачастую снижают качество выходных изображений и накладывают ограничения на максимальный коэффициент сжатия в системах кодирования видеоинформации. К тому же эффекты, которые возникают вследствие движения видеокамеры (т.е. эффекты глобального движения), приводят к ухудшению качества закодированных изображений при том же коэффициенте сжатия, либо к уменьшению коэффициента сжатия при сохранении качества закодированных изображений. Таким образом, для повышения качества закодированных изображений и увеличения коэффициента сжатия в системах кодирования видеопоследовательностей необходимо использовать методы, позволяющие устранять описанные выше ограничения.
Известные алгоритмы, которые позволяют определять параметры глобального движения, являются крайне ресурсоемкими, что ограничивает возможность их использования в системах кодирования в реальном времени. Таким образом, на разработку новых алгоритмов накладываются ограничения по вычислительным затратам. Как правило, системы кодирования в реальном времени имеют аппаратную реализацию либо в виде специальной микросхемы, либо в виде программы, реализованной с использованием специального процессора. Одним из возможных вариантов применения алгоритмов вычисления параметров глобального движения, который одновременно позволит повысить общую производительность систем кодирования видеоинформации, является реализация их в виде отдельной микросхемы, либо IP-блока для систем, реализованных на кристалле. Поэтому разработка алгоритмов вычисления ' параметров глобального движения, которые не предъявляют высоких требований к вычислительным ресурсам и имеют эффективную аппаратную реализацию, является актуальной задачей.
Цель работы
Целью работы является разработка эффективного метода вычисления параметров глобального движения сцены в видеопоследовательностях. Для достижения поставленной цели необходимо решить следующие задачи:
Исследовать существующие методы вычисления параметров глобального движения сцены с целью выявления их достоинств и недостатков.
Разработать компактное представление изображений для использования в алгоритмах вычисления параметров глобального движения.
Разработать алгоритмы вычисления параметров глобального движения сцены с использованием компактного представления изображений.
Создать экспериментальный программно-аппаратный комплекс для проведения экспериментов по вычислению параметров глобального движения сцены.
Провести эксперименты по сравнению и показать преимущества разработанных алгоритмов по сравнению с широко распространенными методами.
Выработать требования к элементной базе, реализующей разработанные алгоритмы.
Научная новизна
-
Разработан новый способ вычисления параметров глобального движения в видеопоследовательностях, основанный на использовании интегральных характеристик бинаризованных изображений.
-
Разработан новый алгоритм вычисления параметров глобального движения, включающий:
процедуру выделения и совмещения «крупномасштабных» пиков интегральных характеристик;
итерационный алгоритм оценки комбинированных трансформаций.
3. Разработан новый способ вычисления параметров
глобального движения сцены, основанный на
использовании объектов бинаризованных изображений.
4. Разработан новый алгоритм вычисления параметров глобального движения, включающий:
процедуру вычисления интегральных параметров объектов бинаризованных изображений;
алгоритм установления соответствий между объектами бинаризованных изображений.
Практическая значимость работы
-
Разработанные алгоритмы вычисления параметров глобального движения повышают производительность систем кодирования видеопоследовательностей.
-
Предложенные алгоритмы вычисления параметров глобального движения применяются в разработанном в 000 «Юник Ай Сиз» устройстве видеосъемки -камкордер.
-
Результаты работы могут найти применение при создании различных систем сжатия видеопоследовательностей реального времени, а также в автоматизированных системах детектирования изменения сцены.
-
Проведенные теоретические оценки элементной базы могут быть применены при создании систем кодирования на кристалле.
Внедрение результатов работы
С использованием полученных в работе результатов разработано устройство видеосъемки -камкордер. Работа выполнена в рамках плана работ 000 «Юник Ай Сиз» на 2006г. Разработанные методы внедрены в учебный процесс кафедры ПКИМС МИЭТ(ТУ).
На защиту выносится:
1. Способ вычисления параметров глобального движения сцены, основанный на использовании интегральных . характеристик бинаризованных изображений. Данный способ позволяет снизить вычислительные затраты по сравнению с аналогами.
-
Алгоритм вычисления параметров глобального движения сцены, включающий процедуру выделения и совмещения «крупномасштабных» пиков интегральных характеристик, а также итерационный алгоритм оценки комбинированных трансформаций. Данный алгоритм позволяет снизить вычислительные затраты по сравнению с аналогами.
-
Способ вычисления параметров глобального движения сцены, основанный на использовании объектов бинаризованных изображений. Данный способ позволяет снизить вычислительные затраты по сравнению с аналогами.
-
Алгоритм вычисления параметров глобального движения сцены с использованием объектов бинаризованных изображений, включающий процедуру вычисления интегральных параметров объектов бинаризованных изображений, а также алгоритм установления соответствий между объектами бинаризованных изображений. Данный алгоритм позволяет снизить вычислительные затраты по сравнению с аналогами.
-
Разработанное математическое и алгоритмическое обеспечение устройства вычисления параметров глобального движения, реализуемое в системах на кристалле.
Апробация работы
Результаты диссертационной работы докладывались и обсуждались на международных и всероссийских научно-технических конференциях:
9-я всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2002», Москва, 2002;
7-я международная конференция «Распознавание образов и анализ изображений: новые информационные технологии», Санкт-Петербург, 2004;
12-я всероссийская межвузовская научно-техническая конференция студентов и аспирантов
«Микроэлектроника и информатика-2005», Москва, 2005;
XLVIII научная конференция МФТИ, Москва, 2005;
13-я всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2006», Москва, 2006.
Публикации
Основные результаты диссертационной работы опубликованы в 8 печатных работах.
Структура и объем диссертации
Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений.
