Содержание к диссертации
Введение
ГЛАВА 1. Исследование существующих способов компенсации движения в цифровых динамических видеоизображениях 8
1.1 Обзор принципов построения цифровой телевизионной системы 8
1.2 Анализ обобщённой архитектуры видеокодека 12
1.3 Выявление особенностей способов компенсации движения 19
1.4 Выбор аналогичных моделей видеокодеков 22
1.5 Детальный обзор аналогичных способов компенсации движения .28
1.6 Выводы по главе .32
ГЛАВА 2. Разработка улучшенного способа компенсации движения в цифровых динамических видеоизображениях . 33
2.1 Формирование теоретической основы способа 33
2.2 Построение математической модели способа 48
2.3 Синтез архитектуры видеокодека 52
2.4 Оценка эффективности способа 56
2.5 Детальный обзор разработанного способа .57
2.6 Выводы по главе .61
Глава 3. Расширение разработанного способа компенсации движения применительно к области стереовидеокодирования .63
3.1 Расширение теоретической основы способа 63
3.2 Дополнение математической модели способа 72
3.3 Модификация архитектуры видеокодека 80
3.4 Оценка эффективности расширенного способа 82
3.5 Детальный обзор расширенного способа 83
3.6 Выводы по главе .84
ГЛАВА 4. Структурный синтез и сравнительный анализ моделей видеокодеков на базах аналогичных и разработанных способов компенсации движения в цифровых динамических видеоизображениях 86
4.1 Выбор параметров эффективности работы видеокодеков 86
4.2 Описание экспериментальной установки для реализации способов 88
4.3 Осуществление способов компенсации движения 94
4.4 Сравнительный анализ моделей видеокодеков 96
4.5 Выводы по главе 104
Заключение 106
Литература 108
- Выявление особенностей способов компенсации движения
- Синтез архитектуры видеокодека
- Дополнение математической модели способа
- Осуществление способов компенсации движения
Выявление особенностей способов компенсации движения
Предварительный анализ принципов построения цифровых телевизионных систем показал, что структурную организацию современной системы можно рассматривать двояко, используя последовательный либо параллельный подход к рассмотрению структуры данной системы.
Последовательный подход к рассмотрению структуры цифровой телевизионной системы представляет её как цепь последовательных звеньев, выполняющих поочерёдные преобразования над информационным сигналом. Источник изображения выполняет функцию получения электрического оцифрованного аналога светового изображения запечатлённой видеосцены, в зависимости от характера её освещения и динамических параметров подвижных объектов сцены, перемещения которых вызывают перераспределение характера освещения. Видеокодер выполняет функцию сжатия оцифрованной информации [2,3], ставя в соответствие исходному развёрнутому сигналу большого объёма код малого объёма. Помехоустойчивый кодер обеспечивает шумовую защиту системы от помех путём подмешивания в закодированный сигнал некоторого набора дополнительной опорно-восстановительной статистической информации, которая на стороне кодирования используется для детектирования и устранения внутренних и внешних ошибок, приобретённых в результате кодирования и передачи информации по каналу связи. Модулятор обеспечивает возможность переноса информации на высокой частоте, называемой несущей. Канал связи обеспечивает пространственный перенос входного видеосигнала, полученного от модулятора на предварительно выбранной несущей частоте. Демодулятор получает ослабленный видеосигнал, усиливает его и переводит в исходный частотный спектр. Помехоустойчивый декодер частично устраняет помехи в полученном цифровом сигнале, используя опорные статистические данные. Видеодекодер выполняет функцию развёртки закодированной информации. Приёмник изображения переводит электрическое представление сигнала в световое излучение, необходимое для человеческого восприятия.
Параллельный подход к рассмотрению структуры цифровой телевизионной системы предполагает рассмотрение данной структуры как совокупности пар взаимодополняющих устройств, выполняющих прямые и обратные преобразования сигнала. Формирователь изображения выполняет обратимые светоэлектрические преобразования над сигналом, переводя его в вид, удобный для обработки вычислительным устройством, либо восстанавливая его к виду, требуемому для просмотра зрителем. Видеодек выполняет прямые и обратные преобразования по сжатию и развёртке информации, то есть кодирование и декодирование видеоизображений, с целью минимизации энергетических и временных затрат на передачу кодов изображений по каналу связи. Помехоустойчивый кодек обеспечивает защиту передаваемого закодированной последовательности кодов от внутренних ошибок кодирования и внешних ошибок передачи. Аналоговый преобразователь обеспечивает эффективный перенос кодового сигнала в пространстве посредством его спектральных преобразований.
Эффективность цифровых телевизионных систем, согласно имеющимся на текущий момент времени литературным источникам, обусловилась, прежде всего, появлением в их организационной структурно-элементной базе принципиально новой пары элементов: видеокодека и помехоустойчивого кодека [12]. Именно эти элементы составили основную составляющую современной цифровой телевизионной системы и привели к существенному улучшению ключевых параметров эффективности подобных систем [2]. Так, например, малые объёмы кодов обеспечили энергоэффективность данных систем, за счёт дискретных помехоустойчивых алгоритмов существенно повысилась устойчивость систем к шумовым воздействиям, вовлечение в элементный состав интегральных микросхем сделало цифровые системы компактными, а уменьшение общего числа конструктивных элементов, посредством введения микросхем, повысило также надёжность цифровых телевизионных систем. Повышение эффективности цифровых телевизионных систем является динамическим процессом, развитие которого происходит постоянно.
Классификация цифровых телевизионных систем может быть проведена по целому ряду признаков, таких как: назначение системы, структурный состав системы, ресурсоёмкость системы и многие другие. Как правило, конечная цель использования системы определяет её основные параметры и элементную базу. Однако, по какому бы принципу не строилась очередная цифровая система, вполне очевидно, что существует определённый ряд ключевых параметров качества проектируемой системы, равно как очевидно и то, что разные модификации системы приводят к разным перераспределениям значений показателей качества работы этой системы. В этой связи, особый интерес представляет классификация цифровых систем по временному режиму работы, в числе которых выделяют файловый режим off-line и on-line режим реального времени. При этом файловые системы требовательны к объёму сжатых данных, в то время как системы реального времени критичны по отношению ко времени обработки видеоинформации. На текущий момент наибольшей актуальностью и востребованностью обладают системы реального времени, и именно они нуждаются в новых оригинальных технических решениях по повышению эффективности создания и эксплуатации данных систем.
Учитывая всё вышесказанное, можно выделить некоторые основные принципы построения современных цифровых телевизионных систем. Для обеспечения компактности и надёжности системы большинство функций возлагается на цифровые устройства. Построение и функционирование системы обычно удовлетворяет выбранным показателям её эффективности, таким как: хорошее качество изображения, малый объём передаваемой информации, помехоустойчивость системы, энергоёмкость модулирующих устройств. Каждое математическое преобразование видеосигнала является обратимым для того, чтобы входной и выходной сигналы системы в конечном итоге имели сходное представление.
Видеокодек – пара взаимодополняющих устройств - кодера и декодера, выполняющих соответственно прямые и обратные преобразования видеоизображений [2]. При этом кодер сжимает исходные развёрнутые изображения большого объёма и ставит им в соответствие набор коротких кодов малого объёма, а декодер, наоборот, разворачивает изображения и набору полученных кодов ставит в соответствие исходные развёрнутые изображения. В процессе математических преобразований кодирования–декодирования, часть полезной информации теряется, и платой за малый объём передаваемого кода становится снижение качества декодируемого изображения. Объединение указанной пары в видеокодек весьма условно, поскольку в большинстве случаев кодер и декодер входят в составы разных устройств. Однако в целом, за видеокодеком полностью закреплена функция обеспечения информационной эффективности цифровой телевизионной системы.
Синтез архитектуры видеокодека
Подчеркнём важные аспекты решения. Указанные математические модели применяются поочерёдно ко всем осям плоскостной системы координат. При этом системная аппроксимация движения в итоге применяется только к тем макроблокам, векторы скоростей которых имеют примерно равные абсолютные значения и приблизительно одинаковые направления в рамках текущего системного блока. Индивидуальная аппроксимация движения проводится после системной. И при проведении системной, и при проведении индивидуальной аппроксимаций движения, сначала рассчитываются коэффициенты аппроксимации движения, а затем скорости движения макроблоков. При этом коэффициенты рассчитываются по данным двух предыдущих кадров, а текущие скорости по данным текущего и предыдущего кадров. Условие равенства порядков значений всех частных производных обеспечивается за счёт изначального выбора единиц измерения времени для конкретного формата кадра.
Примем во внимание что для расчёта трёх коэффициентов системной аппроксимации движения в рамках каждого системного блока по каждой координатной оси необходимо составлять систему из трёх уравнений, в которой коэффициенты играют роль неизвестных, а значения частных производных рассчитываются предварительно, опираясь на временные отметки двух предыдущих кадров, данные трёх вложенных макроблоков, а также на данные их соседей. Наиболее типичный вид системной матрицы для проекций изменяемой и неизменяемой формы выглядит, как показано на рисунке (рисунок 8)
Для проекций неизменяемой формы, как правило, элементы первого столбца матрицы, характеризующие временные производные, имеют близкие значения по отношению друг к другу, а элементы остальных столбцов, характеризующих пространственные производные, имеют небольшие значения, близкие к нулевой отметке. Для проекций же изменяемой формы наиболее характерны случаи с неравенством и сильным разбросом значений частных производных, как временных, так и пространственных. Однако, возможны ситуации, когда наряду с указанными достоверными случаями в механизм системной аппроксимации на начальном этапе вовлекаются также ошибочные случаи с иным перераспределением значений коэффициентов и частных производных. Согласно введённому ограничению, при равенстве порядков всех производных требуется стремление к нулю второго и третьего слагаемых левой части уравнения системной аппроксимации движения. На практике вместо теоретического условия стремления значений слагаемых к нулю удобно использовать следующие неравенства: где: arg – пороговый уровень для значений пространственных слагаемых. Случаи, выделяемые указанным ограничением, соответствуют наличию в рассматриваемом системном блоке проекций неизменяемой формы. Для таких случаев указанные слагаемые с пространственными производными теряют вес, а равенство частей уравнения достигается главным образом за счёт первого слагаемого с временной производной.
По этой причине, вследствие введённого ограничения в аппроксимационной обработке в подавляющем большинстве случаев остаются только проекции неизменяемой формы, движение которых легко поддаётся анализу и прогнозированию.
Двумерный график зависимости скорости движения макроблоков от индексов этих макроблоков в рамках системной аппроксимации движения (рисунок 9) имеет вид фрагмента плоскости (осевые скорости вложенных макроблоков равны, или почти равны) для проекций неизменяемой формы, в то время как
Примеры графиков распределения скоростей макроблоков системного блока: а) – для проекции неизменяемой формы; б) – для проекции изменяемой формы для проекций изменяемой формы данный график имеет вид изогнутой поверхности с ярко выраженными экстремумами (осевые скорости вложенных макроблоков сильно различаются). Вследствие использования скоростей движения макроблоков вместо их смещений при аппроксимации движения, потребовался механизм перехода от векторов смещений к скоростям движения макроблоков и обратно, который осуществляется следующими уравнениями: u = -w/dt, (2.19) w = -udt, (2.20) где: w - значение дробного вектора прогнозного смещения макроблока для текущей координатной оси; dt - значение временного интервала между соседними кадрами. Присутствие таймера с малой временной разрешающей способностью позволяет в режиме реального времени осуществлять обратимый переход от векторов смещений макроблоков к скоростям макроблоков и обратно. Для повышения точности расчётов был введён выборочный механизм использования дробных векторов смещений вместо целочисленных: где: v - значение целочисленного вектора прогнозного смещения макроблоков для текущей координатной оси; Еи Е2 -значения критерия сходства для соседних по текущей оси макроблочных прогнозов относительно наилучшего найденного центрального прогноза. Согласно представленной формуле, дробная часть итогового вектора дополнительно отклоняет координату лучшего найденного центрального прогноза в сторону одного из двух боковых прогнозов с меньшим значением критерия поиска. При этом величина отклонения зависит непосредственно от значений критерия сходства боковых соседних прогнозов. Далее, ввиду неидеальности математической модели, а также с учётом погрешностей машинной арифметики, был осуществлён ввод дополнительного укороченного поискового алгоритма с целью коррекции аппроксимационных ошибок:
Дополнение математической модели способа
Дополнение математической модели способа включает в себя следующие модифицированные компоненты: модель аппроксимации движения, модель координатно-скоростного обратимого перехода, модель формирования дробных векторов смещения, модель поискового алгоритма компенсации движения. Кроме того, появились следующие связующие компоненты: модель пространственно-плоскостного обратимого перехода, модель обратимой пространственно-плоскостной реконструкции. Дополнились также особенности практического применения расчётных теоретических уравнений. Модифицированная модель аппроксимации движения включает два компонента. Модель нахождения скоростей движения плоскостных кадровых фрагментов и их стереокопий выглядит следующим образом: где: s – идентификатор пространства; p – идентификатор плоскости. Согласно данной модели, требуется найти скорость движения плоскостных фрагментов и их пространственных копий при всех прочих известных к данному моменту параметрах. Механизм нахождения скоростей подобен принципу моновидеокодирования, но применим и к фрагментам левого кадра, и к их пространственным копиям. Модифицированная модель нахождения коэффициентов аппроксимации движения выглядит следующим образом: где: s – идентификатор пространства; p – идентификатор плоскости. Расчёт неизвестных коэффициентов аппроксимации движения ведётся аналогично алгоритмам моновидеокодирования. На практике сначала рассчитываются значения коэффициентов аппроксимации движения, а потом текущие скорости движения фрагментов и их копий. Модифицированная модель координатно-скоростного обратимого перехода содержит два взаимодополняющих компонента. Модель прямого координатно-скоростного перехода: где: s – идентификатор параллельности; p – идентификатор последовательности. Модель пространственно-плоскостного обратимого перехода содержит два компонента. Модель прямого пространственно-плоскостного перехода: где: /? - идентификатор плоскости; a?, a - вертикальные углы отклонений направляющих векторов; где: fti, fc - горизонтальные углы отклонений направляющих векторов; xpj, ypj - плоскостные левые координаты макроблоков; кь к2 -коэффициенты обратимого пространственно-плоскостного перехода; wp -значение из дробного вектора параллельных прогнозных смещений. Модель обратного пространственно-плоскостного перехода: где: р - идентификатор плоскости; xpj, ypj и xpj, ypj - плоскостные левые и правые координаты макроблоков; щ, а2 - вертикальные углы отклонений направляющих векторов; Д/, / - горизонтальные углы отклонений направляющих векторов; кь к2 - коэффициенты обратимого пространственно-плоскостного перехода. Данная модель с обратимыми преобразованиями позволяет осуществлять переход от плоскостей изображений к пространственной поверхности и обратно. Линейная зависимость между пространственными и плоскостными параметрами, как показали экспериментальные данные, вполне достаточна для осуществления указанного перехода. В частности, по плоскостным координатам кадровых макроблоков стереопары осуществляется переход к параметрам направляющих векторов двух прямых, характеризующих положения пространственных фрагментарных копий, а по углам отклонения направляющих векторов определяются координаты макроблоков. Таким образом, плоскостные параметры связываются с пространственными параметрами. Экспериментальные данные показали, что линейной зависимости вполне достаточно для эффективной организации такой взаимосвязи.
Модель проекционной обратимой пространственно-плоскостной реконструкции включает два компонента. Модель для геометрической реконструкции пространственной поверхности выглядит следующим образом: идентификатор пространства; 1, 2 – вертикальные углы отклонений направляющих векторов; 1, 2 – горизонтальные углы отклонений направляющих векторов; xs,1, ys,1, zs,1 – пространственные левые координаты копий фрагментов изображения; xs,2, ys,2, zs,2 – пространственные правые координаты копий фрагментов изображения. Согласно указанной модели, тройки координат пространственных копий фрагментов находятся по формулам, полученных из параметрических уравнений пересекающихся прямых, а проекции частей пространства на плоскости кадровых изображений определяются посредством использования обратных тригонометрических функций. С учётом наложенных геометрического и алгоритмического ограничений, никаких перебоев и вычислительных ошибок не возникает.
Иллюстрация математической модели в более компактном виде, представленная на рисунке 19, показывает как модифицированные элементы математической модели, так и новые дополнительные элементы, потребовавшиеся способа. Представленная математическая модель является логическим продолжением и развитием математического аппарата моновидеокодирования применительно к области стереовидеокодирования с целью распространения решения поставленной технической задачи, в том числе, и на эту область.
Осуществление способов компенсации движения
Описанные выше способы компенсации движения в цифровых динамических видеоизображениях, использовавшиеся при непосредственном проведении сравнительного анализа моделей видеокодеков, осуществляются следующим образом: маятник отклоняют на угол а = 15 от свободной оси вращения, после чего его отпускают. Через 5-10 секунд на ноутбуке запускают программный вариант по осуществлению одного из разработанных улучшенных способов в отдельности или эксперимента по проведению сравнительного анализа моделей видеокодеков на базах аналогичного и разработанного способов моновидеокодирования (рисунок 24) либо стереовидеокодирования (рисунок 25) нажатием соответствующей кнопки.
Осуществление способа (стерео) После этого ожидают окончания обработки видеопотока и вывода на экран результатов осуществления разработанного способа в отдельности, либо результатов эксперимента по сравнению моделей видеокодеков, использующих аналогичный и разработанный способы. После этого маятник останавливают, то есть приводят в начальное исходное свободное положение.
Таким образом, для проведения сравнительного анализа способов компенсации движения потребовалось проведение сравнительного анализа моделей видеокодеков на базах данных способов, поскольку объём кодов можно получить только имея всю цепочку звеньев кодера, а рассогласование качества входных и выходных изображений может быть оценено только при наличии вообще всей модели видеокодека целиком, от первого до последнего звена.
Эксперименты сравнительного анализа с работой моделей видеокодеков проводились в режимах on-line и off-line. При этом временные режимы многократно чередовались при проведении экспериментов сравнительного анализа.
Видеопоследовательности формировалась с помощью пары web-камер и цифрового стереофотоаппарата FUJIFILM finepix REAL 3D W3. При этом пара камер использовалась преимущественно в режимах реального времени, а цифровой фотоаппарат в файловом режиме. Преимущество цифрового стереофотоаппарата перед парой отдельных камер состоит в минимизации временного межкадрового рассогласования в стереопарах, что существенно повысило достоверность проведённых экспериментов. В обоих случаях входные данные со съёмочного оборудования передавались моделям сравниваемых видеокодеков в чистом виде, то есть при отсутствии каких-либо механизмов предварительного кодирования, что также существенно повысило достоверность результатов сравнительного анализа. Кроме того, проводились также эксперименты с применением в моделях видеокодеков алгоритмов полного и укороченного поиска макроблочных прогнозов, таких как «алгоритм полного перебора», «алгоритм поиска в три шага» и «алгоритм поиска по ближайшим соседям».
Табличные экспериментальные данные сравнительного анализа моделей видеокодеков показаны в таблице (таблица 4) и характеризуют абсолютные численные значения параметров эффективности работы видеокодеков.
Ошибка качества изображения,определяемая как среднее абсолютноеотклонение сигналов кодируемого идекодированного видеопотоков изчислового диапазона [0..255],накопленная модельюстереовидеокодека на базе способа,Е, отн. ед. яркости 5,21/5,23 5,25/5,28 Таблица сравнительного анализа моделей видеокодеков (таблица 5) отражает численно результаты сравнительного анализа применительно к областям моновидеокодирования и стереовидеокодирования c обозначениями моделей: 1-аналогичная; 2-разработанная; и с выделением опорных единиц видеопотока.
Указанные данные сравнительного анализа достоверно отражают наличие причинно-следственной связи между совокупностью существенных отличительных признаков разработанных способов компенсации движения и достигнутым техническим результатом, определяющим уровень качества решения поставленных цели и задач исследования. При проведении экспериментов сравнительного анализа моделей видеокодеков чередовались и сочетались в различных вариантах временные режимы работы видеокодеков, компоненты использованного съёмочного оборудования, а также виды поисковых алгоритмов компенсации движения.
Согласно усреднённым экспериментальным данным, разработанные улучшенные модели увеличили пропускную кадровую способность моновидеокодеков на 10-20%, а стереовидеокодеков на 5-10%, при незначительных снижениях кадровых кодов и качества декодируемых изображений в обоих случаях примерно на 1-2%.
Данная глава посвящена сравнительному анализу моделей видеокодеков на базах существующих аналогичных и улучшенных разработанных способов компенсации движения в цифровых динамических видеоизображениях применительно к областям моновидеокодирования и стереовидеокодирования. По результатам проведённых исследований можно сделать следующие выводы: 1. Проведено более 200 экспериментов сравнительного анализа моделей видеокодеков на основах аналогичных и разработанных способов компенсации движения в цифровых динамических видеоизображениях; 2. Применён многокритериальный подход к оценке качества работы сравниваемых моделей видеокодеков при использовании объективных критериев эффективности их функционирования; 3. Установлено, что разработанные способы компенсации движения увеличили пропускную кадровую способность моновидеокодеков на 10-20%, а стереовидеокодеков на 5-10%, при незначительных снижениях показателей объёмов кадровых кодов и качества декодируемых изображений в обоих случаях примерно на 1-2%.