Введение к работе
Актуальность работы
Стандарт H.264/AVC (англ. Advanced Video Coding) широко используется для многих приложений, в том числе для передачи телевизионных сигналов высокой четкости (HD) по спутниковым, кабельным и наземным системам передачи, системам сбора и редактирования видео контента, видеокамерам, приложениям для обеспечения безопасности, интернет и мобильным видео, а также в системах реального времени, например, в видеочатах, видеоконференциях и системах телеприсутствия. Однако растущее разнообразие услуг, растущая популярность HD-видео и появление вне HD-форматов (например, разрешение 4k 2k или 8k 4k) создают еще более сильные потребности в эффективности кодирования, превосходящем H.264/AVC. Эта потребность еще сильнее, когда более высокое разрешение сопровождается стереофоническим или многопользовательским захватом и отображением.
Высокоэффективное кодирование видеоизображений H.265/HEVC (англ. High Efficiency Video Coding) – это новейший стандарт кодирования видео. Он бросает вызов стандарту H.264/AVC, поскольку он способен снизить скорость передачи данных на 50%, сохраняя при этом одинаковое качество видео.
H.265/HEVC предназначен для решения существующих задач H.264/AVC и сосредоточен на двух ключевых проблемах: увеличении разрешения видео и увеличении использования архитектур параллельной обработки.
Существенное повышение степени сжатия видеоданных в рамках стандарта H.265/HEVC достигается за счёт расширения возможностей методов и алгоритмов кодирования видеоданных. Такое расширение тоже является причиной повышения вычислительной сложности процесса кодирования. Так же недостатками стандартного кодека является использование одноступенчатых алгоритмов устранения временной и пространственной избыточности, интерполяции восстановленного изображения и энтропийного кодирования выходной последовательности.
В данной диссертационной работе была исследована эффективность работы одноступенчатых и многоступенчатых адаптивных алгоритмов устранения временной, пространственной, статистической избыточностей, также интерполяционного метода восстановления кадров.
Степень теоретической разработанности темы. Наибольший вклад в развите теории сжатия видеоданных внесли Ватолин Д., Фахми Ш.С., Сэломон Д., Гонсалес Р., Ричардсон Я. и многие другие видные ученые, специалисты. Над этой теорией работают и вьетнамские ученые Чан Суан Ту, Фан Хай Фонг.
Объект исследования – мультимедийные данные.
Предмет исследования – методы и алгоритмы обработки и сжатия видеоданных в современных видеокодеках.
Целью работы является создание в рамках стандарта H.265/HEVC новых методов сокращения избыточности (временной – на этапе оценки движения, пространственной на этапе кодирования опорных видеокадров, статистической – на этапе энтропийного кодирования) и метода повышения качества восстановленного изображения.
Задачи исследования
В рамках диссертационного исследования решались следующие задачи:
-
Исследование эффективности алгоритмов сопоставления блоков для оценки движения при межкадровом кодировании видеоданных.
-
Разработка методов повышения эффективности существующих алгоритмов сжатия, использующих иерархический подход.
-
Исследование методов и алгоритмов интерполяции для субпиксельной оценки движения.
-
Разработка метода кодирования опорных видеокадров внутрикадровым предсказанием на основе трехэтапной схемы.
-
Исследование методов энтропийного кодирования бинарных последовательностей в современных видеостандартах.
-
Разработка методов повышения эффективности существующих алгоритмов кодирования бинарных последовательностей, использующих метод иерархического нумерационного кодирования.
-
Построение модели кодека и программная реализация алгоритмов сжатия на основе предложенных подходов.
Методы исследования
В работе, проведенные исследования основаны на ряде теоретических и практических методов. В рамках теоретической части, исследования базировались на методах теории информации (RD-теория, метрика Бьёнтегарда и устранения избыточности данных), цифровой обработки сигналов и теории интерполяции, а также методы теории вероятностей. В рамках практического исследования была проведена программная реализация алгоритмов сжатия с последующим сравнением реализованных алгоритмов с существующими. Экспериментальные методы основывались на моделировании и реализации алгоритмов в средах Matlab и Visual C++.
Достоверность и обоснованность результатов исследования подтверждается их сопоставимостью с существующими опубликованными материалами, а также внедрением полученных результатов.
На защиту выносятся следующие положения:
-
Для снижения временной избыточности предлагается использовать метод на основе быстрого алгоритма построения траектории движущихся объектов на основе поиска по тестовой зоне (FTZS – Fast Test Zone Search).
-
Для сокращения искажений и устранения блокинг-эффекта предлагается применить метод субпиксельной оценки движения на основе интерполяционного метода (метод суперразрешения).
-
Для сокращения пространственной избыточности предлагается использовать быстрый алгоритм кодирования опорных видеокадров с внутрикадровым предсказанием на основе трехэтапной схемы.
-
Для дальнейшего снижения объема выходных данных и устранения статистической избыточности предлагается использовать метод на основе алгоритма нумерационного кодирования с использованием иерархического подхода
Научная новизна работы
Для устранения недостатков H.265/HEVC в рамках стандартной модели видеокодека предлагается усовершенствовать методы, отвечающие за ключевые моменты при сжатии (устранение пространственной и временной избыточности, энтропийное кодирование) с использованием указанных многоступенчатых адаптивных алгоритмов.
Теоретическая значимость состоит в том, что разработаны алгоритмы для межкадрового, внутрикадрового и энтропийного кодирования на основе стандартного подхода H.265/HEVC, а также предложена схема видеокодека, реализующая эти алгоритмы для повышения степени сжатия и уменьшения объема выходного потока данных.
Практическая ценность результатов работы заключается в следующем:
-
Предложенная схема видеокодека обеспечивает более высокий коэффициент сжатия и уменьшение вычислительных затрат при незначительной потере уровня качества восстановленной видеопоследовательности.
-
Разработанные алгоритмы не требуют значительного изменения стандартной схемы видеокодека H.265/HEVC что упрощает их реализацию.
-
Разработаны программно-алгоритмические средства, реализующие предложенную модель видеокодека, обеспечивающие кодирование и декодирование видеопоследовательностей с возможностью изменения параметров кодирования.
Внедрение результатов работы
Основные результаты работы внедрены в учебном процессе на кафедре ВТ НИУ ИТМО и проведенных в НИУ ИТМО НИР №718574 «Методы, модели и технологии искусственного интеллекта в биоинформатике, социальных медиа, киберфизических, биометрических и речевых системах» международной лаборатории «компьютерные технологии». Исследования выполнены при государственной поддержке ведущих университетов Российской Федерации (субсидия 08-08).
Апробация результатов работы
Результаты выполненных исследований были представлены на конференциях:
2-й Международной мультидисциплинарной научно-практической конференции, Москва (2015 г.).
14-й Международной конференции "Телевидение: Передача и обработка изображений" Университета ЛЭТИ (2017 г.).
6-й и 7-й Международных конференциях по анализу изображений, социальных сетей и текстов (АИСТ`2017 и АИСТ`2018), Москва (2017 г. 2018 г.).
V Научно-практическая конференция с международным участием «Наука настоящего и будущего» Университета ЛЭТИ (2017 г.).
I Всероссийской научной конференции «Информационные технологии в моделировании и управлении: подходы, методы, решения» Тольяттинского государственного университета (2017 г.).
IV, V, VI, VII Всероссийских конгрессах молодых ученых (2015-2018 г.).
XLIV и XLVII Научной и учебно-методической конференции НИУ ИТМО (2015 г. и 2018 г.).
Публикации
Основные результаты диссертационного исследования опубликованы в 23-х научных публикациях: 6 статьей в изданиях из перечня ВАК, в т.ч. 1 из перечня Scopus; 2 – в изданиях из перечня Web of Science или Scopus; 1 охранный документ на результат интеллектуальной деятельности № 2018617191 от 20.06.2018 (Программа для ЭВМ); 11 – в материалах конференций и сборниках тезисов докладов и 3 в других изданиях.
Личный вклад
Основные результаты, представленные в диссертации, получены лично автором. Постановка экспериментов делалась совместно с научным руководителем. В большинстве статьей постановка задач, редактирование текстов, постановка
экспериментов делались совместно с научным руководителем, а эксперименты, их обработка и интерпретация выполнены автором. В одной статье соавтор Тропченко А.Ю. обеспечивал проведение экспертных оценок точности и полноты извлечения терминов.
Структура и объем работы
Диссертация состоит из списка сокращений и условных обозначений, введения, пяти разделов, заключения, списка литературы и двух приложений. Основной объем диссертации составляет 123 страницы с 50 рисунками и 20 таблицами. Объем двух приложений - 37 страниц. Список литературы содержит 115 библиографических наименований.