Введение к работе
Актуальность темы
Наблюдаемая тенденция непрерывного и интенсивного роста объемов генерируемой и обрабатываемой информации диктует необходимость организации ее долгосрочного хранения. Для осуществления указанной задачи применяются различные устройства хранения данных (УХД). К основным требованиям к хранилищам данных относятся объем, пригодный для размещения пользовательских данных, доступность данных и надежность их хранения.
Объективное наращивание востребованного для хранения данных объема, а также повышение их доступности для конечного пользователя достигается путем объединения отдельных информационных накопителей в системы хранения данных (СХД) и, в частности, распределенные систем хранения данных (РСХД). Для обеспечения гарантированной надежности процедуры хранения, наряду с развитием новых технологий построения накопителей, в СХД применяются различные методы избыточного хранения, которые все чаще базируются на механизмах избыточного кодирования. Наиболее широкое применение нашли системы, основанные на использование кодов с повторением, кодов с простой проверкой на четность и кодов с максимальным кодовым расстоянием.
Для оценки надежности УХД используются такие метрики как: интенсивность отказов УХД, среднее время наработки на отказ и связанная с ними вероятность отказа. Показателем надежности СХД является вероятность утраты данных, вычисляемая на базе метрик надежности УХД, входящих в систему.
В условиях непрерывного роста масштабов СХД остро встает вопрос транспортировки больших информационных массивов, расположенных в хранилищах, разнесенных топологически. Подобная необходимость возникает в случаях частичного повреждения или полной утраты целых УХД, с последующим восстановлением их содержимого в памяти новоприбывших накопителей. Наибольшую актуальность данная проблема приобретает в РСХД, со значительным разнесением узлов.
Становится ясным, что применение традиционных подходов к организации избыточности для СХД и особенно для РСХД, в совокупных условиях роста объемов данных и загруженности транспортной сети, теряют свою эффективность. В связи с этим актуализируется проблема поиска и применение новых подходов к задаче вычисления и распределения избыточности, позволяющих осуществлять надежное восстановление утраченных фрагментов массивов данных, сопряженное с уменьшением объемов передаваемых данных.
Степень разработанности темы исследования
Методы регенерационного кодирования, применяемого в целях снижения нагрузки на сеть хранения данных, разрабатывались Alexandros G. Dimakis, Kannan R. В работах эти авторов описаны концептуальные основы построения регенерационных кодов. Вместе с этим описанные решения базируются на
применении кодов Рида-Соломона (РС) со сложными схемами перемежения между кодовыми словами, что повышает сложность реализации СХД.
Задачи локального декодирования кодов решались Сергеем Еханиным, Parikshit Gopalan, Cheng Huang, Uuseyin Simitci. Авторами описывались основные подходы к осуществлению построения локально-декодируемых кодов для систем РСХД.
Вопросы надежности РСХД решались Рахманом П.А., Иваничкиной Л.В., Непорада А.П., Kevin M, James S. Plank, Jay J. Wyle, K.Gopinath. В работах этих авторов описаны методы определения вероятностей отказов УХД, входящих в состав СХД, и полной утраты размещенного в СХД информационного массива. Недостатком описанных подходов является использование замкнутых цепей Маркова, не позволяющих прогнозировать состояния структурных элементов в системах с динамически изменяемыми интенсивностями отказов УХД.
Цель работы: исследование систем хранения данных с гарантированной надежностью, позволяющих оптимизировать их в смысле снижения внутрисетевой нагрузки восстановления содержимого утраченных накопителей на базе аппарата помехоустойчивого кодирования.
Для достижения поставленной цели в диссертационной работе решаются
основные задачи:
1. Выполняется анализ существующих подходов к организации СХД,
базирующихся на методах помехоустойчивого кодирования, выявляются их
достоинства и недостатки.
2. Разрабатывается аналитическая модель надежности СХД,
функционирующих в условиях отказов отдельных накопителей и их замены
накопителями с трансформацией общих показателей надежности системы.
3. Разрабатывается способ регенерационного кодирования, основанного
на применении произведения кодов с простой проверкой четности,
позволяющий осуществлять эффективное снижение объемов внутрисетевого
трафика в процедуре восстановления содержимого утраченных хранилищ.
4. Разрабатываются и исследуются способы организации хранения
данных и их восстановления на основе применения локально декодируемых
кодов, организованных как произведение кодов заданной размерности на базе
простой проверки на четность, позволяющие снизить внутрисетевую нагрузку
путем локализации УХД, участвующих в процедуре реконструкции.
5. Предлагается и исследуется новый способ квазилокального
декодирования недвоичных кодов с максимальным расстоянием,
оптимизирующий нагрузку восстановления за счет участия в реконструкции
топологически ближайших хранилищ СХД и применения аппарата
перестановочного декодирования.
Объект исследования: системы хранения данных, включая распределенные системы их хранения.
Предмет исследования: системы хранения данных и методы их восстановления с использованием аппарата избыточных кодов.
Результат исследования соответствует пункту 2, 3, 9 и 12 паспорта научной специальности 05.12.13 – Системы, сети и устройства телекоммуникаций.
Основные положения диссертации, выносимые на защиту
1. Аналитическая модель оценки надежности СХД, учитывающая
изменения показателей надежности СХД в условиях замены утраченных
накопителей новыми.
2. Способ организации регенерационного кодирования кодов-
произведений с простой проверкой на четность со смещением,
предполагающий снижение нижней границы внутрисетевой нагрузки,
генерируемой при восстановлении содержимого утраченного хранилища.
-
Аналитическая модель оценки вероятности утраты данных в СХД на базе многомерных произведений кодов с проверкой на четность, учитывающая вероятностные характеристики возникновения замкнутых циклов в проверочном соотношении.
-
Способ организации локально-декодируемого кода, основанный на использовании многомерных произведений кодов с проверкой на четность, предполагающий адаптивный подход к процедуре кодирования-декодирования в целях оптимизации СХД.
-
Метод квазилокального декодирования МДР-кодов с использованием аппарата перестановочного декодирования, предполагающий учет топологического расположения накопителей в сети СХД.
Научная новизна диссертационного исследования
1. Предложена аналитическая модель оценки показателей надежности
СХД, позволяющая осуществлять моделирование функционирования СХД в
условиях динамического изменения показателей надежности отдельных УХД,
отличающаяся применением незамкнутых цепей Маркова.
2. Описан новый метод регенерационного кодирования данных,
основанный на применении произведения кодов с простой проверкой на
четность, позволяющий снизить нагрузку на сеть передачи данных в ходе
восстановления содержимого утраченного хранилища, отличающийся тем, что
все операции осуществляются над конечными полями Галуа порядка два, что
снижает сложность реализации кодеков.
3. Получен новый метод организации локально декодируемого кода на
базе кода-произведения с простой проверкой на четность произвольной
размерности, позволяющий локализовать группу УХД, участвующих в
восстановлении содержимого утраченного накопителя, отличающийся
устойчивостью к возникновению критического числа выходов из строя
накопителей, не образующих замкнутые циклы в структуре кодового слова.
4. Описан новый подход к осуществлению квазилокального
декодирования максимально декодируемых кодов, позволяющий снизить
нагрузку на сеть передачи данных, отличающийся от существующих аналогов
применением процедуры перестановочного декодирования символов.
Теоретическая и практическая значимость работы
Представленные в диссертационной работе методы могут быть применены для восстановления целостности массива данных, в условиях возникновения одиночных или групповых событий выходов из строя УХД, входящих в состав СХД. Важной особенностью предложенных методов является возможность восстановления содержимого утраченных узлов с минимизаций нагрузки на сеть передачи данных. Разработанные подходы являются гибкими для масштабирования СХД, и могут обеспечивать требуемое соотношение надежности системы, объема избыточности и объема трафика.
Достоверность и обоснованность научных результатов работы определяется корректностью используемого математического аппарата, основанного на методах теории вероятностей и математической статистики, теории надежности, теории оценивания, алгебраической теории групп, колец и полей. Аналитическое и имитационное моделирование проводилось с использованием языков программирования высокого уровня лицензионных версий Mathcad.
Внедрение результатов работы
Результаты исследования внедрены в организации ФНПЦ АО «НПО «Марс» г. Ульяновск при выполнении НИР «Разработка комплексных методов оценки динамически изменяющихся параметров корабельной компьютерной сети и алгоритма работы коммутатора Ethernet» Шифр – «СЕТЬ -1Е УлГТУ» завершенной в 2016 году и составной части ОКР «Создание телекоммуникационной сети ИСБУ» Шифр – «УлГТУ – ТКС», проведенной ФНПЦ АО «НПО «Марс»» совместно с Ульяновским государственным техническим университетом и завершенной в 2017 году, а также в учебный процесс УлГТУ, что подтверждается соответствующими актами.
Личный вклад
Все выносимые на защиту научные результаты получены соискателем лично. Автор принимал непосредственное участие в планировании и проведении работ, обработке и анализе полученных результатов, подготовке публикаций. Сотрудники, работавшие совместно с автором по научным направлениям, имеющим отношение к теме диссертации, поименно представлены в качестве соавторов публикаций.
Апробация работы
Результаты диссертации докладывались и обсуждались на следующих конференциях: Научная сессия РНТОРЭС им. Попова, посвященная Дню Радио, г. Москва (2013, 2014); Международная конференция «Цифровая обработка сигналов и ее применение» – DSPA, г. Москва (2014, 2015); Международная научно-техническая конференция «Радиолокация, навигация, связь» – RLNC, г. Воронеж (2013, 2014, 2016, 2017); Международная научно-техническая конференция «Проблемы техники и технологий
телекоммуникаций» – ПТиТТ, г. Казань (2014, 2017); Международная научно-техническая конференция «Проблемы техники и технологий телекоммуникаций» – ПТиТТ, г. Самара (2016); Всероссийская научно-практическая конференция «Современные проблемы создания и эксплуатации радиотехнических систем», г. Ульяновск (2014, 2015, 2017).
Публикации
По теме диссертации опубликованы двадцать две работы, шесть из которых в изданиях, рекомендованных ВАК Минобрнауки России. Получен один патент на изобретение. Опубликована одна монография. Восемь работ в материалах и трудах Международных и Всероссийских конференций.
Структура и объем диссертации
Диссертация состоит из введения, четырех глав, заключения, списка литературы и одного приложения. Работа изложена на 125 страницах машинного текста, содержащих 40 рисунков и 4 таблицы. Список использованных источников составляет 89 наименований.