Введение к работе
Актуальность работы. Существенное увеличение объемов
информации является отличительной чертой современного мира. При работе таких установок как Европейский рентгеновский лазер на свободных электронах XFEL, Большой адронный коллайдер, коллайдер НИКА и других научных систем уже получены сотни петабайт экспериментальных данных в области физики элементарных частиц, биоинформатики, геофизики и др., причем объемы получаемых данных будут расти и скоро достигнут экзабайтной отметки. Вся полученная в ходе экспериментов информация должна быть доступна всем членам научных коллабораций и коллективов компаний, где участники коллективов почти всегда географически распределены. В этой ситуации задача надежного хранения и управления данными становится фундаментальной и отсутствие ее адекватного решения приводит к экономическим и функциональным потерям.
В основе всех облачных служб, продуктов и решений лежат программные средства, которые по функциональности можно разделить на три типа: средства для обработки данных и выполнения приложений, для перемещения данных и для их хранения.
Облачными вычислениями принято считать способ обработки данных с использованием аппаратных и программных ресурсов, которые представлены в виртуализованном виде, загружаются динамически и не имеют ограничений по масштабированию, а также предоставление пользователю компьютерных ресурсов и мощностей в виде сетевого сервиса.
В целях повышения надежности обработки и хранения данных
целесообразно применять схемы распределенного хранения данных,
основанные на принципах модулярной арифметики. Одним из
перспективных направлений модулярной арифметики является разработка математических методов для хранения и обработки данных большой разрядности с высокой надежностью в облачной среде. Основным инструментом повышения показателей надежности является введение регулируемой избыточности в систему. Недостаточно рассмотрены вопросы построения надежных схем хранения и обработки данных большой размерности с достоверностью и постоянной доступностью.
Значительный научный вклад в теорию и практику облачных и
параллельных вычислений внесли отечественные и зарубежные
исследователи: И.Я. Акушский, Д.И. Юдицкий, В.М. Амербаев,
В.В. Воеводин, Вл.В. Воеводин, Н.И. Червяков, И.А. Калмыков,
О.А. Финько, G. Alonso, R. Buyya, Ji. Chen, A. Chervenak, C. Gentry, B. Parhami, A. Omondi, A. Premkumar, P. Paillier, A. Tchernykh, L. Yang, D. Zhang и другие.
С целью удовлетворения требований надежности и доступности, предъявленных к хранимым и обрабатываемым данным, в работе применена новая архитектура облачной системы надежного и отказоустойчивого хранения данных на основе системы остаточных классов (СОК).
Совместное применение СОК и схем распределения данных позволяет
создать новую схему хранения, распределения и обработки данных в
облаках, обладающую высокой надежностью, достоверностью и
обеспечивающую постоянную доступность информации.
Исходя из вышеизложенного, разработка математических методов моделирования, хранения и обработки данных большой разрядности в облачной среде с регулируемой избыточностью и высокой достоверностью является актуальной научно-исследовательской задачей.
Цель диссертационного исследования – повышение
отказоустойчивости и надежности схем обработки и хранения данных в облачных сервисах с регулируемой избыточностью.
Объект исследования – облачные инфраструктуры хранения данных.
Предмет исследования – математические модели, методы и алгоритмы хранения и обработки данных в облачных хранилищах.
Научная задача – разработка новых математических методов и моделей обработки и хранения данных большой разрядности в облачных хранилищах с регулируемой избыточностью.
Для решения поставленной общей научной задачи была произведена ее декомпозиция на ряд частных задач:
-
Аналитический обзор современных облачных хранилищ данных большой разрядности;
-
Разработка математической модели, методов и алгоритмов системы надежного, длительного хранения данных большой разрядности в мультиоблачной среде на базе системы остаточных классов с регулируемой избыточностью;
-
Разработка математической модели синтеза и анализа многоуровневых облачных систем хранения данных следующего поколения;
-
Модификация численного метода Червякова для перевода чисел из системы остаточных классов в позиционную систему счисления за счет использования ранга числа Акушского;
-
Разработка среды моделирования распределенного длительного хранения данных большой разрядности в облачной среде;
Методы исследования базируются на использовании математического аппарата высшей алгебры, теории чисел, теории алгоритмов, численных методов, теории вероятности, теории надежности, математическом моделировании, системном анализе, имитационном моделировании.
На защиту выносятся следующие научные результаты:
-
Математическая модель системы надежного и длительного хранения данных в мультиоблачной среде.
-
Методы и алгоритмы надежного и длительного хранения данных в мультиоблачной среде на базе системы остаточных классов с регулируемой избыточностью.
-
Математическая модель синтеза и анализа многоуровневых облачных систем хранения данных следующего поколения.
-
Численный метод вычисления ранга числа для эффективного перевода чисел из системы остаточных классов в позиционную систему счисления.
-
Комплекс программ моделирования системы обработки и хранения данных большой разрядности с высокой надежностью и регулируемой избыточностью.
Научная новизна:
-
Разработаны модели, методы и алгоритмы надежного и длительного хранения данных в мультиоблачной среде на базе системы остаточных классов с регулируемой избыточностью.
-
Разработана математическая модель синтеза и анализа многоуровневых облачных систем хранения данных следующего поколения
-
На основе разработанных моделей предложен новый численный метод вычисления ранга числа для эффективного перевода чисел из системы остаточных классов в позиционную систему счисления.
-
Комплекс программ моделирования системы обработки и хранения данных большой разрядности с высокой надежностью и регулируемой избыточностью.
Достоверность результатов обеспечивается корректным и
обоснованным применением методов математического моделирования и строгостью приводимых математических доказательств. Справедливость выводов относительно эффективности предложенных моделей и методов подтверждена математическим моделированием на базе разработанной модели надежного хранения данных в облачной среде.
Практическая ценность результатов состоит в возможности реализации системы надежного распределенного хранения данных, основанной на СОК на базе разработанных методов, что способствует снижению избыточности и уменьшению затрат на содержание. Разработан универсальный метод выполнения операций в СОК, позволяющий расширить возможности использования системы остаточных классов при проектировании систем хранения данных. Разработанные программные продукты и аппаратные решения, зарегистрированные в соответствующем порядке, способствуют оптимизации эксплуатационных возможностей облачных вычислений.
Внедрение. Результаты диссертационного исследования используются в учебном процессе в СКФУ на кафедре прикладной математики и математического моделирования в дисциплинах «Приложения системы остаточных классов в информационных технологиях» и «Основы модулярной арифметики», что подтверждено Актом об использовании результатов работы в учебном процессе от 17.05.2018. Основные научные результаты использованы в опытно-конструкторских ООО «Инфоком-С» при выполнении договора на выполнение прикладных научных исследований и экспериментальных разработок №1909/16 по теме «Разработка средств высокоскоростной обработки данных информационных сенсоров в системах ситуационного управления» (Акт №101 от 04.10.2018). Кроме того, ряд
результатов работы был использован при выполнении научно-
исследовательских работ в базовой части государственного задания СКФУ №2.6035.2017/БЧ «Разработка математических моделей и методов снижения энергопотребления в системах мобильной связи на основе системы остаточных классов».
Апробация работы. Основные результаты работы были представлены
на «II International Conference Engineering & Telecommunication – En&T 2015»
(г. Москва, Россия, 2015 г.), Proceedings of the First International Scientific
Conference «Intelligent Information Technologies for Industry (IITI'16)» (г.
Ростов-на-Дону – г. Сочи, Россия, 2016 г.), XVII International School-Seminar
«Optimization Methods and their Applications», (г. Иркутск, Россия, 2017 г.)
«Information Technology and Systems 2015 (ITIS 2015)» (г. Сочи, Россия, 2015
г.), «53-я Международной научной студенческой конференции МНСК-2015:
Информационные технологии» (г. Новосибирск, Россия, 2015 г.),
Международной научно-технической конференции «Современные
технологии в нефтегазовом деле – 2015» (г. Уфа, Россия, 2015 г.), «International Conference on High Performance Computing & Simulation (HPCS 2018)» (г. Орлеан, Франция), «1st International Workshop on Uncertainty in Cloud Computing, in conjunction with 28th International Conference on Database and Expert Systems Applications (DEXA'17)IEEE» (г. Лион, Франция, 2017 г.), Tomsk IEEE Chapter & Student Branch of The Institute of Electrical and Electronics Engineers «International Siberian Conference on Control and Communications SIBCON-2017» (г. Астана, Казахстан, 2017 г.), «ISUM 2017 – 8th International Supercomputing Conference in Mexico» (г. Гвадалахара, Мексика, 2017 г.), «ISUM 2016 – 7th International Supercomputing Conference in Mexico» (г. Пуэбло, Мексика, 2016 г.), «6th International Conference, ICSI 2015 held in conjunction with the Second BRICS Congress (CCI 2015)» (г. Пекин, Китай, 2015 г.).
Публикации по теме диссертации. По материалам диссертационного исследования опубликовано 25 научных работ, в том числе 5 в рецензируемых научных изданиях, рекомендованных ВАК при Минобрнауки России, 6 работ в изданиях, входящих в базы международного цитирования Web of Science и Scopus.
Личный вклад соискателя. Все изложенные в работе результаты исследований получены при непосредственном участии автора. Авторским вкладом являются разработка методов, моделей и алгоритмов хранения данных в облачной среде, разработка численного методов вычисления ранга числа в системе остаточных классов, разработка программного комплекса моделирования надежного хранения данных в облачной среде, основанной на системе остаточных классов.
Структура диссертации. Диссертационная работа состоит из введения, четырёх глав, заключения, приложений, списка сокращений и обозначений, а также списка использованной литературы, содержащего 118 наименований.