Содержание к диссертации
Введение
Глава 1. Защищенные вычислительные системы, принципы построения, безопасность функционирования и средства обеспечения функционально - информационной безопасности 11
1.1. Защищенные многопроцессорные вычислительных систем 17
1.2. 3ащищенные Многомашинные вычислительные комплексы 19
2. Анализ способов организации обмена 23
2.1. Многомашинные вычислительные комплексы с общей магистралью межмашинного обмена 23
2.2. Двухмашинные вычислительные комплексы (ДВК) 29
2.2.1. Временные характеристики ДВК 30
2.2.2. Remote Direct Memory Access (дистанционный ПДП) 39
Выводы 43
Глава 2. Организация средств обмена и обеспечения функционально - информационной безопасности на основе межмашинного прямого доступа 44
2.1. Использование прямого доступа к памяти для организации обмена данными 45
2.2. Двойной (межмашинный) прямой доступ к памяти 51
2.2.1. Алгоритм межмашинного (двойного) ПДП для организации обмена в ДВК 51
2.2.2. Временные характеристики межмашинного (двойного) ПДП 55
2.3. Варианты организации вычислительных комплексов , 57
2.3.1.Алгоритм работы ДВК с организацией обмена между вычислительными модулями посредством межмашинного ПДП 61
2.4. Исследование вариантов организации взаимосвязи ВМ в отказоустойчивых вычислительных комплексах
2.5. Эффективность межмашинного обмена в дублированных вычислительных комплексах при различных способах организации обмена 76
Выводы 82
Глава 3. Модель надежности и функционально - информационной безопасности резервированных вычислительных комплексов с реализацией межмашинного прямого доступа 83
3.1. Марковская модель надежности резервированных вычислительных комплексов с межмашинным (двойным) прямым доступом к памяти 83
3.2. Надежность и безопасность резервированного вычислительного комплекса при ограниченном восстановлении 92
3.3. Модели определения вероятностей опасных и безопасных состояний надежности с учетом ограничений восстановления
с учетом требований функционально-информационной безопасности 95
Выводы 102
Глава 4. Организация средств обмена и защиты на основе межмашинного прямого доступа через общую магистраль 104
4.1. Алгоритм межмашинного (двойного) ПДП для организации обмена ММВК с шинной структурой 104
4.2. Архитектура резервированных вычислительных систем с обеспечением устойчивого функционирования и сохранности данных на основе программных методов межканального контроля 109
Выводы 115
Основные результаты диссертационной работы 116
ПРИЛОЖЕНИЕ А. Варианты реализации средств поддержки функционально - информационной безопасности на основе межмашинного прямого доступа 118
А. 1. Средства реконфигурации структуры 119
АЛЛ. Многоканальное устройство для реконфигурации системы 125
А Л .2. Устройство переключения и управления реконфигурацией 127
А.2. Устройства сопряжения (УС) 131
А.З. Устройства (модули) сопряжения с внешними объектами (УСО)...139
А.4. Устройства (модули) сопряжения с магистралью (УСМ) 141
А.5. Аппаратные технические решения обеспечения отказоустойчивости резервированных вычислительны комплекс 141
А.5.1. Устройство переключения резерва 141
А.5.2. Устройства (модули) реконфигурации (УР) 143
А.5.3. Резервированная вычислительная система с реконфигурацией структуры 146
Список литературы
- 3ащищенные Многомашинные вычислительные комплексы
- Remote Direct Memory Access (дистанционный ПДП)
- Временные характеристики межмашинного (двойного) ПДП
- Архитектура резервированных вычислительных систем с обеспечением устойчивого функционирования и сохранности данных на основе программных методов межканального контроля
Введение к работе
Высокая надежность, устойчивость, функциональная и информационная безопасность систем критического применения, достигается при резервировании основных подсистем и комплектации системы средствами защиты от злонамеренных и случайных внешних и внутренних воздействий, потенциально вызывающих отказы, снижение устойчивости функционирования, нарушения целостности и доступности данных.
Повышение функциональной и информационной безопасности систем достигается при минимизации вероятности и последствий возникновения опасных состояний, возникающих в результате отказов, сбоев или внешних злонамеренных или случайных (непредумышленные) дестабилизирующих воздействий.
Обеспечение функционатьной безопасности в значительной мере определяется информационной безопасностью, и прежде всего, связано с минимизацией риска потери данных при отказах системы, вызванных внешними или внутренними причинами, в том числе в результате злонамереїшьіх воздействий.
Эффективность средств защиты от внешних и внутренних воздействий, вызывающих нарушение целостности информации и отказы резервированных вычислительных комплексов, во многом определяется организацией средств комплексирования, которые должны обеспечить высокоскоростной доступ к памяти, хранящей важные для вычислительного процесса данные и результаты вычислений. Высокоскоростной доступ к ресурсам вычислительных комплексов, позволяет ускорить контроль и обнаружение опасных состояний, минимизировать их вероятности и увеличить эффективность процесса снижения риска при компенсации ошибочного функционирования вычислительного процесса, потери доступности и целостности данных.
Взаимозависимость и взаимосвязь задач противодействия угрозам нарушения информационной и функциональной безопасности, обеспечения устойчивости информационных систем требует интеграции всей совокупности средств защиты системы от внешних и внутренних угроз функционированию системы.
Таким образом, на современном этапе развития информационіплх технологий создание средств обеспечивающих устойчивое функционирование вычислительных систем, сокращение риска и последствий потери информации, после случайных или злонамеренных дестабилизирующих воздействий, является актуальной задачей.
ОБЪЕКТ ИССЛЕДОВАНИЯ - защищенные вычислительные информационно управляющие резервированные системы критического (ответственного) назначения.
ПРЕДМЕТОМ ИССЛЕДОВАНИЯ являются модели, методы и средства обеспечения фушщионально-информациошгой безопасности резервированных вычислительных систем на основе межмашинного прямого доступа.
защищенные отказоустойчивые вычислительные системы и узлы (модули) для их построения;
организация защищенного устойчивого вычислительного процесса в резервированных вычислителыплх системах, включая межмашинный обмен для поддержки их безопасности.
ЦЕЛЬЮ РАБОТЫ является разработка и исследование методов и средств обеспечения функционально-информационной безопасности резервированных вычислительных систем на основе межмашинного прямого доступа.
разработка структур, протоколов и алгоритмов функционирования средств защиты, обеспечивающих высокоскоростной доступ к ресурсам вычислительных устройств, в том числе и с отказавшим процессором с целью минимизации нахождения системы в опасных состояниях;
разработка алгоритмов и средств взаимосвязи узлов защищенных вычислительных систем на основе межмашинного прямого доступа к памяти (межмашинного ПДП);
разработка набора модулей (узлов) для построения средств зашиты отказоустойчивых резервированных вычислительных систем, с обеспечением высокоскоростного доступа к ресурсам вычислительных устройств, в том числе после отказа их процессора;
построение моделей оценки информационно - функциональной безопасности, надежности и производительности защищенных устойчивых резервированных систем, с обеспечением высокоскоростного доступа к внутренним ресурсам, вычислительных систем;
исследование эффективности защищенных систем, с реализацией взаимосвязи между резервированными узлами на основе межмашинного (двойного) ПДП.
МЕТОДЫ ИССЛЕДОВАНИЯ Используются методы теорий массового обслуживания, надежности, оптимизации, Марковских процессов и рисков.
В диссертационной работе предложены модели, методы и средства обеспечения функционально-информационной безопасности резервированных вычислительных систем на основе межмашинного прямого доступа к внутренним ресурсам резервированных устройств, при этом:
-
Предложен метод и организация межмашинного прямого доступа к памяти, позволяющие сократить время межмашинного обмена информацией и обеспечить высокоскоростной доступ к памяти и другим ресурсам резервированных вычислительных устройств, в том числе, в случае отказов процессоров резервированных устройств, что потенциально позволяет повысить устойчивость системы (доступность и возможность восстановления данных ) к воздействию деструктивных факторов.
-
Предложена организация средств обеспечения информационно-функциональной безопасности, надежности, целостности и доступности данных в резервированных вычислительных комплексах на основе межмашинного ПДП, позволяющего повысить устойчивость функционирования резервированных комплексов путем создания работоспособных конфигураций с использованием сохраненных после деструктивных воздействий (отказов) ресурсов и результатов вычислений.
-
Предложена организация резервированных (в том числе дублированных) вычислительных комплексов с реализацией высокоскоростного межмашинного ПДП;
-
Предложены аналитические модели безопасности и надежности отказоустойчивых вычислительных комплексов на основе межмашинного ПДП, - определена область эффективного использования предлагаемых решений по обеспечению отказоустойчивого безопасного функционирования резервированных вычислительных комплексов.
-
Проанализированы варианты организации отказоустойчивых резервированных вычислительных комплексов и показана эффективность реализации доступа, к ресурсам резервированных вычислительных устройств на основе межмашишюго ПДП.
Методы и средства обеспечения информационно-функциональной безопасности и надежности резервированных вычислительных систем.
Метод и организация межмашинного обмена для защищешплх отказоустойчивых резервированных вычислительных комплексов с-двойным прямым доступом к памяти.
Модели безопасности и надежности отказоустойчивых вычислительных комплексов на основе межмашинного ПДП.
Организация защищенных отказоустойчивых резервированных вычислительных комплексов с реализацией межмашинного ПДП.
1. Предложены средства поддержки ішформационно-фуїншиональной безопасности и надежности вычислительных систем критического применения на основе организации высокоскоростного обмена и обеспечения доступа к внутрешшм ресурсам ВМ на основе межмашинного ПДП.
-
Предложен протокол и организация межмашинного обмена на основе двойного ПДП, обеспечивающие высокоскоростной доступ к внутренним ресурсам вычислительного устройства, в том числе при состоящих с отказавшим процессором резервированного устройства.
-
Рассмотрены типовые структуры отказоустойчивых вычислительных ком плексов на основе предложенных средств защиты.
-
Проанализирована эффективность предлагаемых структур защищенных отказоустойчивых вычислительных комплексов и определена область эффективности предложенных решений.
-
Патентная чистота предлагаемых технических решений по построению защищенных отказоустойчивых вычислительных комплексов и их узлов, подтверждается одиннадцатью авторскими свидетельствами «тринадцатью патентами на изобретения.
АПРОБАЦИЯ РАБОТЫ. Основные результаты работы докладывались и обсуждались на научно - технических конференциях: - Международная конференция «Локальные вычислительные сети» ЛОКСЕТЬ 90, Рига, 9-11 октября 1990г.; - Третья и Четвертая международшя научно-техническая конференция «Автоматизация и энергосбережение машиностроительного производства, технология и надежность машин, приборов и оборудования», г. Вологда, 10 -12 ноября 2007г., 24 - 26 ноября 2008г.; - 3-ий Международный форум «Актуальные проблемы совремешюй науки», г. Самара, 20 -23 ноября 2007г.; - ХХХГХ и XL Международная научно-практическая конференция, «Неделя науки СПбГПУ», 6-11 декабря 2010, 2011 г., Санкт-Петербургский Государственный Политехнический Университет; -Materialy VII miedznarodowej naukowi -praktycznej konferencji «peispektywiczne opracowania sa naukai technikami - 2011», Pizemysl, Nauka і stadia 2011, 07 - 15 ноября 2011г.; - Пятая всероссийская межвузовская конференция молодых ученых, СПбГУ ИТМО, 15 - 18 апреля 2008г.; -Всероссийская межвузовская научная конференция «Всероссийские научные Зворыкинские чтения», Муромский институт Владимирского Государственного университета, 22 апреля 2011г.; - Всероссийская молодежная научно - практическая конференция: - «Исследования молодежи, -экономике, производству, образованию.», г.Сыктывкар, 20 - 21 апреля 2011г.; - Отраслевая научно-практическая конференция: - "Пути совершенствования сетей и комплексов технических средств связи.", Ленинград, НПО «Красная Заря», 1989г.; - Первая межвузовская научно -практическая конференция - «Актуальные проблемы организации и технологии защиты информации»., СПбГУ ИТМО, 30 ноября - 01 декабря 2011г.; - VII Всероссийская межвузовская конференция молодых ученых (КМУ), СПбГУ ИТМО, 16 - 18 марта 2010г.; - XXXLX юучная и учебно-методическая конференция СПбГУ ИТМО, 02 - 05 февраля 2010.
Результаты работы использовались в ряде разработок, в том числе в НИР № 610481 па кафедре вычислительной техники НИУ ИТМО.
корректностью используемого математического аппарата; - реализацией и внедрением, предложенных технических решений; результатами Государственной патентной экспертизы предлагаемых техішческих решений; обсуждением материалов на четырнадцати конференциях.
ПУБЛИКАЦИИ. По результатам проведенных исследований опубликовано 47 печатных работ, в том числе авторских свидетельств на изобретение - 11, патентов на изобретение - 13. Число публикаций в изданиях из списка ВАК - 6.
ОБЪЕМ II СТРУКТУРА РАБОТЫ Диссертация состоит из введения, четырех глав, приложения и заключения. Материалы изложены на 161-ой странице, 85-ти рисунках, 2-х таблицах. Библиографический список включает 98 наименований.
3ащищенные Многомашинные вычислительные комплексы
Многопроцессорные вычислительные комплексы (МПВК) - это комплексы, состоящие из двух или более процессоров, имеющих общую оперативную память, общие периферийные устройства и работающие под управлением единой операционной системы. Однако, следует иметь ввиду, что каждый процессор комплекса может иметь, доступные только ему, ОЗУ и периферийные устройства. Такое построение вычислительного комплекса делает возможной гибкую организацию параллельной обработки информации и позволяет наиболее эффективно, с точки зрения производительности и безопасности системы, использовать все ресурсы комплекса. Построение подобных комплексов требует решения непростой задачи, - обеспечения доступа любого процессора и любого канала ввода-вывода к любой ячейке ОЗУ, любого процессора к любому периферийному устройству, что позволяет реализовать безопасное функционирование системы.
Примером этой группы комплексов является бортовой вычислительный комплекс на базе двухпроцессорного вычислительного устройства (ВУ) INTEL 80960. [15]. Дублирование каналов связи, адаптеров, контроллеров ввода-вывода позволяет повысить устойчивость к отказам, а значит и безопасность функционирования комплекса. Организация информационного обмена между вычислительными модулями (ВМ) комплекса осуществляется через локальную сеть и системную магистраль.
Резервирование общедоступной памяти и копирование данных в памяти вычислительных модулей комплекса обеспечивает сохранность информации.
Из современных процессоров цифровой обработки сигналов (ЦОС) встроенными средствами создания многопроцессорных вычислительных систем обладают процессоры семейств SHARC и TIGER SHARC фирмы Analog Devices, а также процессоры семейства 1879, разработки НТЦ «Модуль», г. Москва [16 - 22].
Причем процессоры семейства 1879 с точки зрения создания устойчивых к отказам многопроцессорных структур имеют преимущество, поскольку в их состав входят две независимые параллельные 64-разрядные шины, обеспечивающие работу нескольких процессоров с общей памятью, в то время как процессоры Analog Devices имеют только одну аналогичную шину. Процессоры имеют четыре банка внутренней памяти с независимым доступом к каждому банку, как со стороны процессора, так и со стороны внешних устройств в режиме ПДП с двух независимых параллельных 64-разрядных шин. Направление мультипроцессорности прослеживается во всех СБИС семейства «Мультикор», выполненных на основе технологии «система на кристалле», разработки ГУП НПЦ «ЭЛВИС», г. Москва, Зеленоград.
Сигнальный микропроцессор 1892ВМЗТ (МС-12) (год выпуска 2004.) содержит два ядра - управляющий 32-разрядный RISC-контроллер и DSP-ядро ELcore-14 с гарвардской архитектурой. Процессорные ядра неравноправны,- RISC-контроллер является управляющим (ведущим) и имеет доступ ко всем ресурсам кристалла, в том числе и к ресурсам DSP. DSP - подчиненное устройство, выступает как вычислительный сопроцессор - акселератор и выполняет макрокоманды (задания) CPU. Для эффективной организации информационного обмена, обеспечивающего целостность информации, служит контроллер прямого доступа к памяти DMA. Он обеспечивает 12 каналов обмена, которые позволяют реализовать различные варианты устойчивых к отказам структур.
В устройствах цифровой обработки сигналов, по мнению авторов, очень важно достичь не только пиковой производительности процессорных ядер, но и добиться максимальной скорости обмена информацией, - как по шинам ввода-вывода, так и по внутренним магистралям кристалла [23 - 30].
Построение управляющих вычислительных систем на основе МПВК требует не только оптимальной организации взаимодействия процессоров внутри МПВК, но и объединения МПВК в единую систему посредством, различного рода системных магистралей и локальных сетей [31]. Важной задачей является организация информационного обмена с минимальной затратой времени. Сохранность данных достигается резервированием общей памяти и копированием данных на различных вычислительных устройствах комплекса.
Многомашинные вычислительные комплексы (ММВК) - комплексы, включающие в себя две или более ЭВМ, каждая из которых имеет процессор, ОЗУ, набор периферийных устройств и работает под управлением собственной операционной системы [14].
Примером могут служить отказоустойчивые кластеры фирмы DEC [32, 33] и Hewlett Packard [34], работа которых определяется двумя основными компонентами. Первым компонентом является высокоскоростной механизм связи, а вторым - системное программное обеспечение, которое обеспечивает клиентам прозрачный доступ к системному сервису.
Сокращение времени информационного обмена, обеспечение сохранности данных, а также устойчивость к катастрофическим ситуациям были достигнуты фирмой DEC применением новой технологии, так называемой рефлективной памяти, имеющейся в каждом узле кластера. [33]. Рефлективная память является двухпортовой памятью. Сетевой модуль такой памяти создавался для обеспечения высокоскоростной пересылки информации из памяти в память, между несколькими распределенными системами без накладных расходов на программное обеспечение [33].
Создание ММВК требует больших материальных затрат на поддержку довольно сложных программных продуктов, обеспечивающих высокую живучесть, а также с необходимостью избыточности дорогостоящего оборудования. Входящие в ММВК устройства, в свою очередь, являются системами, содержащими собственные процессоры, каналы связи, память. Выход из строя любого из этих компонентов считается отказом всего устройства в целом. При этом, исправные устройства берут на себя функции вышедшего из строя, однако они не имеют доступа к внутренним ресурсам (оперативной памяти), вышедшего из строя устройства, и поэтому вся информация о текущем состоянии устройств хранится в общей внешней памяти либо копируется в памяти каждого устройства и соответственно требует создания подсистемы, обеспечивающей (зеркалирование в реальном времени) раздела данных на вычислителях ММВК, что требует выделения дополнительного интервала времени в цикле решения основной задачи и применения высокоскоростных каналов связи. Из примеров построения ММВК видно, что их развитие связано с совершенствованием, применяемых каналов (шин) передачи информации, устройств хранения информации, средств комплексирования вычислительных устройств, а также средств внутреннего контроля либо самоконтроля. Однако, такие комплексы достаточно громоздки, дороги и не всегда соответствуют условиям эксплуатации для применения их на ограниченном пространстве (например, на подвижных объектах).
Remote Direct Memory Access (дистанционный ПДП)
Обеспечение высокой надежности управляющих компьютерных систем требует введение избыточности [42 - 44 ], поэтому в таких системах в качестве базовых вычислительных средств используются дублированные (двухмашинные) вычислительные комплексы (ДВК).
Для ДВК одним из основных средств обеспечения необходимой эффективности функционирования является рациональное использование избыточного вычислительного модуля (ВМ) [70]. Здесь могут быть реализованы различные варианты структур ДВК, дающие различные значения показателей эффективности для заданных характеристик решаемых задач, - надежностных характеристик ВМ, диаграммы выдачи управляющих сигналов. Все это является следствием неравномерности потока обрабатываемой информации, сбоями и отказами аппаратуры, организацией контроля либо самоконтроля функционирования ВМ, переключением резерва и другими случайными событиями, влияющими на время решения основной задачи.
В системах компьютерного управления дублированные комплексы функционируют в режиме параллельной работы, (каждый запрос направляется на обслуживание в два полукомплекса, результаты вычислений сравниваются), что повышает достоверность работы, либо в режиме разделения нагрузки, что позволяет повысить производительность, но может привести к потере результатов вычислений. Рассмотрим режимы организации работы вычислительного комплекса. Режим параллельной работы ВМ.
В этом режиме оба ВМ одновременно решают одни и те же задачи по одному и тому же алгоритму. В случае сбоя в каком-либо ВМ организуется повторный просчет, но только в одном ВМ, - другой продолжает вычисления и закончит данный этап решения задачи раньше, чем отказавший. В этом варианте требуется некоторое время на периодическую синхронизацию работы двух, параллельно работающих ВМ, т.к. в начале каждого участка вычислений, для продолжения решения задачи, необходимы данные, как полученные на предыдущем участке, так и принятые от внешних источников. В таких комплексах, для сравнения результатов вычислений, должен быть организован обмен между основным и резервным ВМ, т.е. необходимо осуществлять синхронизацию выполнения задач каждым ВМ. Контроль правильного функционирования ВМ может осуществляться либо посредством тестового самоконтроля и небольшого программного блока «сердечный пульс», который позволяет взаимодействовать резервному ВМ с основным [36, 37], либо применением блока контроля и управления реконфигурацией (БКУР), реализующего контроль работы ВМ комплекса [37-38].
В режиме параллельной работы, для обеспечения синхронизации выполнения задач каждым ВМ, необходимо обеспечить обмен между основным и резервным ВМ. Кроме того, обмен между ВМ комплекса и БКУР, в случае его применения, необходим для реализации контроля правильности функционирования ВМ.
Сокращение времени информационного обмена между ВМ комплекса может быть достигнуто применением двойного ПДП.
Необходимость организации информационного обмена между вычислительными модулями комплекса требует выделения, в цикле решения основной задачи, дополнительного времени. Применение двойного ПДП позволяет сократить время информационного обмена между полу комплексами.
Режим распределения нагрузки. Резервный ВМ находится в состоянии полной готовности и в любой момент может заменить основной ВМ (нагруженный резерв) [13], причем резервный ВМ либо простаивает (не решает никаких задач), либо решает вспомогательные задачи, либо используется для обработки части, поступающих в вычислительный комплекс, запросов, что позволяет повысить производительность комплекса. В этом случае, для нормального функционирования комплекса должен быть организован обмен данными между ВМ комплекса.
Кроме того, ВМ комплекса должны постоянно, с определенной периодичностью, обновлять в общем внешнем запоминающем устройстве - ВЗУ, информацию о своем текущем состоянии, либо передавать эту информацию друг другу, т.е. создавать контрольные точки, необходимые для продолжения работы комплекса после нарушения работоспособности одного из ВМ. Таким образом, исправный ВМ продолжит решать задачу, возвращаясь на некоторое время назад, которое определяется моментом создания последней контрольной точки.
В рассмотренном режиме работы исправный ВМ берет на себя функции вышедшего из строя. Однако он не имеет доступа к внутренним ресурсам (оперативной памяти), вышедшего из строя ВМ, и поэтому вся информация о текущем состоянии должна храниться в общей внешней памяти либо копироваться в памяти резервного ВМ.
Необходимый контроль работоспособности ВМ комплекса может быть обеспечен организацией периодического обмена сообщениями о работоспособности полукомплексов (взаимоконтроль) [36], либо применением аппаратных средств контроля [37]. В случае работы системы в реальном масштабе времени с заданным временем реакции системы, необходимо учитывать то, что время выполнения запросов является критичным, и при отказе одного из ВМ, выполняемый запрос не может быть возобновлен с начала без риска срыва процесса управления. Прерванную обработку запросов необходимо восстановить, реализуя механизм контрольных точек (КТ).
После накопления отказов, приводящего к потере функциональности одного из полукомплексов, весь поток запросов перераспределяется на вычислительный модуль (ВМ), сохранивший работоспособность.
В данном режиме эффективность работы вычислительного комплекса определяется производительностью ВМ и минимизацией времени информационного обмена, что может быть достигнуто применением двойного ПДП.
Временные характеристики межмашинного (двойного) ПДП
Безопасность систем критического применения достигается при минимизации возможностей возникновения опасных отказов и последствий от их возникновения.
Функциональная безопасность систем связана с минимизацией частоты и последствий отказов в выполнении отдельных функций системы, в том числе связанных с безопасностью [85, 86].
Обеспечение функциональной безопасности в значительной мере определяется информационной безопасностью, и прежде всего, связано с минимизацией риска потери данных (в том числе формируемых при реализации вычислительного процесса) при отказах системы, вызванных внешними или внутренними причинами, в том числе в результате злонамеренных воздействий.
Для систем критического применения, используемые в них вычислительные узлы, как правило, строятся на основе дублированных или троированных вычислительных комплексов. Возможности сохранения данных после отказов дублированных вычислительных комплексов (ДВК) во многом определяются организацией средств комплексирования и доступа к памяти.
Для достижения высокой отказоустойчивости, функциональной и информационной безопасности при сохранении устойчивости вычислительного процесса средства комплексирования ДВК должны обеспечивать доступность информационных ресурсов (памяти) обоих полукомплексов, даже при отказах процессоров одного из них, что направлено на сохранение возможности функционирования (или данных) в режиме деградации. Формирование работоспособной структуры в ряде случаев требует реконфигурации, направленной на использование в вычислительном процессе сохраненных ресурсов обоих полукомплексов. Модели надежности дублированных систем в настоящее время достаточно хорошо исследованы [87-91], в том числе восстанавливаемых дублированных систем при различных дисциплинах ограниченного восстановления, под которым понимается восстановление при образовании очереди на восстановление отказавших узлов.
Потенциал обеспечения надежности управляющих вычислительных систем во многом определяется особенностями прикладных процессов, в ряде случаев ограничивающих возможности восстановления системы после отказов.
В связи с высоким вниманием, в настоящее время, к анализу безопасности и функциональной надежности систем критического применения, в том числе систем критичным к нарушениям доступности и целостности информационных ресурсов, представляется актуальным исследование их надежности. Модели надежности таких систем должны учитывать недопустимость срывов вычислительного процесса и (или) потери стратегически важной информации, потенциально приводящие к катастрофическим последствиям, после которых восстановление вычислительной системы теряет смысл. Модели надежности указанного класса систем помимо оценки традиционных показателей надежности должны находить вероятности опасных состояний, при которых возможны срыв критичных вычислительных (управляющих) процессов и невосполнимая потеря критически важных данных.
В данном разделе диссертации предложены Марковские модели надежности восстанавливаемых ДВК, отличающиеся возможностью учета ограниченного восстановления, при невосполнимой потере накопленных данных (результатов вычислений) или при недопустимости прерываний вычислительного (управляющего) процесса во время процесса восстановления системы.
Варианты ограниченного восстановления Средства комплексирования должны обеспечивать доступ к памяти сопряженного полукомплекса с целью сохранения информационных ресурсов (результатов решения прикладных задач) даже при отказах одного из дублированных ЦП. Таким образом, для информационно безопасного, отказоустойчивого функционирования комплекса адаптер сопряжения (АС) должен обеспечивать прямой доступ к памяти двух полукомплексов.
Надежность ДВК в определенной мере зависит от ограничений восстановления системы после отказов, определяемых особенностями прикладных процессов [92, 93].
Рассмотрим ограничения восстановления комплекса, когда оно не реализуемо в следующих случаях: - потеря данных не допустима, а перерывы вычислительного процесса во время восстановления допустимы (51); - потеря данных и перерывы вычислительного процесса во время восстановления не допустимы ( S2); - потеря данных и перерывы вычислительного процесса во время восстановления допустимы (53). Потеря данных происходит, когда при информационной зависимости прикладных функциональных задач, решаемых вычислительной системой, отказывает память в двух полукомплексах, что приводит к невозможности выполнения задач, т.е. к отказу системы, при котором ее восстановление невозможно.
Перерывы вычислительного процесса во время восстановления не допустимы, например, для управляющих систем, работающих в реальном времени, при этом будем считать, что для поддержки вычислений достаточно работоспособности хотя бы одного ЦП при доступности для него памяти хотя бы в одном полукомплексе. При отказе одного ЦП доступ исправного ЦП к памяти другого (сопряженного) полукомплекса должен поддерживаться средствами комплексирования по прямому доступу.
Случай ограничения восстановления, когда потеря данных недопустима, а перерывы вычислительного процесса во время восстановления допустимы, не рассматривается, так как при отказе памяти в двух полукомплексах вычислительный процесс не реализуем, и при потере данных в обоих полукомплексах их восстановление считается не возможным.
Архитектура резервированных вычислительных систем с обеспечением устойчивого функционирования и сохранности данных на основе программных методов межканального контроля
В рассмотренной структуре может применяться режим холодного резерва, при этом возможно использование таких структур в длительно необслуживаемых системах с ограниченным энергопотреблением, не связанных с задачами жесткой временной регламентации управления.
Объединение ВМ в единую систему посредством многоканального устройства для реконфигурации (УР) позволяет частично возложить функции обеспечения живучести на аппаратные средства, что исключает процедуру программной реконфигурации ВМ и соответственно создает дополнительный временной ресурс. Контроль правильного функционирования ВМ и обеспечение живучести вычислительной системы реализуется аппаратными средствами на основе результатов программного тестового самоконтроля ВМ. Информационный обмен между каналами реализован на основе двойного ПДП, что позволяет сократить время на обмен информацией и соответственно снижает вероятность искажения информации во время передачи, т.е. обеспечивает целостность информации.
На рисунке А.8. показана структурная схема многомашинного вычислительного комплекса построенного на основе предлагаемого устройства переключения и управления реконфигурацией.
Вычислительный комплекс, с программируемой структурой (Авторское свидетельство СССР № 1798946 Н 05 К 10/00, G 06 F 11/20), представляет собой объединение узловых вычислителей (УВ), функциональное взаимодействие между которыми осуществляется через программно - настраиваемую коммуникационную среду (КС), состоящую из модуля контроля и управления реконфигурацией (МКиУ) и блока реконфигурации (БР).
Узловой вычислитель это программно - настраиваемая конфигурация, состоящая из вычислительного модуля (ВМ) и системных устройств (СУ). Вычислительный модуль служит как для обработки и хранения информации, так и для выполнения функций по управлению системой в целом. Системные устройства это та аппаратная часть узлового вычислителя, которая предназначена для обеспечения взаимодействия данного узлового вычислителя с другими узловыми вычислителями и внешними устройствами системы. Возможность программно настраивать блок реконфигурации позволяет программировать архитектуру вычислительного комплекса.
В представленной структуре многомашинного вычислительного комплекса, для достижения заданных показателей надежности, применен метод резервирования замещением вычислительных модулей и системных устройств узловых вычислителей. Для выявления сбоев и отказов используется тестовый, программно - аппаратным самоконтроль узловых вычислителей. Осуществляется контроль и сохранение достоверности информации при приеме и передачи.
Каждый из узловых вычислителей комплекса способен выполнять любые процессы, иметь доступ ко всем каналам ввода-вывода и, в случае необходимости, как полностью, так и частично дублировать работу любого другого узлового вычислителя и составляющих устройств, реализуя, тем самым, метод гибкого резервирования замещением. Полный доступ к внутренним ресурсам узловых вычислителей позволяет сократить время восстановления системы после отказа, а значит повысить коэффициент готовности системы. Полное резервирование аппаратных средств обеспечивает отсутствие «изолированных мест повреждения» в системе.
Как было показано выше, при отказе ВМ работающего канала полное время переключения на резервный канал (время реконфигурации системы) составит: Tpc=t+14t.
Прохождение информации в блоке реконфигурации осуществляется через магистральные приемопередатчики, которые реализуют контроль информации по биту четности. В случае нарушения информации при прохождении через магистральные приемопередатчики, - последние формируют сигналы «ошибка», которые поступают в ВМ соответствующего канала. В ВМ сигналы «ошибка» поступают на схему инициализации режима прерывания программы. ВМ переходит на подпрограмму обработки прерывания, в которой определяет участок, на котором произошло нарушение в процессе приемопередачи информации. ВМ осуществляет повторную приемопередачу информации и если при трех попытках приемопередачи ошибка повторяется, то участок считается вышедшим из строя. В этом случае ВМ записывает в регистр реконфигурации МКиУ код реконфигурации. В соответствии с этим кодом МКиУ формирует на своих управляющих выходах сигналы, в соответствии с которыми неисправный участок приемопередачи информации исключается путем блокировки магистральных приемопередатчиков,
