Содержание к диссертации
Введение
Глава 1. Анализ средств математического обеспечения вычислительных комплексов обработки гетерогенных данных физических процессов 12
1.1 Развитие гетерогенных систем обработки данных 12
1.2 Модели и алгоритмы систем распределенных вычислений 20
1.3 Анализ глобальных информационных систем обработки гетерогенных физических данных 28
1.4 Цель работы и задачи исследования 30
Глава 2. Структура математического и программного обеспечения системы распределенных вычислений гетерогенных физических параметров в режиме реального времени 32
2.1 Структура математического обеспечения систем глобальных информационных систем распределенных вычислений 32
2.2 Математическое обеспечение расчетов гетерогенных динамических физических параметров в распределенных вычислениях 35
2.3 Архитектура программного обеспечения систем распределенных вычислений гетерогенных динамических параметров 52
2.4 Сложноструктурированные формы представления данных 63
2.5 Выводы 74
Глава 3. Комплексная модель распределенной обработки гетерогенных данных в режиме реального времени 76
3.1 Математическая модель распределенных вычислений физических параметров на основе решения задачи Дирихле з
3.2 Алгоритмы и математическая модель обработки сложноструктурированных форм представления физических данных 82
3.3 Реализация модифицированных методов решения задач анализа физической информации 91
3.4 Программный модуль численных расчетов гетерогенных физических данных 101
3.5 Выводы 105
Глава 4. Практическая реализация разработанных моделей и алгоритмов системы распределенных вычислений на примере гетерогенных данных метеорологического обеспечения 107
4.1 Специфика представления данных в системах распределенных вычислений метеорологического обеспечения полетов авиации 107
4.2 Комплексная система распределенных вычислений гетерогенных физических параметров атмосферных процессов для обеспечения полетов авиации 112
4.3 Основные характеристики системы распределенных вычислений гетерогенных данных для обеспечения полетов авиации 116
4.4 Организация обмена информации в системе распределенных вычислений гетерогенных параметров в режиме реального времени 118
4.5 Интеграция специальных программных решений в инструментальные системы распределенных вычислений гетерогенных данных 120
4.6 Выводы 129
Заключение 131
Литература
- Модели и алгоритмы систем распределенных вычислений
- Математическое обеспечение расчетов гетерогенных динамических физических параметров в распределенных вычислениях
- Алгоритмы и математическая модель обработки сложноструктурированных форм представления физических данных
- Комплексная система распределенных вычислений гетерогенных физических параметров атмосферных процессов для обеспечения полетов авиации
Модели и алгоритмы систем распределенных вычислений
В современном потоке информации необходимо своевременно принимать и анализировать ее для успешной работы во всех сферах деятельности человека. Это же касается и сферы обработки данных о физических процессах нашей планеты. Эти данные включают в себя большой объем работы с постоянно меняющимися параметрами, расчетами их производных и прогностических параметров при обеспечении мониторинга состояния окружающей среды и эффективного планирования многих сфер деятельности человека. Одним из таких аспектов деятельности является, например, обеспечение полетов и перелетов авиации. Очень часто это занимает очень большое количество времени, но имеет весьма малый временной охват, так как информация постоянно меняется и приходится производить все новые и новые расчеты, что приводит к большой загруженности привлекаемых вычислительных комплексов, а, следовательно, и к задержке поступления информации. При обеспечении полетов и перелетов это недопустимо, так как оперативная информация, выдаваемая потребителям данной сферы является залогом достижения высокой степени безопасности применения авиации [17,51,52,53]. Одним из путей решения этой проблемы является введение сетевых систем гетерогенных распределенных вычислений, которые позволяют снять часть нагрузки с центров обеспечения обработки информации (серверов данных), распределив ее на вычислительные комплексы каждого из узлов сети.
Системы распределенных вычислений представляют собой комплексное взаимодействие группы компьютеров для решения трудоёмких вычислительных задач, объединённых в параллельную или распределенную вычислительную систему [43,84]. В семействе параллельных систем [86,91], взаимодействие вычислительных процессов обеспечивается за счет разделения разделяемых переменных: одни процессы вносят запись в переменные, другие - считывают записанные значения. В распределенных системах [76,84,87] взаимодействие вычислительных процессов осуществляется через пересылку сообщений на основе пакетной обработки данных.
Оба подхода подразумевают наличие определенного количества вычислительных процессов, выполняющих общую задачу, однако не являются эквивалентными. Суть параллельной обработки данных заключается в одновременном существовании и выполнении задач. Распределенные вычисления подразумевают территориальную удаленность процессов друг от друга, которые могут проводиться в несколько последовательных этапов и в различные периоды времени [43,50]. С данной точки зрения, для обеспечения вычислений гетерогенных динамических параметров физических процессов и явлений, наиболее оптимальным является применение распределенных вычислительных систем.
Первые работы посвященные распределенным вычислительным системам появились в начале 70-х годов XX века. Так, в 1973 году сотрудники калифорнийского научно-исследовательского центра Xerox PARC Джон Шох (John Shoh) и Джон Хапп (John Нарр) написали программу, которая запускаясь в локальную сеть PARC, выполняла вычисления на работающих компьютерах [102]. Стоит отметь работу советского математика Виктора Глушкова, занимавшегося в 1978 году проблемой макроконвейерных распределенных вычислений. На базе предложенных им принципов по распределению работы между процессорами была разработана ЭВМ ЕС-2701.
В 80-90-х годах с развитием технического прогресса количество работ, посвященных научной и практической проблематики распределенных вычислений, возросло. Стоит отметить вклад А. Ленстра (A. Lenstr) и М. Менеса (М. Menes), занимавшихся программированием в области факторизации длинных чисел, работы К.М. Чанди (К.М. Chandy) и Дж. Мисра (J. Misra) по теории параллельного и распределенного вычисления [86,97].
Среди современных авторов трудов о распределенных вычислениях наиболее популярны работы Э.С. Таненбаума (A.S. Tanenbaum), М. ван Стеена (М. van Steen) [84], Г.Р. Эндрюса (GR. Andrews) [91], К. Хьюз и Т. Хьюз [81], Ж. Теля (G. Tel) [102] и др. К сожалению, наблюдается большой недостаток научной литературы работы российских ученых. Наибольшего внимания достойны труды В.В. Топоркова [76] и М.С. Косякова [33].
В современном представлении концепция систем распределенной обработки гетерогенных данных физических процессов нашло свое применение в создании таких вычислительных комплексов как: проект развернутой системы наблюдения и контроля за климатическими и экологическими изменениями поверхности мирового океана (Китай), созданная под эгидой ВМО Глобальная система обработки данных и прогнозирования (ГСОДП) [60], глобальная система прогнозирования природных и техногенных катастроф МАКСМ [57], космическая система наблюдения и картографирования «СМОТР» [4], а также различные системы метеорологического обеспечения (Россия, США, Канада и др.) [41,51,56,92,100].
Подобные системы представляют собой обширные сети станций наблюдения и контроля состояния физических параметров, терминалы доступа к данным и обеспечивающие центры данных. Так, например, ГСОДП организована в виде трехуровневой системы [60], в состав которой входят мировые метеорологические центры (ММЦ), региональные специализированные метеорологические центры (РСМЦ) и национальные метеорологические центры (НМЦ). Подобное разделение обеспечивает распределение выполняемых задач, для мониторинга состояния атмосферы в глобальном масштабе, разграничивая зоны ответственности и порядок взаимодействия между уровнями системы.
Математическое обеспечение расчетов гетерогенных динамических физических параметров в распределенных вычислениях
Представленный обычный алгоритм интегрирования методом Монте-Карло имеет и геометрическую интерпретацию. В сущности, он представляет собой описанный выше метод, с одним отличием. Оно заключается в том, что вместо равномерного деления области интегрирования на маленькие отрезки и суммирования площадей получившихся столбов, область интегрирования заполняется случайными точками, на каждой из которых строится свои столбы, с шириной каждого определяемой как , площади которых также суммируются.
Исходными данными в математическом моделировании метеорологических величин методом Монте-Карло являются статистические выборки искомых величин атмосферного давления, температуры, влажности, количества осадков, направления и скорости ветра. Использование данного подхода позволяет осуществлять расчеты на долгие сроки, включая многолетнее общее изменение климата. Однако стоит отметить, что у данного метода есть один существенный недостаток: это то, что при малом объеме выборки, качество получаемого результата заметно снижается.
Применение экстраполяционных методов математического моделирования физических процессов представляет собой вычисление искомого значения физической величины за пределами области известных значений данного элемента на основе нескольких уже известных значений.
Методы интерполяции реализуются путем нахождения промежуточного значения физического параметра по его значениям в нескольких узлах регулярной сетки поля данной величины [1,26,39].
Оба метода более успешно применяются, если условия закономерности изменения физических элементов в пространстве или во времени тоже носят простой характер. Данные методы имеют в своей сущности одинаковые закономерности, позволяют весьма успешно вычислять значения физических полей и проводить комплексные логические анализы. Они позволяют решить одну из главных задач, связанную с нахождением значений характеристик за пределами района, по которому построено поле физической величины и в промежуточных точках, которые находятся между станциями наблюдений.
Интерполяция и экстраполяция различаются на прямолинейную (линейную) и криволинейную (параболическую). Прямолинейную интерполяцию и экстраполяцию (рис. 2.4) можно произвести, используя данные о наблюдениях в двух точках пространства (пространственная интерполяция) или за два последовательных момента времени (временная интерполяция).
Пример прямолинейной интерполяции (pi) и экстраполяции (pk) давления В данном случае функция изменения физической величины/от точки А\ к точке А2 в направлении прямой S (а в случае интерполяции по времени от момента времени t\ к моменту времени t2) будет считаться постоянной, т.е.: Зная значение с\ и 5 (расстояние от точки А\ до точки At на рисунке 2.4) или аналогичную величину с2, можно найти значения функций изменения искомой величины в пространстве (ft) или во времени (ft):
Подобным образом, продолжая прямую S за точку А2 при выполнении условия (2.13) вне отрезка 8S, можно рассчитать значение величины/, а так же аналогичное значение ft в любой точке за пределами отрезка 5S:
Итак, рассмотрев пример прямолинейной интерполяции и экстраполяции можно сделать вывод о том, что применение данных методов для вычисления некой функции возможно при соблюдении 2 условий:
Линейная экстраполяция проводится с использованием данных физических полей как минимум за два срока (например, данных карт приземного анализа или высотного барического поля). Наиболее часто в качестве искомых величин выступают: скорость и направление перемещения, тенденция развития барических образований, значения давления, геопотенциала и др. [1,26].
Если изменение вычисляемой физической величины происходит не линейным образом, т.е. не выполняется хотя бы одно из условий (2.16)-(2.17), то применяется метод криволинейной экстраполяции или интерполяции (рис. 2.5). Исходные данные в ней аналогичны линейной экстраполяции. В случае нелинейной интерполяции или экстраполяции, главным критерием для осуществления расчетов будет являться соблюдение следующих условий:
Алгоритмы и математическая модель обработки сложноструктурированных форм представления физических данных
Параметры распределенных физических объектов и процессов носят пространственно-временной характер. В связи с этим, общепринято представление их характеристик в виде полей, т.е. распределенных значений в конкретный момент времени, что представляет собой достаточно большой массив данных. Чаще всего подобные массивы представляются в виде карт, показывающих привязку распределения массива данных физических параметров к географической сетке. Для производства математических операций в данном случае требуется вычисление определенных производных состояния каждого значения физического параметра в массиве [11]. Процедура анализа конкретного значения физического показателя в массиве данных (поле) может быть сведена к решению задачи Дирихле [68,70] для круга. Ее суть заключается в том, что для физических параметров принимается положение, что каждая функция, которая является аналитической внутри некоторого круга с центром в точке 0, может быть описана во всех точках этого круга в следующем виде:
Положение точки / внутри круга задается в полярных координатах следующими параметрами: рг - расстояние от центральной точки 0, фг - угол между прямой / и полярной осью, которая направлена с юга на север. Если отсчет от полярной прямой ведется по ходу часовой стрелки, то полярный угол считается положительным и наоборот.
Обозначив декартовы координаты произвольной точки / (хь уг) через полярные координаты, получим:
Axt = pt sin ф,. и Ayt = pt cos i, (3.2) где Ах. и Ду.-проекции радиус-вектора р;наоси.хнесоответственно. Интегрируя в формулу (3.1) значения f{xiyi)-f{xQyQ) = Afи выражения для /Ци Ау. (3.2), опустив координаты центра, получим:
Если повторить решение уравнений (3.5)-(3.6) дляу = 1, 2, ..., т, получим т пар значений составляющих градиента функций fix,у). Среднее значение модуля градиента поля fix, у) можно рассчитать из соотношения:
Математический градиент функции fix, у) направлен в сторону возрастания значений данной функции, при этом угол а у между градиентом и полярной осью может быть определен из соотношения:
В качестве примера приведено математическое обоснование построения и анализа массива данных физических величин на основе обработки параметров давления для локального масштаба с шагом регулярной сетки от 50 до 300 км (рис. 3.1, а).
На основе данной модели анализа приземного термобарического поля, для любого пункта, используя данные о давлении и температуры в радиусе 300-600 км вокруг исходного пункта расчетов (рис. 3.1), помимо горизонтальных градиентов могут быть рассчитаны следующие характеристики:
Кроме того, если для выбранных пунктов поля ввести данные о влажности, высоте нижней границы облаков (ВНГО) и метеорологической дальности видимости (МДВ), то можно получить значения адвективных изменений и этих величин.
При этом, направление геострафического ветра (D ) определяется по вычисленному направлению математического горизонтального градиента давления (ос ). С учетом того, что D определяется в сторону увеличения давления, для его получения к значению ос прибавляется 90: и направление этого градиента (ocrrf). Аналогично, для оценки эволюции МДВ и ВНГО, в формулах (3.11) и (3.12) подставляются значения горизонтальных градиентов МДВ или ВНГО и, соответственно, их направления.
Описанная модель представляет собой пример кластерного вычисления, которое поможет реализовать на практике расчеты динамических параметров глобальных атмосферных процессов. Для этого, в каждом узле распределенной вычислительной системы будут рассчитываться параметры для определенной локальной территории, из которых можно будет сделать выводы о динамике атмосферных процессов в глобальном масштабе.
Алгоритмы и математическая модель обработки сложноструктурированных форм представления физических данных
Работа описанной выше математической модели невозможна без постоянного обновления исходных данных, которые будут поступать в виде сообщений в специализированной форме данных (METAR, TAF, КН-04 и др.)
Рассмотрим алгоритм работы модели обработки информации на примере обработки данных специализированной формы КН-04 (рис. 3.2). Исходной информацией будут являться части аэрологической телеграммы «ТТАА» и «ТТВВ». Эти данные могут поступать уже в готовом виде по каналам передачи данных или вводятся вручную. Вся информация записывается на жестком диске в определенный файл, например KN-04.txt (рис. 2.14), и может быть отредактирована, если это потребуется. Признаком окончания телеграммы является символ «=». Программа производит чтение данных телеграммы и производит перевод в машинный язык данных с основных изобарических поверхностей и уровня тропопаузы, а так же с уровней с максимальным ветром и в особых точках по температуре и влажности. При отсутствии данных на одной из изобарических поверхностей, информация может быть восстановлена методом интерполяции с близлежащих уровней.
Результатом работы данной программы будет являться информация о параметрах ветра, температуре и точке росы, распределенная по высоте для конкретного станции наблюдения за определенный срок. При наличии данных от множества станций, получается ряд данных, достаточный для отображения результатов вертикального зондирования атмосферы и производства расчетов некоторых явлений погоды. Эти операции проводятся подпрограммами производства расчетов аэрологической диаграммы «АДР» и графических построений аэрологической диаграммы «Граф» в порядке, указанном на линейных алгоритмах (рисунки 3.3-3.4).
Выходными данными полученными после обработки информации специализированной формы данных КН-04 описанными подпрограммами может быть графическое отображение результатов зондирования атмосферы и расчеты численных методов прогноза отдельных параметров ОЯП, таких как: - обледенение воздушных судов и его интенсивность; - коэффициент стратификации атмосферы (Кстр); - коэффициент грозоопасности по методу Вайтинга (Кв) и др. На первом этапе производится определение высот уровней с данными в особых точках по имеющейся информации на основных изобарических поверхностях. Следующим шагом представляется объединением в один массив данных всей информации и сортировка ее в порядке убывания давления. При производстве численных расчетов, для удобства, производится интерполяция значений температуры и дефицита точки росы на уровнях с давлением, кратным 10 гПа.
Комплексная система распределенных вычислений гетерогенных физических параметров атмосферных процессов для обеспечения полетов авиации
На основе получаемых результатов работы описанных подсистем численных расчетов с применением комплекса синоптических и численных гидродинамических методов осуществляется возможность составления оперативной метеорологической сводки на срок от 3 до 36 часов. Полученные метеорологические сводки ложатся в основу подсистемы проектирования оперативной метеорологической документации. Так, примеры, описанные ранее модели расчетов, позволяют с помощью ПК автоматизировать процесс разработки штормовых предупреждений и оповещений, метеорологических бюллетеней, рекомендаций и других оперативных документов для каждого конкретного узла распределенной сети. Эти данные вносятся в РБД сети, что обеспечивает доступ к ним из любого терминала (узла сети).
Одной из задач инженера-метеоролога является разработка прогноза погоды для производства полетов или перелетов. Данный прогноз записывается в оперативный документ - метеорологический бюллетень, который вручается определенным должностным лицам. Задача проведения данного процесса в рамках функционирования рассматриваемой системы будет решаться по двум сценариям необходимых действий: для полетов в районе базирования для перелетов из одного пункта в другой [1].
Для первого варианта поэтапно вычисляются все необходимые параметры метеорологических элементов. Далее по этим значениям составляется метеосводка с использованием правил и градаций, описанных в наставлении авиационным метеорологическим станциям или требованиям руководящих документов ИКАО для гражданской авиации [40,45,52,53,62]. После этого программа подсистемы разработки ОМИ автоматически заполняет графы метеорологического бюллетеня и выводит его на печать.
Для обеспечения перелетов, в том числе зональных (на расстояния в несколько тысяч км), необходимо проводить вычисления метеорологических параметров не только в пунктах взлета и посадки, но и в точках, соответствующих пунктам, находящимся между ними, если эти промежуточные станции имеют исходные данные. Далее выполняются действия как для первого варианта.
Необходимо отметить, что перед выводом на печать, инженер-метеоролог (пользователь системы) отвечающий за составление и вручение бюллетеня обязан проверить правильность его заполнения и при необходимости внести изменения.
Таким образом, мы рассмотрели варианты интеграции программных решений в системы гетерогенных распределенных вычислений поддержки полетного обеспечения и их возможностей. Главной целью данной интеграции является создание комплексной модели, что на сегодняшний день пока еще не реализовано. А постоянное наличие каналов связи и возможность производства расчетов для локальных территорий, с доступом к данным из любого терминала (узла) распределенной сети, позволяет использовать результаты работы системы гетерогенных распределенных вычислений оперативно и с максимальной эффективностью.
Результатом работы проведенной в данной главе стала декомпозиция физического процесса для реализации структуры представления оперативной метеорологической информации на примере метеорологического бюллетеня. Это дает возможность для практической реализации оформления оперативной метеорологической документации с помощью ПК. Кроме того, в условиях применения данного подхода в распределенной компьютерной сети, становится очевидным, что функция разработки документации будет доступна на любом узле сети.
Приведенная структура формирования данных является универсальной и позволяет применять ее для различных видов оперативных документов.
Представленный пример комплексной системы гетерогенных распределенных вычислений динамических параметров физических процессов и явлений для обеспечения полетов авиации является основой для создания и внедрения технологии мониторинга физических процессов атмосферы с помощью глобальной информационно-вычислительной системы. Данная система будет являться распределенной, т.е. позволит распределить нагрузку вычислительных процедур для максимальной эффективности работы. Кроме того, реализация клиент-серверной архитектуры позволяет создать удобный, простой и быстрый доступ к данным внутри сети с помощью закрытых или открытых каналов связи.
Использование единого интерфейса передачи данных позволяет организовать пакетный обмен информации с высоким уровнем загруженности распределенной базы данных.
Представленная аппаратная схема рабочего узла сети является наиболее простой, что не требует значительных материальных затрат для создания рассматриваемой глобальной сети.
Формирование и обновление программного обеспечения системы можно реализовать путем интеграции стабильно работающих пакетов прикладных программ. Многие из них направлены на обработку информации, поступающей от серверов данных. Применение подобных программных модулей в сочетании с доступом к РБД каждого узла или сервера сети позволит организовать собственную вычислительную систему с высокой пропускной способностью, удовлетворяющей современным требованиям, предъявляемым к глобальным гетерогенным информационным сетям.