Содержание к диссертации
Введение
Глава 1. Анализ состояния вопроса проектирования распределённых геоинформационных систем 23
1.1. Базовый специальный терминологический аппарат диссертации 24
1.2. Развитие отечественных геоинформационных систем, краткий хронологический обзор 28
1.3. Классификация распределённых ГИС 32
1.4. Анализ тенденций и проблем развития распределённых геоинформационных систем 36
1.5. Анализ тенденций, проблем развития распределённых ГИС и особенности построения САПР 38
1.6. Обобщённая структурная схема САПР распределённых ГИС 41
1.7. Оценка повышения эффективности функционирования САПР распределённых ГИС
1.8. Выводы 52
Глава 2. Проектирование и управление ресурсами распределённых геоинформационных систем 53
2.1. Поточная модель распределённой вычислительной системы 54
2.2. Послойная блочная модель распределённой вычислительной системы . 56
2.3. Задача вычислительной оптимизации распределённой вычислительной системы 59
2.4. Выводы 60
Глава 3. Унификация протоколов информационной поддержки 62
3.1. Принципы централизованного обеспечения интероперабельности 63
3.2. Концепция и реализация унификации прикладных протоколов информационной поддержки 66
3.3. Преобразование форматов архивных данных на примере станций ВЗИ ИЗМИР АН 69
3.4. Тензорное поле - формат представления многомерных цифровых сигналов 72
3.5. Пример практического применения формата тензорного поля 75
3.6. Выводы
Глава 4. Структура, принципы проектирования и развёртывания хранилищ данных в распределённых геоинформационных системах 79
4.1. О сложностях построения некоторых высокоуровневых абстрактных моделей данных 85
4.2. Концепции проектирования комплексов систем управления базами данных 88
4.3. Принципы структуризации данных при проектировании распределённых ГИС 93
4.4. Проектирование системы управления данными многолетних наблюдений за ионосферой 95
4.5. Выводы 99
Глава 5. Принципы построения интегрированных средств управления проектными работами 100
5.1. Задачи разработки распределённых ГИС 100
5.2. Модели разработки программного обеспечения 103
5.3. Персонал, инструменты управления проектными работами 108
5.4. Жизненный цикл проектов разработки программного обеспечения 114
5.5. Принципы оптимизации алгоритмов и программ в распределённых ГИС.
117
5.6. Организация параллельных вычислений в распределённых ГИС 119
5.7. Применение специальных средств для организации параллельных вычислений 121
5.8. Тестирование аппаратно-программных средств распределённых ГИС 123 5.9. Методика оптимизационного выбора программного обеспечения в
распределённых ГИС 123
5.10. Принципы интеграции и создании единого информационного пространства в распределённых геоинформационных системах 125
5.11. Пример оптимизации программ на базе преобразования форматов. 128
5.12. Пример оптимизации циклов с учётом организации памяти ЭВМ... 137
5.13. Пример оптимизации с использованием распределённых вычислений и многопоточности 139
5.14. Организация рабочих мест операторов САПР распределённых ГИС . 140
5.15. Выводы 147
Глава 6. Методы декомпозиции и синтеза, а так же построения фильтров цифровых изображений средствами компьютерной графики 149
6.1. О неопределённости при спектральных преобразованиях сигналов 149
6.2. Формальное описание способа декомпозиции по базису прямоугольных всплесков 153
6.3. Декомпозиция по базису прямоугольных всплесков для одномерного случая 157
6.4. Декомпозиции двумерного сигнала 160
6.5. Свойства и особенности преобразования 163
6.6. Обзор и анализ результатов применения метода преобразования по базису прямоугольных всплесков 170
6.7. Выводы 173
Глава 7. Формирования компактного вида цифровых изображений для применения в унифицированных протоколах обмена данными 175
7.1. Предпосылки к исключению избыточной информации на базе частотно-дифференциального анализа 175
7.2. Анализ дифференциальной структуры и формирование паттерна краевых условий цифрового сигнала 180
7.3. Восстановление сигнала методом конечных разностей 185
7.4. Сжатие многомерных цифровых сигналов с помощью анализа их дифференциальной структуры 186
7.5. Повышение эффективности сжатия с учётом специфики цифрового сигнала 193
7.6. Вычислительная оптимизация МКР на базе отыскания промежуточного решения 201
7.7. Сравнение и некоторые результаты сжатия цифровых сигналов с помощью анализа дифференциальной структуры 206
7.8. Выводы 212
Глава 8. Разработка математических моделей и методов автоматизированного анализа и синтеза средствами компьютерной графики 214
8.1. Решение обратной задачи вертикального зондирования ионосферы на основе методов распознавания образов 214
8.2. Модель синтеза объектов виртуальной реальности средствами компьютерной графики при локальном плазменном возбуждении ионосферы 223
8.3. Статистическая модель особенностей влияния солнечного радиоизлучения на число клинических состояний человека 234
8.4. Выводы 248
Заключение 250
Основные результаты работы 250
Приложение 253
Патенты и свидетельства о государственной регистрации объектов
интеллектуальной собственности 253
Акты о внедрении 257
Список литературы 260
- Классификация распределённых ГИС
- Послойная блочная модель распределённой вычислительной системы
- Преобразование форматов архивных данных на примере станций ВЗИ ИЗМИР АН
- Проектирование системы управления данными многолетних наблюдений за ионосферой
Введение к работе
Актуальность темы. В настоящее время активному развитию систем
автоматизации обработки, анализа и синтеза изображений как наукоёмкого
технологического процесса способствует совершенствование методов и систем
автоматизированного проектирования (САПР), автоматизации систем
технологической подготовки производства (АСТПП) и научно-технический
прогресс. Непрерывно совершенствуются, методы обработки колоссальных
объёмов данных, получаемых при помощи распределённых
геоинформационных систем (ГИС), в частности, методами дистанционного
зондирования Земли (ДЗЗ), зондирования атмосферы и ионосферы, погодно-
климатическими, биосферными, геологоминералогическими,
океанографическими исследованиями, а так же исследованиями ближнего космоса. В рамках новой мультидисциплинарной структуры «Мировая система данных» (МСД) созданной решением 29-ой Генеральной Ассамблеи Международного совета по науке (МСН), сформированы и продолжают непрерывно развиваться «Мировые центры данных» (МЦД), предоставляющие возможности нового, скоординированного глобального подхода к научным данным и информации, гарантирующего универсальный равноправный доступ к качественной информации для исследований, образования и принятия решений. Так два российских МЦД входят в состав Геофизического центра Российской академии наук: МЦД по Солнечно-Земной физике и МЦД по физике твёрдой Земли; три МЦД в России осуществляют свою деятельность, входя в состав Всероссийского научно-исследовательского института гидрометеорологической информации - Мировой центр данных (ВНИИГМИ-МЦД): МЦД по метеорологии, МЦД по океанографии и МЦД по ракетам, спутникам и вращению Земли; в 2006 г. на Украине в структуре Института прикладного системного анализа и Национального технического университета Украины «Киевский политехнический институт» создан МЦД по геоинформатике и устойчивому развитию.
Существенных успехов в области обработки данных достигли коллективы отечественных исследовательских центров и их зарубежные партнёры. Глобальные научно-практические проекты, реализуемые космическими агентствами: Федеральное космическое агентство (Роскосмос), National Aeronautics and Space Administration (NASA), European Space Agency (ESA), China National Space Administration (CNSA); множественными геофизическими, биосферными исследовательскими центрами и институтами, стимулируют развитие новых научных направлений, способных использовать имеющиеся данные для получения максимального количества полезной информации, производить анализ и прогнозирование. С ростом возможностей вычислительных систем и усложнением задач, предназначенных к решению возрастает сложность принципов построения, разработки и функционирования систем автоматизированной обработки данных. Тенденции развития современных автоматизированных систем требуют от разработчиков реализовывать технологии, содержащие глубокую интеграцию методов обработки, анализа, моделирования, хранения и визуализации в единые
вычислительные комплексы, использующие распределённые вычислительные ресурсы.
В отечественной практике следует отметить недостаточность разработки и внедрения новых технологий в процессы проектирования и технологической подготовки наукоёмких производств на основе широкого использования средств вычислительной техники, информационных технологий и вычислительных сетей.
План фундаментальных исследований Российской академии наук на период 2013-2020 гг., утверждённый распоряжением Правительства Российской Федерации от 3 декабря 2012 г. №2237-р, содержит перечень следующих важнейших научных проблем и ожидаемых по ним результатов, ожидаемых в прогнозируемый период, среди которых можно выделить определяющие актуальность работы по направлениям.
В области математического моделирования:
разработка методов агрегирования моделей и данных;
разработка методов решения задач зондирования и мониторинга атмосферы и других задач геофизики;
В области математических проблем механики и исследования космоса: - разработка методов обработки изображений геофизических полей; В области информатики и информационных технологий:
разработка методов алгебры, алгебраической геометрии, теории чисел, теории алгебраических групп и математической логики для нужд теории передачи информации;
развитие принципов интероперабельности, стандартов и технологий открытых информационных систем;
- разработка методов, технологий и алгоритмов автоматического выделения
и распознавания объектов на цифровых изображениях при ограниченных
ресурсах памяти;
В области систем автоматизации, CALS-технологий (от англ. Continuous Acquisition and Lifecycle Support - непрерывная информационная поддержка поставок и жизненного цикла изделий), математических моделей и методов исследования сложных управляющих систем и процессов:
- разработка методов численного решения и анализа обратных некорректных
задач;
- разработка методов построения, в интерактивном режиме, трехмерных
анимационных моделей реальных объектов;
В области создания глобальных и интегрированных информационно-телекоммуникационных систем и сетей, развитие технологий и стандартов грид (от англ. grid - решётка, сеть):
разработка методов целочисленного линейного программирования в Си-компиляторах для конвейеризации циклов в операционных системах реального времени;
разработка алгоритмов когерентной обработки многомерных данных в задачах обработки сигналов и изображений и задачах математического моделирования;
разработка комбинированной распределенной вычислительной инфраструктуры и сервис-ориентированной среды для поддержки научных исследований, обеспечивающей интеграцию различных классов ресурсов, таких как кластеры, сервисные грид-инфраструктуры, грид-системы из персональных компьютеров и облачные инфраструктуры, с поддержкой эффективного планирования вычислительных заданий при решении прикладных задач.
В области локационных систем, геоинформационных технологий и систем:
- разработка технологий интерактивной обработки и анализа потоков
разнотипных пространственно-временных геоданных для
телекоммуникационных систем поддержки фундаментальных и прикладных исследований и мониторинга природных и техногенных процессов.
Таким образом, развитие научных основ САПР и АСТПП построения средств автоматизированного синтеза и анализа изображений в распределённых вычислительных системах с применением CALS-технологий, распределённых вычислений и хранилищ данных (грид-систем), при внутренней и межсистемной интероперабельности в соответствии с постановкой требований к распределённым ГИС является актуальным направлением научных исследований, позволяющих решить научную проблему повышения степени эффективности САПР распределённых ГИС имеющую важное хозяйственное, а с учётом расположения множества станций ГИС в высокоширотных и шельфовых зонах, политическое и социально-экономическое значение.
Диссертационная работа соответствует специальности 05.13.12 «Системы
автоматизации проектирования» (приборостроение) занимающейся
проблемами создания и повышения эффективности функционирования систем автоматизированного проектирования, управления качеством проектных работ на основе использования современных методов моделирования и инженерного анализа, перехода на безбумажные сетевые формы документооборота и интеграции САПР в общую архитектуру автоматизированной проектно -производственной среды развивая принципы и методы, отличающиеся тем, что они содержат разработку и исследования научных основ проектирования, построения и функционирования интегрированных интерактивных комплексов анализа и синтеза проектных решений, испытание и эксплуатацию сложных технических объектов, образцов новой техники и технологий. В соответствии с паспортом специальности (п. 1, 2, 3, 6, 8), отметим следующие области исследований, рассмотренные в диссертационной работе:
- методология автоматизированного проектирования в технике, включая
постановку, формализацию и типизацию проектных процедур и процессов
проектирования, вопросы выбора методов и средств для применения в САПР;
разработка научных основ создания систем автоматизации проектирования и автоматизации технологической подготовки производства (САПР и АСТПП);
- разработка научных основ построения средств САПР, разработка и
исследование моделей, алгоритмов и методов для синтеза и анализа проектных
решений, включая конструкторские и технологические решения в САПР и
АСТПП;
разработка научных основ реализации жизненного цикла проектирование - производство - эксплуатация, построения интегрированных средств управления проектными работами и унификации прикладных протоколов информационной поддержки;
- разработка научных основ построения средств компьютерной графики, методов геометрического моделирования проектируемых объектов и синтеза виртуальной реальности.
Диссертационная работа развивает теоретические основы, методы и системы автоматизированного проектирования средств анализа и синтеза изображений в распределённых ГИС на основе методов теории автоматизированного проектирования, цифровой обработки сигналов, математического моделирования, оптимизации и исследования операций, математического анализа, дифференциального и интегрального исчислений, численных методов, теории вероятностей и математической статистики, теории графов, теории алгоритмов, физики плазмы, электротехники, биофизики, в основу которых положены принципы и зависимости ряда фундаментальных естественнонаучных дисциплин. Работа является развитием САПР локальных и глобальных распределённых ГИС, прототипами которых являются: системы мониторинга и прогнозирования состояния высоких слоев атмосферы, ионосферы, магнитосферы, околоземного пространства; системы экологического мониторинга, например, замкнутая система управления «Природа-техногеника»; системы сейсмического мониторинга и др. Диссертационная работа является дальнейшим развитием теории и методологии САПР в наукоёмких областях, значительный вклад в которую внесли: А. А. Самарский, И. П. Норенков, Е. А. Федосов, Г. Корн, Г. И. Джанджгава, И. А. Соколов, В. М. Курейчик, И. В. Герасимов, П. П. Парамонов, Р. И. Сольницев, Б. К. Лебедев, А. А. Овдеенко, П. А. Ефимов, В. И. Анисимов, А. Г. Коробейников, Ю. А. Гатчин, Б. В. Видин, И. О. Жаринов, Ю. В. Гуляев, О. А. Трошичев и др.
Объектом исследования диссертационной работы являются средства САПР с применением современных методов моделирования и инженерного анализа, в приложении к развитию распределённых ГИС, построенных на базе аппаратно-программных комплексов и систем, предназначенных для получения, обработки, анализа изображений методами и средствами дистанционного зондирования Земли и околоземного пространства, с целью мониторинга, изучения и прогнозирования состояния окружающей среды.
Предметом исследования диссертационной работы является методология развития, создания и повышения эффективности функционирования САПР, управление качеством проектных работ на основе использования современных методов моделирования, инженерного анализа и интеграции САПР в общую архитектуру автоматизированной проектно-производственной среды распределенных ГИС.
Цель диссертационной работы заключается в развитии и повышении степени эффективности функционирования САПР распределённых ГИС.
Цель работы достигалась решением следующих задач.
1. Теоретическое обобщение и формирование концептуальных принципов
применения методов и средств САПР наукоёмкого производства
распределённых ГИС, в условиях непрерывного роста информационных
потоков и необходимости оптимизации использования распределённых
ресурсов.
2. Развитие научных основ построения средств САПР, разработка и
исследование моделей, алгоритмов и методов для синтеза и анализа
проектных решений, включая конструкторские и технологические решения
САПР и АСТПП в распределённых ГИС.
3. Развитие научных основ построения интегрированных средств
управления проектными работами и унификации прикладных протоколов
информационной поддержки в распределённых ГИС.
4. Развитие и разработка способов автоматизированного взаимодействия с
изготовителем и потребителем и методов технологической подготовки
распределенных ГИС.
-
Разработка и анализ новых методов и алгоритмов компьютерной графики, геометрического моделирования и синтеза виртуальной реальности в системах вертикального зондирования ионосферы на основе принципов распознавания образов.
-
Разработка и анализ новых методов и алгоритмов компьютерной графики, методов геометрического моделирования проектируемых объектов на основе использования методов моделирования и анализа алгоритмов декомпозиции и синтеза многомерных цифровых сигналов.
7. Развитие научных основ построения средств компьютерной графики,
методов геометрического моделирования проектируемых объектов и синтеза
виртуальной реальности на основе использования методов моделирования и
анализа алгоритмов компьютерной графики предназначенных для сжатия
многомерных цифровых сигналов на основе анализа дифференциальной
структуры изображения.
8. Разработка и исследование предметно-ориентированных моделей,
алгоритмов и методов синтеза виртуальной реальности для практической
реализации с целью исследования, и интеграции в распределённые ГИС.
Положения, выносимые на защиту, обладающие научной новизной:
1. Теоретическое обобщение, развитие научных основ и формирование
концептуальных принципов применения методов и средств САПР и АСТПП,
в приложении к автоматизации проектирования методов и средств
наукоёмкого производства, распределённых ГИС, в условиях непрерывного
роста информационных потоков и необходимости оптимизации
распределения ресурсов. Результатом является комплексное повышение
степени эффективности САПР применительно к распределённым ГИС.
2. Развитие научных основ реализации жизненного цикла проектирование
- производство - эксплуатация, построение интегрированных средств
управления проектными работами для автоматизации технологической
подготовки производства распределённых ГИС. Позволило существенно
повысить качество АСТПП распределённых ГИС.
Разработка методов и средств исследования моделей, алгоритмов и методов для синтеза и анализа проектных решений, включая конструкторские и технологические решения САПР и АСТГШ в распределённых ГИС, позволившая повысить качество автоматизированной разработки ГИС
3. Методы унификации прикладных протоколов информационной
поддержки для реализации принципов интероперабельности в
распределённых ГИС. Разработанные методы позволяют интегрировать в
единое информационное пространство распределённых ГИС данные
различных форматов при сохранении общих принципов их обработки, что
способствует расширению операционного пространства, а сами
распределённые ГИС интегрировать в МЦД.
-
Метод автоматизированного анализа авторских алгоритмов, методов компьютерной графики и синтеза виртуальной реальности, предназначенных для сжатия многомерных цифровых сигналов-изображений, основанных на формировании геометрической структуры и определяющей краевые условия, на базе дифференциального анализа. Разработанные методы и алгоритмы сжатия предназначены для формирования компактной формы представления цифровых изображений. Разработанные методы анализа алгоритмов компьютерной графики позволили выявить свойства авторского метода сжатия на базе дифференциального анализа и произвести его существенную оптимизацию.
-
Метод автоматизированного анализа авторских алгоритмов и методов компьютерной графики, предназначенных для декомпозиции многомерных цифровых сигналов по базису ортогональных всплесков. Разработанные методы и алгоритмы декомпозиции многомерных цифровых сигналов по базису ортогональных всплесков позволяют производить анализ и синтез цифровых сигналов. Они успешно применены для спектрального анализа графических изображений в задачах распознавания образов. Методы анализа алгоритмов компьютерной графики позволили выявить свойства авторских методов декомпозиции по базису прямоугольных всплесков и произвести его существенную оптимизацию.
6. Метод и алгоритм автоматизированного анализа алгоритмов
компьютерной графики для обработки данных вертикального зондирования
ионосферы на основе принципов распознавания образов. Разработанные
авторские метод и алгоритм обработки данных вертикального зондирования
ионосферы на основе принципов распознавания образов, позволил
автоматизировать процесс решения обратной задачи вертикального
зондирования ионосферы, а метод анализа алгоритма позволил произвести
существенную оптимизацию и повышение качества обработки данных в
распределенных ГИС.
7. Математические модели интегрированные в распределённые ГИС с
возможностью геометрического моделирования проектируемых объектов и
синтеза виртуальной реальности. Разработанные авторские математические
модели позволяют производить геометрическую интерпретацию и синтез
объектов виртуальной реальности некоторых локальных процессов и явлений
в ионосфере.
Теоретическая ценность работы. Результаты работы полезны для научных областей: САПР, математическое моделирование, системы искусственного интеллекта, цифровая обработка сигналов, развивая:
научные основы построения средств САПР, способы разработки и исследования моделей, алгоритмов и методов для синтеза и анализа проектных решений, включая конструкторские и технологические решения в САПР и АСТПП;
научные основы реализации жизненного цикла проектирование -производство - эксплуатация, построения интегрированных средств управления проектными работами и унификации прикладных протоколов информационной поддержки;
научные основы построения средств компьютерной графики, методов геометрического моделирования проектируемых объектов и синтеза виртуальной реальности;
теорию декомпозиции и синтеза цифровых сигналов;
теорию сжатия и кодирования цифровых сигналов;
теорию формального описания многомерных цифровых сигналов;
- теорию автоматизированных систем распознавания образов и
компьютерного зрения.
Практическая значимость работы состоит в создании методологии и образующих её методов, а так же реализации программных средств применяемых для решения наукоёмкой задачи развития алгоритмов и методов САПР для проектирования и эксплуатации распределённых ГИС. Практическими результатами работы являются:
- разработаны базовые принципы и методология создания средств
управления проектными работами и унификации прикладных протоколов
информационной поддержки для новых и действующих распределенных ГИС;
разработан и исследован комплекс алгоритмов и программ автоматизированной обработки данных высотного зондирования ионосферы, произведён ряд мероприятий, направленных на решение задач обратной совместимости, унификации форматов и восстановления информации полученной при помощи зондов «АИС-М»; разработаны методологические принципы автоматизированного проектирования, развития и интеграции базы данных многолетних наблюдений за ионосферой; разработаны и исследованы библиотеки программ обеспечивающих совместимость форматов данных CADI (Канада); разработаны и исследованы алгоритмы визуализации и автоматизированного анализа ионограмм, реализованные в виде системы автоматизированной обработки данных вертикального зондирования ионосферы, перечисленный комплекс методов, программ и алгоритмов применяется в Институте земного магнетизма, ионосферы и распространения радиоволн им. Н. В. Пушкова РАН (ИЗМИРАН, Россия);
разработаны программные библиотеки, реализующие алгоритмы компьютерной графики и анализ этих алгоритмов, и предназначенные для методов геометрического моделирования проектируемых объектов и синтеза
виртуальной реальности; используются рядом учебных и исследовательских институтов (ИЗМИРАН, ФГАОУ ВО «СПбНИУ ИТМО» и ФГБОУ ВПО «СПбГПУ»), государственными и частными организациями, а так же частными лицами;
разработана методология автоматизированного проектирования и оптимизации использования вычислительных ресурсов ГИС для построения распределённых хранилищ данных, реализованная в виде комплексов программ и программных библиотек, предназначенных для автоматизированной обработки и хранения данных вертикального зондирования ионосферы, полученных при помощи распределённой сети станций, оборудованных зондами CADI, элементы которой используется Государственным научным центром Арктический и антарктический научно-исследовательский институт (ААНИИ, Россия).
Результаты диссертационной работы реализованы в виде специализированных предметно-ориентированных библиотек и программ для ЭВМ, зарегистрированных в федеральной службе по интеллектуальной собственности, патентам и товарным знакам РФ:
свидетельство № 2011617569, ГР от 28.09.2011;
свидетельство № 2011615714, ГР от 21.07.2011;
свидетельство № 2011612823, ГР от 08.04.2011;
свидетельство № 2013613915, ГР от 18.04.2013; -свидетельство № 2013614439, ГР от07.05.2013; -свидетельство № 2014617943, ГР от 06.08.2014;
- свидетельство № 2014661494, ГР от 30.10.2014.По результатам работы
получены патенты на изобретения от Федеральной службы по
интеллектуальной собственности (РОСПАТЕНТ):
патент № 2484523, ГР от 10.06.2013;
патент № 2500067, ГР от 27.11.2013.
По результатам работы получены акты о внедрении:
- программы автоматизированной обработки данных АИС-М, от 03/07/2012
(СПб ИЗМИРАН);
-программы приёма и хранения данных полученных методом вертикального зондирования ионосферы, от 14/11/2014 (ААНИИ);
методов и систем автоматизированного проектирования средств управления распределёнными информационными ресурсами, от 17/09/2014 (ФГБУ «СПбНИИФК»);
результатов диссертационной работы в учебно-исследовательскую практику, от 08/12/2014 (ФГАОУ ВО «СПбНИУ ИТМО»);
программы реализации и тестирования метода дифференциального сжатия изображений, от 17/11/2014 (ФГБОУ ВО «СПбГПУ»).
Подготовка кадров высшей квалификации заключается во внедрении ряда результатов полученных в диссертационной работе в практику учебной и научно-исследовательской деятельности высших учебных заведений и научных учреждений, подготовке автором учебных программ и материалов. Так часть результатов диссертационной работы применяется в учебном процессе и изложена в учебной и методической литературе ФГАОУ ВО «СПбНИУ
ИТМО» и ФГБОУ ВО «СПбГПУ». По результатам работы получены акты о внедрении от высших учебных заведений и научно-исследовательских институтов.
Достоверность и обоснованность результатов подтверждается корректным применением математического аппарата, успешным применением разработанных методик при решении практических задач САПР распределённых ГИС.
Адекватность моделей подтверждается тестовыми расчётами, устойчивостью и соответствием полученных результатов фундаментальным законам, используемым для построения и реализации моделей. Адекватность разработанных математических методов подтверждается последовательностью логических рассуждений, использованных при доказательствах.
Апробация работы. Результаты и выводы, полученные в диссертационной работе, докладывались и обсуждались на международных, всероссийских и региональных научных конференциях, всего сделано 20 докладов наиболее значимые из которых: III-VIII Всероссийская межвузовская конференция молодых учёных (Санкт-Петербург, 2006-2012 г.); VIII региональная научно-практическая конференция «Безопасность информационного пространства» (Челябинск, 2009 г.); IV Всероссийская конференция «Радиотехника и связь» (Москва, 2010 г.); Республиканский конгресс «Актуальные вопросы организации курортного дела, курортной политики и физиотерапии АРК» (Евпатория, Украина, 2010 г.); Всероссийская конференция «Информатика и вычислительная техника» (Ульяновск, 2010 г.); Международная научно-практическая конференция «Автоматизация и механизация технологических процессов на сортировочных станциях» (Москва, 2010 г.); Всероссийская конференция с международным участием «Информационные технологии в профессиональной деятельности и научной работе» (Йошкар-Ола, 2012 г.); Международный конгресс по интеллектуальным системам и информационным технологиям «IS&IT' 12» (Дивноморское, Россия, 2012, 2014, 2015 гг.); 9th Alexander Friedmann international seminar on gravitation and cosmology and 3rd satellite symposium on the casimir effect. (Saint-Petersburg, Russia. 22.06.2015 -27.06.2015).
Публикации. В ходе выполнения исследований опубликовано сорок восемь научных работ (общий объём более ПО печ. л.) из них по теме диссертации сорок четыре работы. В том числе 31 статья (в центральных отечественных и зарубежных изданиях, а также в трудах международных и всероссийских конференций). Автор имеет 7 зарегистрированных программ и программных библиотек, 2 патента на изобретения, 1 монографию, а также 17 статей в изданиях, рекомендованных ВАК РФ для публикации основных результатов диссертационных работ на соискание ученой степени доктора наук.
Структура и объем диссертации. Диссертация содержит введение, 8 глав, заключение и приложение изложенных на 279 с. машинописного текста. В работу включены: 71 рис., 14 табл., список литературы из 258 наименований и приложение, в котором представлены: авторские свидетельства, патенты на изобретения и акты о внедрении результатов работы.
Классификация распределённых ГИС
Наблюдения за окружающей средой производилось людьми с древнейших времён. Самые первые наблюдения в том или ином виде присутствуют практически у всех древних культур. Наблюдения за окружающей средой, сделанные на основе этих наблюдений прогнозы и выводы позволяли вести сельское хозяйство, заниматься мореходством, побеждать в сражениях, успешно организовывать уклад жизни. Современные распределённые ГИС имеют относительно недолгую, но стремительную историю развития. В России в 1849 г. была образована Главная Геофизическая обсерватория (ГГО) (первоначальное название до 1924 г. ГФО - Главная Физическая Обсерватория). А в 1923 г. произошло создание геомагнитных отделов в ГГО. Становление распределённых ГИС началось с изобретением электронных средств связи и коммуникации. Появление в начале ХХ-в проводного и беспроводного телеграфа позволило централизовать оперативный сбор данных, причём расстояние практически перестало оказывать сколько-нибудь значительное воздействие на время передачи данных, т.е. появилась возможность одновременного, централизованного мониторинга событий происходящих на значительном удалении друг от друга. Наряду с развитием средств связи появились новые методы геофизических исследований так, например, в конце 1920 начале 1330 гг. появился и нашёл широкое применение метод электроразведки, один из первых методов геофизической разведки. В начале 1920-х годов начались периодические исследования Арктического региона. Старейший и крупнейший в мире научный институт по исследованию полярных областей Земли - Арктический и антарктический научно-исследовательский институт (ААНИИ) ведет свою родословную от созданной Постановлением Президиума Высшего Совета Народного Хозяйства (ВСНХ) от 4 марта 1920 года крупной, хорошо оснащенной технически и укомплектованной учеными кадрами Северной научно-промысловой экспедиции (СНПЭ). В 1925 г. СНПЭ преобразована в Научно-исследовательский институт по изучению Севера (НИС), в котором наряду с промысловыми и геологическими работами успешно развиваются также океанографические, метеорологические, геофизические и географические исследования. Уже в 1929 г. на Земле Франца-Иосифа создана самая северная в мире геофизическая обсерватория. Так было положено начало систематическим исследованиям Арктического региона. В 1930-х гг. предпринимались воздушные и морские экспедиции. В 1932 г. экспедиция института на ледоколе «Александр Сибиряков» (нач. экспед. О. Ю. Шмидт) впервые в истории мореплавания прошла по всей трассе Северного морского пути от Архангельска до Берингова пролива за одну навигацию. В 1932-1933 гг. активное лидирующее участие СССР в проведении Второго Международного Полярного Года в Арктике. Участвовали 92 полярные станции, включая 33 новых. Было организовано 15 экспедиций в моря от Баренцева до Чукотского. С 1932 года начаты регулярные авиарейсы «ледовой разведки» и морские рейсы судов «ледового патруля». В 1935 г. состоялась первая высокоширотная комплексная экспедиция на ледоколе «Садко» в районе к северу от Шпицбергена, Земли Франца-Иосифа, Северной Земли. В этом же году начались детальные изучения гидрохимического режима арктических морей и низовьев сибирских рек. В 1939 г. произошло образование Научно-исследовательского института земного магнетизма (теперь ИЗМИРАН). В начале 1940-х годов решались вопросы удовлетворения запросов военно-морского флота и авиации в Арктике, обеспечение потребностей народного хозяйства, в первую очередь мореплавания по Северному морскому пути, значение которого в годы второй мировой войны резко возросло. После периода восстановления научно-исследовательского потенциала в 1950-х годах продолжились уже в систематическом режиме исследования Арктического и Антарктического регионов. Накопленные колоссальные объёмы научно-исследовательских данных и необходимость, для возможности дальнейших исследований глобальных явлений, межгосударственных взаимодействий стимулировало ряд научно-организационных проектов общемирового масштаба. С середины 1950-х гг. до начала 1960-х гг., международным мировым сообществом в лице Мирового совета по науке, были организованны проекты: Международных геофизических лет, Международных лет спокойного Солнца, Международных лет сотрудничества. Результатом этих проектов стало создание новых форматов общения мирового научного сообщества нацеленная на: открытость данных, более широкие возможности международного научного сотрудничества. В 1958 гг., по результатам проекта Международного геофизического года, был создан первый Мировой центр данных (МЦД). Новый уровень методов исследований применяемых в ГИС связан с развитием вычислительной техники и началом освоения космического пространства. Интересным фактом является, что первые исследования атмосферы и ионосферы при помощи радиозатменного метода были осуществлены не для Земли, а для Марса в 1965 г. и 1969 г. когда аппараты MARINER-4, 6 и 7 пролетели мимо Марса. Метод радиозатменного мониторинга применительно к изучению атмосферы Земли впервые применён Россией в 1990 г. с использованием орбитальной станции МИР, подобные исследования для Земли в США начаты в 1995 г. с использованием спутника MICROLAB. Современная реализация метода радиозатменного мониторинга атмосферы и ионосферы Земли базируется на использовании высокоорбитальных группировок спутников GPS и ГЛОНАСС и ряда низкоорбитальных спутников-приёмников GRACE, COSMIC и др. Современный этап развития методов ДЗЗ отсчитывается от 1972 г. с момента запуска искусственного спутника Landstat с установленной на борту мультиспектральной сенсорной системой позволявшей вести съёмку в четырёх спектральных диапазонах. Произошедшее с середины 1980-х гг. бурное развитие и повсеместное распространение электронных инфокомуникационных и вычислительных средств позволило постепенно перевести качество получения, обработки, хранения и анализа данных в распределённых ГИС на принципиально иной уровень. В связи с известными событиями в СССР и РФ в 1990-х и начале 2000-х распространение и интеграция ЭВС в ГИС расположенные на территории РФ несколько запоздало по сравнению с рядом передовых, в смысле организации научных исследований, государств. Только в последнее десятилетие на территории РФ происходит активная модернизация распределённых ГИС, приток молодого персонала, перенимающего опыт прежних поколений и компетентного в современных технологиях [29]. На сегодняшний день в РФ существует несколько фундаментальных направлений исследований в рамках, которых работают научно-исследовательские и образовательные учреждения обеспечивающие работу распределённых ГИС. В частности Федеральное космическое агентство «Роскосмос» при поддержке ряда организаций ведёт проекты ДЗЗ, атмосферного и ионосферного радиозатменного мониторинга, гидрометеорологических наблюдений, геодезии и картографии, экологического мониторинга и др. Научно исследовательский институт Арктики и Антарктики (ААНИИ) реализует проекты [249-251] исследования высокоширотной ионосферы, мониторинга геомагнитного поля, ряд климатических и гидрометеорологических проектов, проводит систематические исследования полярных географических регионов и др. Институт земного магнетизма и распространения радиоволн им. Пушкова проводит исследования и мониторинг: ионосферы и распространения радиоволн, солнечной и геомагнитной активности [64, 65], исследования магнитного поля Земли и других планет и др. Исследованиями в области: погоды и климата, океанографии, гидрометеорологии занимается Гидрометеорологический научно-исследовательский центр Российской Федерации.
Послойная блочная модель распределённой вычислительной системы
Проблемы взаимодействия с МЦД, современные ГИС для реализации всей полноты потенциала научных исследований непременно включаются в мировое научное пространство обмена данными и результатами исследований [133, 224, 233]. Таким образом, проблемы внутренней интероперабельности пересекаются с проблемами внешней интероперабельности и этот факт необходимо учитывать при разработке распределённой ГИС. (Следует отметить, что абсолютное доверие МЦД и международному сотрудничеству невозможно, в силу не научных, а военных и политэкономических интересов и амбиций различных государств).
Множество станций различных ГИС работает в сложных условиях, как с точки зрения окружающей среды (полярные зимовки, космическое пространство, дальние регионы мирового океана и др.), так и с точки зрения дефицита энергетических, вычислительных и коммуникационных ресурсов. Существенной проблемой является невозможность обновления аппаратного обеспечения на некоторых станциях (например, спутниковых), обновление программных средств, возможно, предусмотреть на стадии проектирования.
Развитие современных ГИС направленно на получение данных в режиме реального времени, т.е. станции непосредственного наблюдения должны регистрировать и передавать данные с достаточной скоростью для отслеживания, в реальном времени, динамических процессов происходящих в объектах мониторинга. Учитывая анализ тенденций и проблем развития, распределённых геоинформационных систем, возможно, сформулировать особенности построения отраслево-ориентированной САПР.
Определение типологических субъектов управления и реализации САПР при проектировании объектов распределённых ГИС.
Построение интегрированных средств управления проектными работами способных обеспечить полный жизненный цикл проектных решений проектирование - производство - эксплуатация.
Интеграция методов и средств САПР в инфраструктуру непрерывно совершенствуемой распределенной ГИС.
Особенное внимание к внедрению в проектные решения - комплексных средств управления проектными работами и унификации прикладных протоколов информационной поддержки; - средств разработки и исследования моделей, алгоритмов и методов для синтеза и анализа проектных решений; - специализированных методов оптимизации аппаратного и особенно программного обеспечения, с учётом специфичности структуры распределённых ГИС; - специализированных систем отладки и тестирования с учётом специфики распределённых ГИС и возможности обновления аппаратных и программных средств без остановки научно-производственного процесса работы распределённых ГИС; - средств компьютерной графики, методов геометрического моделирования проектируемых объектов и синтеза виртуальной реальности. Указанные положения определяют специфику архитектуры САПР распределённых ГИС. 1.6. Обобщённая структурная схема САПР распределённых ГИС В соответствии с требованиями стандарта [44] при создании САПР и их составных частей следует руководствоваться основными принципам: - системного единства; - совместимости; - типизации; - развития. Проектирование сложных методов и систем, реализующих необходимые виды обеспечения САПР, требует синтеза (конвергенции) и анализа (типизации), в частности построения структурной схемы САПР распределённых ГИС. На рисунке 1.4 приведена разработанная в ходе диссертационных исследований структурная, позволяющая рассматривать САПР распределённых ГИС как единую сложную систему.
Обобщённый комплекс средств автоматизированного проектирования (КСАП) включает: - комплекс средств автоматизированного проектирования математического и программно-алгоритмического обеспечения распределенной ГИС; - комплекс средств автоматизированного проектирования схемотехнического обеспечения распределенной ГИС; - геодезического и инженерно-строительного обеспечения распределенной ГИС; - комплекс средств автоматизированного проектирования информационно-методического и организационного обеспечения распределенной ГИС. Каждый из комплексов средств включает все необходимые виды обеспечения САПР и предусмотренные в рамках единой конвергентной структуры САПР распределённых ГИС методы и средства обеспечения интероперабельности.
Преобразование форматов архивных данных на примере станций ВЗИ ИЗМИР АН
Для удобства оперативного анализа и систематического массового контроля состояния данных, каждый класс данных характеризуется вектором Dy, где i,j - соответствующие индексы класса {ІЄІ—1.5, //=i...N,M,P,K,S). Вектор Dy может содержать, например, следующие обобщённые характеристики данных класса: d j - размерность, Jy 2 - число объектов в классе, dij,3 - средний объём объекта, dijA - минимальный объём объекта, dijt5 - максимальный объём объекта, dijt6 - формат хранения, dijt7 - дата последнего добавления объекта, d g - дата последнего запроса и др. В соответствии с предложенной системой разделения на классы данных исследовательских наблюдений (рис. 4.4) в рамках проекта исследования высокоширотной ионосферы Земли разработан ряд программ и программных библиотек обработки и хранения данных вертикального зондирования ионосферы.
В рамках реализации проекта по модернизации распределённой ГИС исследования высокоширотной ионосферы Земли решалась проблема организации систематического хранения, предварительной обработки и подготовки к последующему анализу данных, получаемых со СВЗИ. Постановка задачи: - анализ недокументированных форматов данных; - анализ форматов данных на соответствие документации, выявление недокументированных особенностей; - разработка программных библиотек чтения, преобразования форматов и подготовки к последующей обработке данных СВЗИ; - разработка программы визуализации, тестирования и эксплуатации математических моделей для обработки данных СВЗИ; - разработка структуры и реализация программ КСУБД для хранения данных СВЗИ; - внедрение и тестирование систем. Проект реализовывался при поддержке и непосредственном участии: - Санкт-Петербургского филиала федерального государственного бюджетного учреждения науки Института Земного магнетизма, ионосферы и распространения радиоволн им. Н.В.Пушкова Российской Академии наук (ИЗМИРАН); - Федерального государственного бюджетного учреждения Арктический и антарктический научно-исследовательский институт (ФГБУ ААНИИ). СВЗИ оборудованы локационными приемо-передающими анализаторами спектра отражённых от ионосферы сигналов (зондами) отечественного производства АИС-М, СП-З-М, БАЗИС-М и CADI (Канадского производства) [112, 198]. В отечественных зондах приставка «М» означает модификацию. Суть модификации заключается в дополнении зонда цифровым интерфейсом позволяющим производить настройку режимов зонда и автоматически получать и сохранять данные в электронном виде в ЭВМ [112]. В таблице (таблица 4.2) приведены некоторые характеристики зонда АИС-М (анализатор ионосферного спектра модифицированный) и CADI (Canadian advanced digital ionosonde).
Для разработки базы данных и возможности использования реляционной модели учтены следующие принципы: - соответствие таблиц, как образов, реальным физическим объектам, как прообразам; - достаточное количество полей и индексов в таблицах для оперативного извлечения информации о физическом прообразе и его однозначной идентификации; - устойчивость к программным и аппаратным сбоям и ошибкам; - быстродействие, достижимое за счёт оптимизации запросов, структуры таблиц и форматов хранимой информации. В структуре базы данных выделены следующие кластеры в соотвестствии со структурой рассмотренной ранее (рис. 4.4): - исходные данные; - обработка и анализ; - заключения, публикации, комментарии; - прогнозы; - техническая документация. Рассмотрим назначение каждого кластера в отдельности: исходные данные - данный кластер содержит в себе исходные данные, получаемые со СВЗИ, а так же результаты первичной обработки производимой «на местах»; обработка и анализ - результаты обработки исходных данных при помощи ЭВМ и человеком; заключения, публикации, комментарии - данный кластер содержит систематизированные, возможно обобщённые, результаты анализа, собственную базу знаний, отчётов, технической документации и других материалов, связанных с предметной областью; прогнозы - данный кластер является результатом работы математических моделей (интегрированных с БД) и позволяет: производить упорядоченное хранение данных прогнозов; КСУБД и документацию к программному и аппаратному обеспечению.
Рассмотренная организационно-логическая модель позволяет производить независимое хранение данных, являющихся результатами различных этапов исследовательской деятельности оценку адекватности прогнозирования и протоколированием рекомендуемых корректировок для математических моделей; техническая документация - кластер содержит информацию, относящуюся к средствам САПР, обслуживанию [123, 125, 136, 141]. Интегрировать математические методы обработки, анализа и прогнозирования непосредственно в систему. В свою очередь такая интеграция и непрерывный мониторинг конкурирующих математических моделей с оценкой адекватности их расчётов, позволяет вести доработку и совершенствование моделей. Ещё одним положительным фактором, с учётом интеграции документации, является возможность использования в качестве учебной базы знаний для обучающихся или специалистов желающих пройти дополнительную подготовку.
Практическая реализации КСУБД осуществлена на основе реляционной СУБД MySQL [24]. СУБД MySQL является кросплатформенной, в рассматриваемой работе использовалась на базе операционной системы из семейства Linux. MySQL имеет хорошие интерфейсы, для транслируемых языков, таких как PHP, Perl [50] и для компилируемых в исполняемые модули: С, C++ [151]. СУБД MySQL является хорошо зарекомендовавшим себя, на индустриальном рынке информационных технологий, продуктом, позволяет работать (в версиях MySQL выше 3.22) с таблицами до 263 байт, поддерживает механизм транзакций и псевдотранзакций на основе блокировок, обеспечивает многопользовательскую работу [92].
Для дополнительной разгрузки СУБД предусмотрено уменьшение объёмов таблиц путём разделения данных на: табличные и файловые. К табличным данным отнесём: настройки оборудования, время и особенности регистрации ионограммы, «компактные» результаты обработки и др. - эти данные будем хранить в таблицах; к файловым данным отнесём оцифрованные результаты регистрации отражённых от ионосферы сигналов в виде бинарных последовательностей, файлы изображений, некоторые виды документации, например, формата Portable Document Format (PDF) и др. Такой подход позволяет в несколько раз сократить размеры таблиц, следовательно, значительно снизить нагрузку на СУБД и ускорить её работу. 4.5. Выводы
В главе рассмотрены структура, принципы проектирования управляемых хранилищ данных для применения в распределённых ГИС. Выполнен анализ имеющихся систем, выявлены недостатки и направление развития. Предложены новые способы структуризации и организации хранилищ данных СУБД в распределённых ГИС, существенно способствующие повышению эффективности проектирования КСУБД. Предложенные принципы внедрены и успешно применены в практической работе САПР распределённых ГИС ИЗМИРАН и ААНИИ, что подтверждает их эффективность.
Проектирование системы управления данными многолетних наблюдений за ионосферой
Неравномерное распределение вычислительных мощностей между элементами ГИС требует специального внимания при разработке концепции программной архитектуры ГИС, и реализующих её методов САПР. Например, разгрузить каналы передачи информации возможно при помощи предварительной компрессии данных, с другой стороны компрессия данных требует определённых вычислительных затрат, и эти затраты могут быть достаточно велики при существенном объёме данных. Следовательно, требуется поиск наиболее оптимального решения, в том числе на основе разработки новых форматов данных. Так, например, спутниковые системы ДЗЗ производят мультиспектральную съёмку поверхности Земли. Съёмочная система EOS MODIS производит непрерывную съёмку в 36 частотных каналах с интервалом дискретизации от 250 м до 1000 м на пиксель. Российская панхроматическая камера KVR-1000 производит съёмку с разрешением 2 м. Таким образом, при ДЗЗ формируются колоссальные объёмы данных требующих передачи по спутниковым каналам связи. Для таких данных требуется компрессия, причём в большинстве случаев на основе методов без потери информации. Ресурсы (вычислительные, энергетические) расположенные на космических системах ДЗЗ существенно ограниченны [120, 184, 216, 244], поэтому с одной стороны необходимо сокращать количество вычислений с другой, при небольших мощностях передатчиков, предавать на Землю значительный объём данных.
Предложенное ранее рассмотрение цифровых сигналов как полевых структур (в формате тензорного поля) позволяет использовать численные методы расчёта полей к анализу и преобразованию цифровых сигналов.
Наиболее интересны методы частотного и дифференциального анализа [16, 33, 51, 138, 148]. Основы методов частотного анализа цифровых сигналов, в том числе с целью последующего сжатия, были рассмотрены ранее, кроме того, они достаточно хорошо разобраны в ставшей уже классической литературе по цифровой обработке сигналов [22, 144, 158, 159, 161, 176] и др., поэтому сконцентрируем внимание на рассмотрении пространственного анализа сигналов. Существует ряд способов формирования компактного вида цифровых сигналов, путём анализа пространственной структуры. В частности, для получения компактного вида изображений применяют векторизацию, т.е. в ходе морфологического анализа изображения выявляют графические примитивы (прямые, окружности, прямоугольники и т.д.), совокупность описания которых позволяет в некоторых случаях получить компактную форму. Данный способ не является универсальным, т.е. не все изображения возможно с целью сжатия эффективно разделить на графические примитивы, наиболее эффективно таким образом можно сжимать техническую графику (чертежи, эскизы и др.) и некоторые виды изображений, объекты, которых имеют чёткие границы и относительно простые формы, морфологический анализ изображений в большинстве случаев является достаточно сложной вычислительной задачей. Следующим способом является фрактальное сжатие [243], основанное на том, что изображение можно представить более компактно с помощью коэффициентов системы итерируемых функций (фракталов) [156, 165]. Фрактальное сжатие является очень затратным, с точки зрения вычислений, способом, но на некоторых образцах изображений показывает очень хорошие результаты. Известен способ, в котором из изображения, применяя метод «brash fire» (лесной пожар), формируют скелет многоугольника, толщиной 1-2 пикселя, являющийся диаграммой Вороного [165]. Данный способ так же достаточно затратен с точки зрения вычислений и не получил широкого распространения. Существуют и другие способы пространственного анализа цифровых сигналов с целью получения компактной формы. Мы остановимся на способе, в основу которого положен анализ дифференциальной структуры цифрового сигнала. Под дифференциальной структурой подразумеваются производные, обычно до третьего порядка, данного цифрового сигнала, для многомерных сигналов частные производные соответственно. В самом простом случае дифференциальное кодирование строится следующим образом, для элементов цифрового сигнала f[x], x є X , вычисляется ряд дельта-кода d[x] = f[x + 1]-f[x], xє(X-1), в силу того, что соседние элементы исходного сигнала f[x] обычно отличаются друг от друга значительно меньше диапазона значений f [x], полученный ряд дельта-кода d[x] может быть эффективно сжат [156, 208]. Для восстановления исходного сигнала, кроме самого ряда дельта-кода, необходимо знать начальное условие. Рассмотрим пример получения и некоторых особенностей дельта-кода: диаграмма (рис. 8.1) и ряды численных значений (таблица 8.1), соответственно. Очевидно, что значения дельта-кода имеют меньшую амплитуду и для их кодирования потребуется меньшее число разрядов, кроме того, значения дельта-кода будут чаще повторяться и, следовательно, к ним может быть применено статистическое кодирование.