Электронная библиотека диссертаций и авторефератов России
dslib.net
Библиотека диссертаций
Навигация
Каталог диссертаций России
Англоязычные диссертации
Диссертации бесплатно
Предстоящие защиты
Рецензии на автореферат
Отчисления авторам
Мой кабинет
Заказы: забрать, оплатить
Мой личный счет
Мой профиль
Мой авторский профиль
Подписки на рассылки



расширенный поиск

Научно-методические основы построения и программное обеспечение региональной системы мониторинга с интеллектуальной высокопроизводительной обработкой данных Замятин, Александр Владимирович

Диссертация, - 480 руб., доставка 1-3 часа, с 10-19 (Московское время), кроме воскресенья

Автореферат - бесплатно, доставка 10 минут, круглосуточно, без выходных и праздников

Замятин, Александр Владимирович. Научно-методические основы построения и программное обеспечение региональной системы мониторинга с интеллектуальной высокопроизводительной обработкой данных : диссертация ... доктора технических наук : 05.11.13 / Замятин Александр Владимирович; [Место защиты: ГОУВПО "Московский государственный институт электронной техники (технический университет)"].- Зеленоград, 2012.- 313 с.: ил.

Введение к работе

Актуальность работы. Растущая динамика и масштаб изменений в среде обитания человека обеспечивают особое внимание к проблемам окружающей среды. Для задач экологического мониторинга природно-территориальных комплексов, характеризующихся динамичностью, неоднородностью, большой площадью все более активно применяют аэрокосмические подходы, базирующиеся на методах дистанционного зондирования Земли (ДЗЗ), геоинформационных системах (ГИС) и технологиях. Регулярно получаемые и архивируемые в центрах приема, хранения и распространения значительные объемы данных ДЗЗ с широким спектром характеристик, увеличивают требования потребителей к оперативности, точности, глубине содержательной обработки данных, к адекватности отражаемых процессов и явлений ландшафтного покрова, в том числе и при дефиците исходной информации о ландшафтно-классовой структуре исследуемой территории. Информационные системы, осуществляющие не только традиционные сбор, хранение и распространение данных ДЗЗ, но и более глубокую их обработку с созданием различных информационных продуктов, относят к системам мониторинга.

В значительной степени глубокая содержательная обработка данных в таких системах с созданием различных информационных продуктов для решения задач мониторинга предполагает решение задач, характерных исключительно для интеллектуальных экспертных систем -интерпретации как формирования на основе исходных данных высокоуровневых выводов, прогнозирования как проектирования возможных последствий ситуации, мониторинга как сравнения ожидаемого и фактического поведения среды.

Значительный вклад в исследование проблем построения систем мониторинга и в создание развитых методов обработки данных ДЗЗ для решения научно-прикладных задач мониторинга окружающей среды внесли отечественные и зарубежные ученые: Бондур В.Г., Виноградов Б.В., Гансвинд И.Н., Гарбук СВ., Гершензон В.Е., Кудашев Е.Б., Кузнецов А.Е., Копылов В.Н., Лебедев В.В., Лукьященко В.И., Лупян Е.А., Марков Н.Г., Пяткин В.П., Рюмкин А.И., Савин А.И., Шокин Ю.И., Plaza A.J., Chang С.-I., Clarke К.С, Landgrebe D.A, Haralick R.M., Richards J.A., Verburg P.H., Pontius Jr., Benenson I., Motta G. и др.

Несмотря на значительные результаты исследований в области обработки данных ДЗЗ, а также стремительное развитие глобальных и национальных систем мониторинга, обеспеченных масштабной аэрокосмической и другой технической поддержкой, применение этих систем при решении задач в интересах рядовых потребителей, учитывая глобальный характер областей приложения, до сих пор ограничено. Более целесообразным представляется использование региональных систем

мониторинга с центрами приёма, обработки и распространения, обладающих достаточными техническими возможностями для сравнительно сложной обработки данных ДЗЗ. Однако, традиционно, вопросам создания и развития наземных сегментов (в отличие от орбитальных) региональных систем мониторинга, функционирующих в интересах рядовых потребителей, достаточного внимания не уделялось.

Проблема создания эффективного математического и программного обеспечения систем мониторинга существенно осложняется стремительным развитием области знаний, связанной с задачами обработки аэрокосмической информации, отличающейся постоянным совершенствованием спектральной и пространственной разрешающей способности данных ДЗЗ и увеличением поступающих и накопленных объемов этих данных. В этих условиях существующие типовые алгоритмические подходы и стандартные вычислительные средства пользователя для требуемой при этом вычислительно сложной и ресурсоемкой обработки данных в значительной степени не пригодны.

Для преодоления этих ограничений в условиях все большей доступности мощных вычислительных ресурсов существенно возрастает интерес отечественных и зарубежных ученых к области высокопроизводительных параллельных вычислений, в том числе и для задач обработки данных ДЗЗ. Однако, современные результаты исследований в этой области характеризуются обзорной направленностью и не содержат необходимых деталей практической реализации при использовании доступных мощных вычислительных ресурсов -дорогостоящей суперкомпьютерной техники или недорогих типовых ПЭВМ, объединенных в локальной вычислительной сети. Наконец, отсутствуют концептуальные основы построения региональных систем мониторинга, в значительной степени свободных от вышеуказанных ограничений и недостатков, базируемые на современных возможностях комплексной высокопроизводительной обработки данных ДЗЗ, ориентированные на создание широкого спектра оригинальных информационных продуктов для задач мониторинга.

Поэтому работа, направленная на теоретическое обобщение и
решение крупной научно-технической проблемы, связанной с созданием
многофункционального математического и программного обеспечения для
существующих и вновь проектируемых региональных систем
мониторинга, наделенных возможностями интеллектуальной

высокопроизводительной обработки поступающих и накопленных массивов данных ДЗЗ, представляется крайне актуальной.

Цель диссертационной работы. Развитие научно-методических основ построения и разработка программного обеспечения региональных систем мониторинга, позволяющих за счет интеллектуальной высокопроизводительной обработки данных оперативно создавать

широкий спектр оригинальных информационных продуктов, направленных на совершенствование решения современных задач мониторинга.

Для достижения поставленной цели необходимы:

  1. Разработка научно-методических основ построения систем мониторинга с использованием аэрокосмических методов и интеллектуальной высокопроизводительной обработки данных, включая концепцию системы, основные требования к системе и её структуру, предусматривающих возможность оперативного создания спектра оригинальных информационных продуктов, направленных на совершенствование решения задач мониторинга.

  2. Создание математического обеспечения (методов и алгоритмов) системы мониторинга, направленного на комплексную интеллектуальную обработку данных ДЗЗ с различным спектральным и пространственным разрешением при низкой чувствительности к статистическим характеристикам данных, доступную за счет более высокой вычислительной эффективности к широкому использованию на типовых ПЭВМ, и обеспечивающих оперативность, точность и адекватность отражаемых процессов и явлений ландшафта в условиях дефицита исходной информации.

  3. Адаптация основных компонентов созданного математического и программного обеспечения системы мониторинга для высокопроизводительных параллельных вычислений, применимых как на дорогостоящих суперкомпьютерах, так и на кластерах из недорогих типовых ПЭВМ, и направленная на значительное увеличение производительности в условиях вычислительной сложности обработки данных и их значительных объемов.

  4. Разработка программного обеспечения (ПО) основных подсистем системы мониторинга с интеллектуальной высокопроизводительной обработкой данных, созданного с учетом сформулированной концепции и реализующего предложенные методы и алгоритмы.

  5. Апробация разработанной системы при создании различных информационных продуктов и решении прикладных задач аэрокосмического мониторинга с использованием данных ДЗЗ и результатов их обработки.

Методы исследования. В работе использованы методы системного анализа, многомерного статистического анализа, теории распознавания образов, текстурного и нейросетевого анализа, пространственной индексации данных, стохастического пространственного моделирования, сжатия аэрокосмических изображений, параллельных вычислений, объектно-ориентированного проектирования и программирования.

Научная новизна. Научной новизной обладают следующие основные результаты:

  1. Концепция построения региональной информационной системы мониторинга, предусматривающая возможность альтернативного использования данных ДЗЗ с различным спектральным и пространственным разрешением, а также комплексную интеллектуальную обработку данных, позволяющих оперативно создавать спектр информационных продуктов, адекватно отражающих происходящие процессы и явления ландшафта, и направленных на совершенствование решения задач мониторинга с использованием аэрокосмических методов.

  2. Методы и алгоритмы автоматизированной интерпретации мульти- и гиперспектральных аэрокосмических изображений, отличающиеся от аналогов низкой чувствительностью к статистическим характеристикам данных, и, при этом, обладающих более высокой точностью и вычислительной эффективностью обработки.

  3. Методы и алгоритмы построения по разновременным аэрокосмическим данным прогнозных карт динамики ландшафтного покрова, и отличающиеся учетом особенностей краткосрочного и долгосрочного прогнозирования, позволяющих оперативно и адекватно отражать процессы и явления ландшафта в условиях дефицита исходной информации.

  4. Алгоритмы сжатия мульти- и гиперспектральных аэрокосмических изображений, повышающие эффективность процедур архивирования, каталогизации и передачи данных по каналам связи в условиях значительных объемов накопленной и получаемой системами мониторинга аэрокосмической информации.

  5. Методы и алгоритмы сжатия и автоматизированной интерпретации мульти- и гиперспектральных аэрокосмических изображений, а также построения прогнозных ландшафтных карт динамики, значительное увеличение производительности которых достигается их повышенной вычислительной эффективностью, а также адаптацией к параллельным вычислениям, применимой как на дорогостоящих суперкомпьютерах, так и на кластерах из недорогих типовых ПЭВМ.

  6. Результаты исследований разработанного математического и программного обеспечения для задач аэрокосмического мониторинга, выполненные с использованием модельных и реальных данных, и позволяющие оценить пределы применимости и вычислительную эффективность предложенных методов и алгоритмов.

Теоретическая значимость работы. Теоретическая значимость
работы заключается в решении крупной научной проблемы создания
исследовательских и прикладных систем мониторинга,

характеризующихся высокой оперативностью, точностью и адекватностью отражаемых процессов и явлений ландшафта, достигаемых

использованием аэрокосмических методов и интеллектуальной высокопроизводительной обработкой данных при построении оригинальных информационных продуктов.

Практическая значимость и внедрение результатов работы.

Практически значимыми являются созданные методы, алгоритмы и ПО системы мониторинга, использованные:

в проектах Российского фонда фундаментальных исследований в качестве руководителя (№№11-07-00027-а, 03-07-06024-мас) и ответственного исполнителя (№№00-07-90124-в, 03-07-90124-в, 06-05-78056-д);

в проекте анализа динамики ландшафта территории Португалии при финансовой поддержке Португальского фонда науки и технологии (№ PTDC/CS-GEO/101836/2008);

в международном проекте TEMPUS IV 1593 86-TEMPUS-12009-1-DE-TEMPUS-JPCR в Институте кибернетики Национального исследовательского Томского политехнического университета (ТПУ);

при выполнении межвузовского исследовательского проекта №04/07-2011 «Теоретические основы построения и программное обеспечение интеллектуальной высокопроизводительной информационной системы аэрокосмического мониторинга» Программы развития ТПУ;

в проекте создания Международной аэрокосмической системы глобального мониторинга (МАКСМ) для задач прогнозирования природных стихийных бедствий и техногенных катастроф, включая определение концептуальных основ построения наземной инфраструктуры МАКСМ;

в системе ГО и ЧС по Томской области в целях предупреждения, анализа причин и последствий чрезвычайных антропогенных и природных ситуаций на подведомственных службе территории;

при выполнении инициативных исследовательских проектов с промышленными предприятиями нефтегазовой отрасли (ООО «Газпром трансгаз Томск», ООО «Норд-Империал», ОАО «ТомскНИПИнефть», ООО «КогалымНИПИнефть»), а также х/д №8-21/03 между Институтом «Кибернетический центр» ТПУ и ОАО «Востокгазпром».

Результаты внедрения и практического использования результатов подтверждены соответствующими документами.

Основные защищаемые положения.

1. Информационная система мониторинга, основанная на оригинальных концепции, математическом и программном обеспечении, позволяет с высокой степенью оперативности получения результатов, адекватности отражаемых процессов и явлений ландшафта, выполнять комплексную интеллектуальную обработку данных и создавать спектр оригинальных информационных продуктов, направленных на совершенствование решения задач мониторинга.

  1. Методы и алгоритмы системы мониторинга позволяют осуществлять интеллектуальную обработку данных дистанционного зондирования Земли с вариативным спектральным и пространственным разрешением и различными статистическими характеристиками при высокой вычислительной эффективности и точности такой обработки.

  2. Методы и алгоритмы системы мониторинга позволяют создавать по разновременным аэрокосмическим данным прогнозные карты динамики ландшафтного покрова, отличающиеся учетом особенностей краткосрочного и долгосрочного прогнозирования при высокой адекватности отражаемых процессов и явлений ландшафта в условиях дефицита исходной информации.

  3. Оригинальные подходы и алгоритмы сжатия аэрокосмических изображений повышают эффективность процедур архивирования, каталогизации и передачи данных по каналам связи в условиях значительных объемов накопленной и получаемой наземными сегментами систем дистанционного зондирования Земли аэрокосмической информации.

  4. Адаптация основных компонентов созданного математического и программного обеспечения системы мониторинга для параллельных вычислений позволяет в несколько раз увеличить производительность сложной обработки данных, и применима как на дорогостоящих суперкомпьютерах, так и на вычислительных кластерах из недорогих типовых ПЭВМ.

Публикации и апробация работы. Полученные новые научно-практические результаты изложены в 50 работах, представленных на отечественных и зарубежных конференциях и симпозиумах, включая статьи в 13 реферируемых журналах, рекомендуемых ВАК РФ, две монографии, одна из которых издана на английском языке за рубежом, свидетельство о государственной регистрации программы для ЭВМ, а также учебно-методические пособия с грифами.

Основные результаты работы докладывались и обсуждались на следующих конгрессах, симпозиумах, конференциях и семинарах: Международный научный симпозиум ассоциации ISPRS, Вена, Австрия, 2010 г.; Международный форум по геоинформатике, Зальцбург, Австрия, 2009 г.; 1-ый семинар ассоциации EARSeL, университет Гумбольта, Берлин, 2006 г.; Международные конференции Ассоциации геоинформационных лабораторий Европы AGILE V-X (г. Пальма, Испания, 2002 г.; г. Лион, Франция, 2003 г.; г. Ираклион, Греция, 2004 г.; Эшторил, Португалия, 2005 г.; Визиград, Венгрия, 2006 г.; Олборг, Дания, 2007), Русско-американский семинар «Studies of Socio-Natural Co-Evolution from Different Parts of the World» (г. Новосибирск, 2002 г.), IX Международный симпозиум ''Remote Sensing 2002" SPIE, (г. Ираклион, Греция, 2002 г.), V Международный семинар «Computer Science and Information Technologies»

(г. Уфа, 2003 г.), V и VI Всероссийские научно-технические конференции «Нейроинформатика - 2003» и «Нейроинформатика - 2004» (г. Москва), XX Международный конгресс ISPRS (г. Стамбул, Турция, 2004 г.), I Международная конференция «Земля из космоса - наиболее эффективные решения» (г. Москва, 2004 г.). Личный вклад:

1. Постановка цели и задач исследования, разработка концепции
построения региональной информационной системы мониторинга,
использующей аэрокосмические методы и высокопроизводительную
интеллектуальную обработку данных, выполнены автором [4].

2. Разработка математического и программного обеспечения
автоматизированной интерпретации мульти- и гиперспектральных
аэрокосмических изображений (АИ) выполнены совместно с
Н.Г. Марковым и А.А. Напрюшкиным [1,2,9,10]. Разработка технологии
высокопроизводительной распределенно-параллельной
автоматизированной интерпретации, а также результаты соответствующих
исследований получены автором [1,7].

  1. Разработка математического обеспечения построения прогнозных карт динамики ландшафтного покрова выполнена совместно с Н.Г. Марковым [2,15]. Разработка математического и программного обеспечения моделирования с учетом ландшафтно-классовых особенностей на основе набора пространственных характеристик, способов повышения эффективности долгосрочного прогнозирования, а также алгоритмов высокопроизводительной распределенно-параллельной обработки данных для моделирования, выполнены под руководством и при участии автора [1,6,8,13,16]. Апробация разработанного ПО моделирования выполнена совместно с П. Кабралом [3,14].

  2. Разработка математического и программного обеспечения сжатия мультиспектральных АИ, а также проведение соответствующих экспериментальных исследований выполнены совместно с То Динь Чыонгом под руководством и при участии автора [11,12]. Разработка математического и программного обеспечения дифференцированного сжатия мультиспектральных данных ДЗЗ с потерями, алгоритма сжатия гиперспектральных АИ и его адаптация для параллельного исполнения, выполнены при непосредственном участии автора [5].

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка использованных источников из 275 наименований и приложений. Объем основного текста диссертации составляет 268 страниц машинописного текста, иллюстрированного 64 рисунками и 11 таблицами.

Похожие диссертации на Научно-методические основы построения и программное обеспечение региональной системы мониторинга с интеллектуальной высокопроизводительной обработкой данных