Содержание к диссертации
Введение 7
1 Синтез и анализ непараметрических моделей коллективного типа в задачах восстановления стохастических зависимостей
1.1 Классификация статистических моделей коллективного типа 20
1.2 Восстановление многомерных стохастических зависимостей на основе непараметрических коллективов
1.3 Непараметрические коллективы решающих правил в задаче распознавания образов
1.4 Дифференциация признаков анализируемой ситуации по степени их влияния на формирование решения
1.5 Асимптотические свойства непараметрических моделей коллективного типа
1.6 Сравнение аппроксимационных свойств непараметрических моделей "коллективного типа
1.7 Оптимизация непараметрических моделей коллективного типа
1.7.1 Выбор закона распределения опорных точек 55
1.7.2 Методика формирования системы опорных точек 60
1.7.3 Оценивание областей компетентности непараметрических моделей коллективного типа
1.8 Свойства непараметрических моделей коллективного типа в условиях ограниченных выборок
1.8.1 Анализ непараметрических коллективов при • оценивании стохастических зависимостей
1.8.2 Анализ свойств непараметрических алгоритмов распознавания образов коллективного типа
Выводы 89
2 Непараметрические модели временных зависимостей, основанные на методе двойного коллективного оценивания
2.1 Традиционные непараметрические модели временных зависимостей коллективного типа и их свойства
2.2 Синтез и анализ непараметрических моделей временных зависимостей, основанных на методе двойного коллективного оценивания
2.3 Асимптотические свойства непараметрических коллективов временных зависимостей
2.4 Сравнение аппроксимационных свойств непараметрических коллективов в задаче восстановления временных зависимостей
2.5 Исследование свойств непараметрических моделей коллективного типа при коротких временных рядах
Выводы 123
3 Коллективы гибридных моделей в задаче восстановления стохастических зависимостей
3.1 Направления повышенной эффективности использования априорной информации
3.2 Традиционные гибридные модели 128
3.3 Модификации гибридных моделей 132
3.4 Синтез и анализ коллективов гибридных моделей 135
3.5 Оценка эффективности входящих в коллектив гибридных моделей
3.6 Сравнение аппроксимационных свойств коллектива гибридных моделей
3.7 Непараметрические модели стохастических зависимостей учётом их частичного описания
Выводы 161
4 Непараметрические модели последовательных процессов принятия решений
4.1 Непараметрические модели статических систем с линейной структурой
4.2 Непараметрические модели стохастических зависимостей, основанные на методе группового учёта аргументов
Выводы 177
5 Непараметрические модели анализа множеств случайных величин
5.1 Регрессионная оценка плотности вероятности 180
5.2 Применение метода декомпозиции обучающей выборки в задаче распознавания образов
5.3 Синтез и анализ непараметрической регрессии на основе метода декомпозиции выборки
5.4 Анализ множеств случайных величин при восстановлении стохастических зависимостей
5.5 Непараметрические алгоритмы классификации множеств случайных величин
5.6 Свойства непараметрических моделей стохастических зависимостей в условиях больших выборок
Выводы 221
6 Информационная система прогнозирования динамики состояния преступности региона
6.1 Основные понятия и определение объекта исследования 223
6.2 Системный анализ преступности и ее причины 225
6.3 Задачи исследования состояния преступности региона 241
6.4 Анализ направлений научных исследований в задачах профилактики и борьбы с преступностью
6.5 Структура информационной системы и описания процесса её ункционирования
6.6 Прогнозирование показателей преступности на примере Красноярского края
Выводы 271
7 Программное обеспечение непараметрических коллективов решающих правил и его применение
7.1 Программное обеспечение непараметрических коллективов решающих правил
7.1.1 Назначение комплекса программ и его функциональные возможности
7.1.2 Структура комплекса программ 274
7.1.3 Описание вспомогательных блоков 276
7.1.4 Блок программ «Непараметрические методы восстановления стохастических зависимостей»
7.1.5 Блок программ «Непараметрические методы распознавания образов»
7.1.6 Описание работы блока программ «Оценка вклада аргументов»
7.2 Статистические модели оценивания показателей эффективности электротехнических изделий
7.2.1 Непараметрические модели оценивания показателей эффективности электронасосных агрегатов
7.2.2 Статистический анализ влияния конструктивных особенностей рабочих колёс на эффективность электронасосных агрегатов
7.2.3 Разработка и исследование непараметрических моделей малорасходных вентиляторов системы охлаждения
7.3 Информационная система исследования закономерностей влияния параметров энерготехнологических процессов предпосевной высокочастотной обработки семян
7.3.1 Гибридные модели электромагнитного поля процессов ВЧ и СВЧ обработки семян пшеницы
7.3.2 Коллективы решающих правил в задаче исследования процессов ВЧ и СВЧ обработки семян пшеницы
7.3.3 Статистическая модель динамики развития валерианы лекарственной
7.3.4 Статистические модели оценивание показателей эффективности технологии высокочастотной предпосевной обработки клубней картофеля
7.4 Восстановление взаимосвязи между показателями гемодинамики сердечно-сосудистой системы организма человека в экологических условиях Севера. -зол
Выводы JJ
Заключение 332
Список литературы 337
Введение к работе
Актуальность работы. Методы коллективного оценивания находят широкое распространение на современном этапе развития теории обучающихся систем, когда возникла потребность в обобщении разнотипных алгоритмов обработки информации с целью получения интегрированных знаний.
Обязательным условием синтеза традиционных моделей коллективного типа является наличие конечного множества решающих правил, каждое из которых имеет самостоятельное значение. Тогда коллектив моделей, например, с позиций средневзвешенного преобразования либо оценивания областей их компетентности, аккумулирует преимущества составляющих коллектив решающих правил. Другим крайним случаем коллектива являются непараметрические модели, структуру которых образуют элементы обучающей выборки и соответствующие им ядерные (весовые) функции. Каждая ядерная функция оказывает влияние на процесс формирования решения только в пределах конкретной ситуации из обучающей выборки.
В научной литературе настойчиво обсуждается и разрабатывается идея о совместном использовании в коллективе разнотипных моделей - как средства наиболее полного учета априорной информации. Известно яркое высказывание профессора В. Хардле (Прикладная непараметрическая регрессия. — М.: Мир, 1993): «Совмещение параметрических и непараметрических составляющих может даже привести к построению лучшей модели, чем непараметрический или параметрический подход!». Получены первые успешные результаты исследований в данном направлении, к которым можно отнести методы локальной аппроксимации (Катковник В.Я., 1985), гибридные модели (Лапко А.В., 1993), полупараметрические и частично линейные модели (Хардле В., 1993). При этом особое внимание уделяется алгоритмам восстановления стохастических зависимостей, обеспечивающих учет частичных сведений об их виде и данных экспериментальных исследований.
Предлагаемая работа посвящена развитию и теоретическому обоснованию нового научного направления математического моделирования неопределённых систем с позиций методов непараметрической статистики и коллективного оценивания с целью повышения эффективности использования априорной информации на основе управляемого сочетания преимуществ параметрических и локальных аппроксимаций. Под неопределёнными системами понимаются системы, исследование которых осуществляется в условиях неполной информации о закономерностях их функционирования.
Непараметрические модели коллективного типа формируются на основе семейства упрощённых параметрических либо локальных аппроксимаций искомой зависимости, объединение которых в единое решающее правило осуществляется с помощью непараметрической оценки условного математического ожидания относительно параметров элемента коллектива и (или) значений их обобщённых характеристик.
К непараметрическим коллективам относятся их модификации, гибридные и непараметрические модели, основанные на последовательных процедурах формирования решений.
Среди рассматриваемого класса моделей различаются линейные и нелинейные непараметрические коллективы, исследование асимптотических свойств которых требуют разработки соответствующих аналитических технологий.
В рамках данного направления появляется возможность обобщения традиционного непараметрического подхода и обеспечивается преемственность результатов научных исследований, что определяет фундаментальную значимость тематики диссертации.
Полученные при этом научные результаты создают методическую и математическую основу автоматизации проектирования информационных систем, реализующих непараметрические коллективы решающих правил, адаптируемых к объектам различной природы и условиям их исследования.
Основные научные результаты диссертации получены в рамках планов научных исследований Института вычислительного моделирования СО РАН (№01.9.80 007505 «Разработка математического и программного обеспечения многоуровневых интеллектуальных информационных систем принятия решений», №0.200.1 13696 «Разработка математического и программного обеспечения интеллектуальных информационно-аналитических систем») и Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнёва. Актуальность темы диссертации признана рядом Российских фондов и организаций, осуществляющих финансирование научных исследований (РФФИ, гранты №00-01-00001, №01-01-06015 (MAC), №02-01-06409 (MAC), №03-01-00081; РГНФ - №03-05-12012в; Министерство образования РФ по фундаментальным исследованиям в области естественных и точных наук - №Е00-69-02; Красноярский краевой фонд науки - №10F0023M; Министерство промышленности, науки и технологий РФ (Совет по грантам Президента РФ) - №МК-143.2003.01; Фонд содействия отечественной науки).
Тема диссертации соответствует перечню «Критические технологии РФ» по направлению — компьютерное моделирование.
Цель работы: Разработать теоретические основы оптимального синтеза и анализа непараметрических коллективов решающих правил, обеспечивающих эффективное использование априорной информации на основе управляемого сочетания преимуществ параметрических и локальных аппроксимаций.
Цель достигается путём решения следующих задач:
1. Развить и обобщить методику синтеза непараметрических моделей коллективного типа в задачах восстановления многомерных стохастических зависимостей и распознавания образов в условиях неполной информации.
2. Разработать методику построения непараметрических моделей временных зависимостей по коротким рядам наблюдений их переменных на основе метода двойного коллективного оценивания, исследовать их свойства и определить условия компетентности.
3. Разработать и исследовать коллективы гибридных моделей стохастических зависимостей, учитывающих априорные сведения об их виде, локальном поведении и обеспечивающих «обход» проблемы выбора моделей в конкретных условиях их применения.
4. Разработать методику синтеза и анализа непараметрических моделей последовательных процессов принятия решений, создающих основу исследования сложных неопределённых систем с линейной структурой.
5. С позиций методов коллективного оценивания разработать и исследовать непараметрические модели анализа множеств случайных величин в задачах восстановления стохастических зависимостей и распознавания образов.
6. Создать информационные средства, реализующие непараметрические коллективы решающих правил, и применить их при исследовании социальных, медико-биологических и технических систем.
Методы исследования. Для решения поставленных задач использовались теория сложных и обучающихся систем, аппарат теории вероятности и математической статистики, методы коллективного оценивания и статистического моделирования.
Научная новизна исследований. Впервые теоретически обоснована и решена проблема оптимального синтеза и анализа непараметрических моделей коллективного типа в задачах восстановления стохастических зависимостей, распознавания образов, включая обработку множеств случайных величин, и моделирования временных процессов, которые обеспечивают эффективное использование априорной информации путём сочетания преимуществ параметрических и локальных аппроксимаций, тем самым сформировано новое научное направление в развитии методологии статистического моделирования систем при неполной информации.
В частности:
1. Развиты теоретические основы построения непараметрических моделей коллективного типа в задачах восстановления стохастических зависимостей и распознавания образов, обобщающих традиционные локальные аппроксимации и позволяющие эффективно использовать информацию обучающих выборок. Разработаны новые непараметрические коллективы с учётом эффективности упрощённых параметрических аппроксимаций, которые характеризуются более высоким уровнем помехозащищённости и точности. Из анализа асимптотических свойств непараметрических коллективов установлена слабая зависимость аппроксимационных свойств непараметрических моделей коллективного типа от вида упрощённых параметрических аппроксимаций. Впервые разработана методика оценивания вклада аргументов в формирование значений восстанавливаемой зависимости на основе непараметрического коллектива с системой линейных упрощённых аппроксимаций.
2. Предложена и обоснована методика двойного коллективного оценивания при синтезе непараметрических моделей временных зависимостей, включая нестационарные процессы, обеспечивающая максимальное использование информации коротких рядов наблюдений их переменных и повышенную помехозащищённость разрабатываемых моделей.
3. Разработаны и исследованы новые модификации гибридных моделей, отличающихся видом непараметрической оценки функции невязки между параметрической аппроксимацией восстанавливаемой зависимости и её наблюдениями из обучающей выборки, что обеспечивает более полный учёт априорной информации. Для обхода проблем выбора вида функции невязки, предложена методика синтеза и анализа коллектива гибридных моделей.
4. С позиций методов коллективного оценивания разработаны и исследованы непараметрические модели статических систем с линейной структурой. При этом впервые аналитически обоснована возможность частичного сжатия пространства признаков непараметрической регрессии на основе их линейного преобразования.
5. Сформулирована и решена проблема анализа множеств случайных величин в задачах восстановления стохастических зависимостей и распознавания образов. Идея предлагаемого подхода заключается в замене операций над множествами на преобразования законов распределения их элементов с помощью непараметрических коллективов решающих правил.
Практическая ценность диссертации заключается в разработке методики, алгоритмических и программных средств синтеза и анализа структуры непараметрических коллективов решающих правил, ориентированных на исследование статических и динамических объектов различной природы при априорной неопределённости.
Полученные научные результаты рекомендуются для использования при выборе методов аппроксимации, построении и оптимизации непараметрических коллективов решающих правил в задачах восстановления стохастических зависимостей и распознавания образов.
Слабая зависимость условий асимптотической сходимости статистических оценок показателей эффективности непараметрических коллективов решающих правил от вида упрощённых аппроксимаций обосновывает использование линейных упрощённых аппроксимаций, что имеет важное прикладное значение для повышения вычислительной эффективности изучаемого класса моделей и обеспечивает разработку методики оценивания вклада аргументов при формировании значений восстанавливаемой функции.
Применение непараметрических моделей временных зависимостей коллективного типа открывает возможность исследования широкого класса уникальных социальных, экономических и медико-биологических систем, динамика которых характеризуется короткими рядами наблюдений их переменных.
Гибридные модели многомерных стохастических зависимостей гарантируют преемственность результатов научных и прикладных разработок на основе использования ранее разработанных «старых» моделей в качестве дополнительной исходной информации.
Критерии статистического оценивания условий преимущества непараметрических коллективов решающих правил создают методическую и алгоритмическую основу автоматизации их проектирования при построении типовой информационной системы.
Информационные средства, реализующие непараметрические коллективы решающих правил, обладают возможностью адаптации к различным условиям исследования неопределённых систем и требованиям пользователей.
Автор защищает:
Модификации непараметрических моделей многомерных стохастических зависимостей и алгоритмов распознавания образов коллективного типа, обеспечивающие эффективное использование информации обучающих выборок на основе управляемого сочетания преимуществ параметрических и локальных аппроксимаций. Вычислительные аспекты применения непараметрических коллективов решающих правил и методы синтеза их эффективной структуры.
Непараметрические модели временных зависимостей, основанные на методе двойного коллективного оценивания; зависимость их свойств от особенностей исходной информации, содержащейся в коротких рядах наблюдений переменных изучаемых процессов, и параметров непараметрических коллективов. Свойства предложенных моделей и критерии оценивания условий их компетентности.
Методику оценивания вклада аргументов в формирование значений восстанавливаемой зависимости на основе непараметрических моделей коллективного типа, использующих систему линейных упрощённых аппроксимаций.
Коллективы гибридных моделей многомерных стохастических зависимостей и их модификации; асимптотические свойства моделей и результаты сравнения их показателей эффективности. Непараметрические модели статических систем с линейной структурой, элементы которой аппроксимируются непараметрическими регрессиями и образуют нелинейный коллектив решающих правил; асимптотические свойства показателей эффективности моделей и их зависимость от особенностей исходной информации.
Непараметрические модели анализа множеств случайных величин в задачах восстановления стохастических зависимостей и распознавания образов, синтез которых основывается на методах коллективного оценивания; свойства моделей и алгоритмы их оптимизации. 7. Информационные средства, реализующие непараметрические коллективы решающих правил. Результаты их применения при прогнозировании динамики показателей преступности в регионе и урожайности сельскохозяйственных культур; исследовании закономерностей гемодинамических процессов сердечно-сосудистой системы организма человека в экологических условиях Севера; оценивании показателей эффективности системы терморегулирования спутников связи.
Реализация результатов работы. Непараметрические модели временных зависимостей коллективного типа и методика оценивания вклада аргументов в формирование их значений составили основу математического обеспечения информационной системы прогнозирования динамики показателей состояния преступности региона, которая используется в учебном процессе Сибирского юридического института МВД России и планировании деятельности ГУВД Красноярского края.
Непараметрические модели многомерных стохастических зависимостей коллективного типа и гибридные модели использованы при создании информационных средств оценивания показателей эффективности системы терморегулирования спутников связи в НПО «Прикладная механика» (г. Железногорск), исследовании технологии высокочастотной предпосевной обработки семян, прогнозировании урожайности сельскохозяйственных культур (Красноярский государственный аграрный университет).
Разработанные непараметрические модели коллективного типа и программные средства внедрены в Институте медицинских проблем Севера СО РАМН для исследовании взаимосвязей между параметрами гемодинамики сердечно-сосудистой системы организма человека в экологических условиях Севера.
Материалы диссертации включены в учебное пособие «Непараметрические системы обработки информации», изданное в рамках Федеральной целевой программы «Государственная поддержка интеграции высшего образования и фундаментальной науки 1997-2000 годы» и рекомендованное Министерством образования РФ для обучения студентов по направлению 654600 - «Информатика и вычислительная техника».
Апробация работы. Основные положения диссертации представлялись и обсуждались на Всероссийских, Международных и региональных конференциях, в частности: 3-ей Всероссийской конференции с участием стран СНГ «Распознавание образов и анализ изображений: новые информационные технологии» (Нижний Новгород, 1997), Всероссийской конференции «Здоровье общества и безопасность жизнедеятельности» (Красноярск, 1997), 8-ой Всероссийской конференции «Математические методы распознавания образов» (Москва, 1997г.), 3-ем и 4-ом Сибирском конгрессе по прикладной и индустриальной математике (Новосибирск, 1998г., 2000г.), Международной конференции «Идентификация систем и задачи управления» (Москва, 2000г.), 5-ой Международной конференции «Распознавания образов и анализ изображений: новые информационные технологии» (Самара, 2000г.), Международной научно-практической конференции «Сибирский авиационно-космический салон» (Красноярск - Железногорск, 2001г., 2002г.), Международной конференции «12th International Heat Pipe Conference» (Moscow - Kostroma - Moscow, 2002), Всероссийской научно-практической конференции «Проблемы информатизации региона» (Красноярск, 2003г.), 7-ой Всероссийской научной конференции с участием иностранных учёных «Современные методы математического моделирования природных и антропогенных катастроф» (Красноярск, 2003г.).
Результаты исследований включались в основные научные достижения Института вычислительного моделирования СО РАН; представлены в отчётах грантов РФФИ №00-01-00001 «Разработка непараметрических систем распознавания образов, основанных на методе коллективного оценивания», №01-01-06015 (MAC), 02-01-06409 (MAC), №03-01-00081 «Разработка непараметрических систем классификации множеств случайных величин»; гранта РГНФ №03-05-12012в «Разработка территориально распределённой информационной системы эпидемиологического мониторинга артериальной гипертонии среди населения региона»; гранта Министерства образования РФ по фундаментальным исследованиям в области естественных и точных наук №Е00-69-02 «Разработка и исследование непараметрических моделей коллективного типа в задачах восстановления стохастических зависимостей»; гранта Красноярского краевого фонда науки №10F0023M «Разработка и исследование непараметрических моделей нестационарных зависимостей коллективного типа»; гранта Президента РФ № МК-143.2003.01 «Разработка теоретических основ построения непараметрических моделей коллективного типа в задачах восстановления стохастических зависимостей» и гранта Фонда содействия отечественной науке «Выдающиеся учёные. Кандидаты и доктора наук РАН».
Перспективный характер направления исследований и научная новизна полученных результатов отмечалась в журнале «Вестник РФФИ» (№3, 2001).
Публикации. Результаты теоретических, экспериментальных и прикладных исследований опубликованы в 53 печатных работах, из них 11 статей в журналах рекомендованных ВАК для представления материалов докторских диссертаций, три монографии, учебное пособие и 10 статей в зарубежной печати.
Структура и объём работы. Диссертация состоит из введения, семи глав, заключения, списка использованной литературы (175 наименований), содержит 357 страниц машинописного текста, иллюстрируется 107 рисунками.
