Содержание к диссертации
Введение
1 Адаптивные оценки параметров распределений 13
1.1 Постановка задачи. Уровни априорной информации 13
1.2 Робастные методы оценивания параметров распределений 14
1.3 Адаптивные оценки параметров распределений на основе взвешенного метода максимального правдоподобия 16
1.3.1 Взвешенный метод максимального правдоподобия 16
1.3.2 Процедуры адаптации 20
1.4 Адаптивные полупараметрические оценки параметра сдвига 21
1.4.1 Постановка задачи. Взвешенный метод максимального правдоподобия 21
1.4.2 Адаптивные полупараметрические оценки параметра сдвига типовых распределений
1.4.3 Исследование адаптивных полупараметрических оценок параметра сдвига типовых распределений 28
1.5 Адаптивные полупараметрические оценки параметра масштаба 36
1.5.1 Постановка задачи. Взвешенный метод максимального правдоподобия 36
1.5.2 Адаптивные полупараметрические оценки параметра масштаба типовых
распределений 37
1.5.3 Исследование адаптивных полупараметрических оценок параметра масштаба
типовых распределений 43
1.6 Адаптивные непараметрические оценки параметра сдвига 49
1.7 Выводы 53
2 Адаптивные оценки регрессии 54
2.1 Постановка задачи. Уровни априорной информации и их типы 54
2.2 Робастные методы оценивания функции регрессии 57
2.3 Адаптивные полупараметрические оценки регрессии
2.3.1 Постановка задачи. Взвешенный метод максимального правдоподобия 59
2.3.2 Процедуры адаптации 63
2.3.3 Адаптивные полупараметрические I типа оценки линейной регрессии 64
2.3.3.1 Адаптивные полупараметрические I типа оценки линейной регрессии для
типовых распределений ошибок 67
2.3.3.2 Исследование адаптивных полупараметрических I типа оценок регрессии 74
2.3.4 Адаптивные полупараметрические II типа оценки регрессии 79
2.3.5 Адаптивные полупараметрические III типа оценки регрессии 81
2.3.6 Адаптивные полупараметрические IV типа оценки регрессии 83
2.4 Адаптивные полунепараметрические оценки регрессии 84
2.4.1 Постановка задачи. Локальный взвешенный метод максимального правдоподобия 84
2.4.2 Процедуры адаптации 89
2.4.3 Адаптивные полунепараметрические оценки регрессии для типовых распределений ошибок 90
2.5 Адаптивные непараметрические оценки регрессии 93
2.6 Выводы 95
3 Экспериментальное исследование оценок 96
3.1 Исследование адаптивных оценок параметра сдвига на основе взвешенного метода максимального правдоподобия 96
3.1.1 Постановка задачи. Описание эксперимента 96
3.1.2 Исследование оценок параметра сдвига для локальных супермоделей Тьюки 97
3.1.3 Исследование оценок параметра сдвига для глобальных супермоделей 100
3.1.4 Выводы 102
3.2 Исследование адаптивных полупараметрических оценок регрессии на основе взвешенного метода максимального правдоподобия 103
3.2.1 Постановка задачи. Описание эксперимента 103
3.2.2 Исследование оценок регрессии для локальных супермоделей Тьюки 105
3.2.3 Исследование оценок регрессии для глобальных супермоделей 110
3.2.4 Выводы 112
3.3 Исследование адаптивных полунепараметрических и непараметрических оценок регрессии на основе взвешенного метода максимального правдоподобия 113
3.3.1 Постановка задачи. Описание эксперимента 113
3.3.2 Исследование адекватности локальной модели регрессии 115
3.3.3 Исследование оценок регрессии для локальных супермоделей Тьюки 117
3.3.4 Исследование оценок регрессии для глобальных супермоделей 123
3.3.5 Выводы 125
4 Решение прикладных задач 126
4.1 Адаптивная фильтрация изображений на основе взвешенного метода максимального правдоподобия 126
4.1.1 Введение 126
4.1.2 Постановка задачи фильтрации изображений 129
4.1.3 Алгоритмы фильтрации изображений на основе взвешенного метода максимального правдоподобия 130
4.1.4 Моделирование 135
4.1.5 Выводы 137
4.2 Математические модели пространственно-временной динамики скорости ветра в пограничном слое атмосферы 138
4.2.1 Введение. Постановка задач 138
4.2.2 Анализ вида распределений компонент скорости ветра при фиксированном времени и высоте
4.2.3 Математические модели зависимости компонент скорости ветра от высоты при фиксированном времени 141
4.2.4 Математическая модель зависимости компонент скорости ветра от времени при фиксированной высоте 145
4.2.5 Выводы 147
Заключение 148
Список сокращений и условных обозначений 150
Список использованной литературы 152
- Взвешенный метод максимального правдоподобия
- Адаптивные полупараметрические оценки регрессии
- Исследование оценок параметра сдвига для локальных супермоделей Тьюки
- Математические модели пространственно-временной динамики скорости ветра в пограничном слое атмосферы
Введение к работе
Актуальность работы. Задача оценки параметров статистических моделей является одной из основных задач математической статистики. Методы нахождения оценок и их эффективность зависят от априорной информации о виде распределений и функций регрессии. Традиционно рассматривается класс параметрических задач, когда вид распределения случайных величин и вид функции регрессии задаются с точностью до конечного числа неизвестных параметров. При условии совпадения априорных распределений случайных величин с реальными и выполнения условий регулярности оценки максимального правдоподобия являются асимптотически эффективными. Однако в реальных экспериментах могут наблюдаться различные отклонения от априорной статистической модели. Многочисленные исследования показывают, что в таких ситуациях классические оценки максимального правдоподобия могут значительно терять свою эффективность. Данный факт стимулировал исследования по синтезу статистических процедур, робастных к отклонениям от априорных предположений. В рамках классической статистики в качестве критерия оптимальности оценок обычно выступает критерий среднеквадратической ошибки. В робастной статистике для характеристики устойчивости оценок предложен целый ряд критериев робастности. Традиционный подход синтеза робастных оценок сводится к решению минимаксной задачи в соответствии с выбранным критерием робастности для заданной супермодели распределений. С точки зрения критерия эффективности минимаксные оценки, обладающие высокими робастными свойствами, обычно приводят к не самым лучшим решениям для конкретных распределений из локальных и глобальных супермоделей. Поэтому требуется подход к синтезу эффективных робастных оценок, адаптирующихся к конкретной реальной ситуации.
Целью диссертационной работы является синтез и исследование адаптивных робастных оценок параметров распределения случайных величин и регрессионных моделей в условиях статистической неопределенности на разных уровнях априорной информации. Для достижения цели в диссертационной работе поставлены и решены следующие задачи:
-
Построение адаптивных робастных оценок параметров распределений в зависимости от уровня априорной информации.
-
Построение адаптивных робастных оценок регрессии в зависимости от уровня априорной информации.
-
Теоретическое и экспериментальное исследование полученных адаптивных робастных оценок.
-
Практическое применение предложенных оценок.
Научная новизна работы состоит в следующем:
-
Синтезированы новые робастные оценки параметров сдвига и масштаба распределения случайных величин и параметров функции регрессии на полупараметрических, полунепараметрических и непараметрических уровнях априорной информации.
-
Предложена процедура адаптации робастных оценок к виду распределения выбросов на основе бутстреп-процедур.
-
Предложена процедура адаптации робастных оценок к виду априорного распределения супермодели Тьюки на основе непараметрических оценок плотности вероятности.
-
Для предложенных робастных адаптивных оценок параметров распределения и регрессии доказаны асимптотическая несмещенность и асимптотическая эффективность относительно оценок максимального правдоподобия для обобщенных супермоделей Тьюки в асимптотике
A. М. Шурыгина.
Теоретическая значимость результатов исследования состоит в том, что предложены и исследованы новые адаптивные робастные оценки параметров распределения и регрессии, имеющие существенное значение для развития методов обработки данных в условиях статистической неопределенности и наличия выбросов.
Практическая ценность результатов работы состоит в следующем:
1) Разработано программное обеспечение, реализующее предложенные
адаптивные оценки параметров, которое используется лабораторией
распространения оптических сигналов Института оптики атмосферы имени
B. Е. Зуева СО РАН для исследования пространственно-временной динамики
скорости ветра атмосферного пограничного слоя по результатам мини-
содарных измерений.
-
Спроектировано и реализовано программное обеспечение, которое используется ООО «НПФ «Экспресс Информ» для фильтрации растровых изображений при неизвестном виде распределения шума и наличии аномальных значений цвета пикселей.
-
Разработана программная библиотека адаптивных робастных непараметрических оценок, которая применяется ФГБОУ «РНЦ «ВТО» имени академика Г. А. Илизарова» для анализа биомедицинских данных, полученных в ходе работы клинико-экспериментальной лаборатории осевого скелета и нейрохирургии.
-
Результаты исследования адаптивных робастных оценок используются в учебном процессе при проведении лекционных, практических и лабораторных занятий по курсу «Теория вероятностей и математическая статистика»
(направление 09.03.04 – «Программная инженерия» и специальность 090303.65 – «Информационная безопасность автоматизированных систем») на технологическом факультете Курганского государственного университета (КГУ).
Методы исследования. Для синтеза и исследования адаптивных оценок используются методы теории вероятностей, математической статистики, непараметрической и робастной статистики, вычислительной математики, математического анализа, статистических испытаний и бутстрепа.
Основные положения, выносимые на защиту:
-
Метод, позволяющий получать оценки параметров распределения и регрессии на полупараметрическом, полунепараметрическом и непараметрическом уровнях априорной информации.
-
Непараметрические процедуры адаптации на основе бутстрепа и непараметрических оценок плотности, позволяющие подстраивать оценки параметров к виду априорного распределения супермодели Тьюки.
-
Адаптивные робастные оценки параметров сдвига, масштаба и регрессии, обладающие более высокой эффективностью на локальных и глобальных супермоделях распределений, чем традиционные робастные оценки: радикальные оценки, оценки максимальной устойчивости, медианные оценки.
-
Адаптивные алгоритмы фильтрации изображений на основе адаптивных робастных оценок регрессии, имеющие более высокую эффективность по критерию среднеквадратической ошибки, чем алгоритмы медианной фильтрации и скользящего среднего.
-
Непараметрические адаптивные робастные алгоритмы анализа пространственно-временной динамики скорости ветра в пограничном атмосферном слое, обладающие большей эффективностью в условиях наличия выбросов в наблюдениях, чем традиционные алгоритмы обработки данных на основе параметрических моделей и метода наименьших квадратов.
Достоверность результатов. Теоретические результаты по исследованию асимптотических эффективностей предложенных полупараметрических и полунепараметрических оценок получены путем использования математического аппарата теории вероятностей, математической статистики и математического анализа. Полученные в ходе статистических испытаний результаты исследования эффективностей робастных полупараметрических, полунепараметри-ческих и непараметрических оценок параметров подтверждают теоретические выводы.
Апробация работы. Основные результаты диссертационного исследования докладывались на следующих конференциях и симпозиумах: XIX Меж-5
дународный симпозиум «Оптика атмосферы и океана. Физика атмосферы», Барнаул, 1–6 июля 2013 г.; Second Conference of the International Society of NonParametric Statistics, Cadiz, Span, 12–16 June 2014; XX Международный симпозиум «Оптика атмосферы и океана. Физика атмосферы», Новосибирск, 23–24 июня 2014 г.; XIII Международная научно-практическая конференция имени А. Ф. Терпугова «Информационные технологии и математическое моделирование», Анжеро-Судженск, 20–22 ноября 2014 г.; Applied Methods of Statistical Analysis. Nonparametric Approach, Belokurikha, 14–19 September 2015; XIV Международная научно-практическая конференция имени А. Ф. Терпугова «Информационные технологии и математическое моделирование», Анжеро-Судженск, 19–22 ноября 2015 г.
Диссертация обсуждалась на научном семинаре кафедры теоретической кибернетики Томского государственного университета и научном семинаре кафедры теоретической и прикладной информатики Новосибирского государственного технического университета.
Личный вклад автора. Задачи диссертационного исследования были
определены совместно с научным руководителем, д.х.н., профессором
О. И. Бухтояровым с участием профессора кафедры «Программное обеспечение
автоматизированных систем» Курганского государственного университета, к.
ф.-м. наук, доцента В. А. Симахина, впоследствии назначенного научным
руководителем по диссертации, а задача применения адаптивных
непараметрических оценок для исследования скорости ветра в пограничном слое атмосферы – совместно со с.н.с. лаборатории распространения оптических сигналов Института оптики атмосферы им. В. Е. Зуева СО РАН (г. Томск), к.ф.-м.н. Л. Г. Шаманаевой при сотрудничестве в рамках научной работы.
Синтез робастных адаптивных оценок параметров распределения и регрессии на разных уровнях априорной информации, теоретическое и экспериментальное исследование предложенных оценок проведены автором самостоятельно. Автором спроектировано и реализовано следующее программное обеспечение:
-
Программная библиотека предложенных в диссертации адаптивных оценок параметров распределений, адаптивных оценок регрессии и программных средств для их исследования методом статистических испытаний.
-
Программное обеспечение для адаптивной фильтрации изображений на основе взвешенного метода максимального правдоподобия.
-
Программный комплекс для анализа пространственно-временной динамики скорости ветра в пограничном слое атмосферы по результатам измерений допплеровским мини-содаром.
Структура и объем диссертации. Диссертация состоит из введения, 4 разделов, заключения, списка литературы из 169 наименований и трех приложений. Общий объем диссертации составляет 199 страниц машинописного текста, содержащий 40 теорем, 25 рисунков, 42 таблицы.
Взвешенный метод максимального правдоподобия
Пусть имеется случайная величина X с функцией распределения F(x,d) и плотностью вероятности/ft 0j в виде смеси распределений (супермодель Тьюки [76, 79, 92]): F(x,0) = (1-p)G(x,0) + pH(x), (1.1.1) где G(x,0) - априорная (идеальная) функция распределения c плотностью вероятности g(x,&), Н(х) - функция распределения выбросов c плотностью вероятности h(x) , р - доля выбросов. Требуется по выборке независимых и одинаково распределенных (н.о.р.) случайных величин XN = (x1,...,xN) с функцией распределения F(x,6) оценить неизвестный параметр в.
Методы, алгоритмы и эффективность оценок неизвестных параметров зависят от вида априорной информации о распределениях, участвующих в задаче. Традиционно рассматривается класс параметрических задач [1, 3, 8, 90], когда вид функции распределения F(x,6) известен с точностью до конечного числа неизвестных параметров, и класс непараметрических задач [23, 73, 91], когда вид функции распределения F(x,6) неизвестен. Априорная информация может включать, например, параметрический класс распределений, непараметрический класс симметричных распределений или класс распределений с известными числовыми характеристиками [18-22, 74] и т.д. На практике априорные предположения о виде функции распределения G(x,6), как правило, не совпадают с реальной функцией распределения F(xfi). Многочисленные исследования [72, 76, 79, 96] показали, что в таких ситуациях классические оценки максимального правдоподобия, основанные на G(x,6), могут значительно терять свою эффективность. Это потребовало создания новых подходов к синтезу статистических процедур, устойчивых к отклонениям от априорных предположений, как в параметрической, так и в непараметрической постановке задачи.
Рассмотрим уровни априорной информации, на основе которых синтезируются оценки: 1) Параметрический уровень. Пусть F(x,&) принадлежит к параметрическому классу распределений, вид распределения в котором известен с точностью до конечного числа неизвестных параметров. Данное направление в математической статистике получило название параметрической статистики. В случае, когда р=0, получаем классическое направление параметрической статистики [3, 8, 90], в случае, когда р 0, - направление параметрической робастной статистики.
2) Непараметрический уровень. Пусть F(x,&) и G(x,0) принадлежат к непараметрическим классам распределений, вид функции распределений в которых неизвестен, известны только некоторые общие свойства, например, непрерывность, дискретность, симметричность, унимодальность, моменты и т.д. Закон распределения в этом случае определяется бесконечным числом неизвестных параметров. Данное направление в математической статистике получило название непараметрической статистики. В случае, когда р=0, получаем классическое направление непараметрической статистики [11, 14, 73, 78, 91], в случае, когдар 0, - направление непараметрической робастной статистики [56, 61, 65, 100, 138, 155, 159, 161, 164].
3) Полупараметрический уровень. Полупараметрические задачи характерны тем, что в априорной информации участвуют два типа моделей: параметрические и непараметрические. Данное направление в математической статистике получило название полупараметрической статистики [31, 105, 108, 127, 131]. Далее будем рассматривать полупараметрические задачи [6, 59, 61, 63, 69, 76, 79, 86, 87, 89, 92, 93, 123-126, 133, 142, 143, 161], в которых функция распределения G(x,0) принадлежит к параметрическому классу функций распределений, определенных с точностью до конечного числа неизвестных параметров в, а функция распределения Щх) принадлежит к непараметрическому классу распределений.
1.2 Робастные методы оценивания параметров распределений
Одной из первых значимых работ в робастной статистике принадлежит П. Хьюберу [79], который предложил использовать для получения робастных оценок минимаксный подход относительно наибольшего смещения или наибольшей дисперсии на классе «возмущенной» модели распределения. Я. З. Цыпкин и Б. Т. Поляк [86, 87] использовали минимаксный подход для получения робастных оценок на основе информационных критериев. Ф. Хампель [76] ввел меры робастности на основе функций влияния на наибольшее смещение и наибольшую дисперсию при попадании в выборку единичного наблюдения. В результате введено еще два критерия робастности: В-робастность по смещению и V-робастность по дисперсии. Данный подход получил широкое распространение благодаря тому, что функция влияния имеет тесную связь с подходом Р. Мизеса [75, 92] для исследования функционалов от эмпирической функции распределения. В рамках данных подходов при использовании предложенных критериев робастности для разных супермоделей получен ряд робастных оценок [76, 79, 86, 87, 92]. В результате даже введено понятие «оценка, оптимальная на классе» [87]. Исследования показывали, что такие оценки могут иметь низкую эффективность для отдельных распределений из данного класса. Так, например, показано, что медианные оценки, B-робастные на классе симметричных распределений, имеют низкую эффективность для симметричных распределений с «легкими» хвостами.
А. М. Шурыгин ввел меру неустойчивости оценки как вариацию среднеквадратического отклонения от истинного значения по плотности вероятности и синтезировал на ее основе оценки максимальной устойчивости [93]. Однако оказалось, что критерии эффективности и устойчивости противоречивы. В результате этого введены различные эвристические оценки (радикальные, условно-оптимальные, компромиссные [13, 37-41, 93]), которые обладают меньшей устойчивостью, но большей эффективностью по сравнению с оценками максимальной устойчивости. Стоит отметить, что А. М. Шурыгин приводит пример неустойчивости медианы при асимметричном загрязнении [93], следовательно, рекомендуемые многими учеными медианные оценки относятся к классу неустойчивых оценок.
Отметим, что рассмотренные подходы приводят в основном к чересчур «пессимистичным» оценкам, оптимальным для «наихудшего» распределения из супермодели. Такие оценки могут оказаться малоэффективными для других распределений в рамках рассматриваемой супермодели.
В связи с наличием большого арсенала робастных оценок возникает проблема выбора оценки для данной конкретной ситуации. В рамках классической статистики существует единственный и понятный критерий выбора оценки – критерий эффективности. При этом метод максимального правдоподобия приводит к оптимальным оценкам, имеющим максимальную эффективность. Однако в условиях отклонения априорной функции распределения G(x,) от истинной F(x,) оценки максимального правдоподобия могут сильно терять свою эффективность. Этот момент и стимулировал разработки по нахождению эффективных и робастных оценок, которые адаптируются к реальной ситуации.
Многочисленные исследования в области классических, непараметрических и робастных оценок [33, 45, 76, 79, 89] показали, что эффективность оценки зависит от степени затянутости хвостов распределения, поэтому одними из первых робастных оценок стали усеченные оценки. Оказалось, что степень усечения оценок сильно влияет на их эффективность. В итоге появилось направление по синтезу адаптивных робастных оценок [92, 98, 99, 106, 129, 130, 132, 134, 135].
Работы по непараметрическим оценкам плотности вероятности [145, 150, 151] положили начало разработке робастных оценок, адаптивных по распределению [100, 137-139, 141, 164]. Так Ч. Дж. Стоун [164] предложил адаптивную оценку параметра сдвига на базе непараметрической оценки плотности вероятности Розенблатта-Парзена. Р. Беран, используя усеченную оценку Розенблатта-Парзена, ввел робастную непараметрическую оценку параметра сдвига [100]. Эти работы позволяют получать непараметрические оценки, в которых используются эвристические алгоритмы адаптации по выбросам.
Дальнейшие исследования в области робастной статистики позволили связать подходы классической и робастной статистики. Л. Д. Мешалкин для нормального распределения ввел эв-оценки, которые являются экспоненциально взвешенными оценками максимального правдоподобия с введением дополнительного параметра [3, 43, 44]. Однако процедура подбора оптимального значения параметра не была предложена [3, стр. 348]. Эв-оценки исследованы в работах А. М. Шурыгина [93]. Различные устойчивые полупараметрические оценки (радикальные, условно-оптимальные, компромиссные и т.д.) [36-41, 93], синтезированные А. М. Шурыгиным и Д. В. Лисициным, являются оптимальными для разных супермоделей, но не являются эффективными для конкретных распределений из данной супермодели. Стало понятно, что робастные оценки должны строиться на базе взвешенных оценок максимального правдоподобия.
Адаптивные полупараметрические оценки регрессии
Задачи нахождения оценок на параметрическом уровне априорной информации достаточно хорошо исследованы [2, 27, 52], особенно для линейных моделей регрессии [53]. Начиная с середины прошлого века все большее внимание стало уделяться вопросам синтеза робастных, непараметрических и робастных непараметрических оценок регрессии. Это было связано с возросшими потребностями возникающих на практике задач.
С появлением первых работ по нахождению робастных оценок параметров распределений [76, 79] стали появляться работы по поиску робастных оценок параметрической регрессии [76, 79]. Основное направление в построении таких оценок, как и в задачах робастного оценивания параметров распределения, заключается в том, что задается супермодель совместных распределений, для этой супермодели определяется «наихудшее» распределение по какому-либо критерию и для него находится наилучшая оценка [79, 87, 93]. Даже введено понятие оптимальности на классе оценок регрессии [87]. Но следует отметить, что такие робастные оценки оказываются низкоэффективными для конкретных распределений из принятой супермодели. Именно этот факт стимулировал построение адаптивных оценок регрессии. В основном эти работы связаны с подходом -усечения выборки [129, 130].
Проблема выбора адекватной модели функции регрессии, особенно при переходе к многомерным задачам, побудила к созданию непараметрических алгоритмов регрессии. Одними из первых работ в области непараметрических оценок регрессии были работы Э. Я. Надарая [47] и Дж. С. Ватсона [169]. Идея подхода заключается в том, что оценка значения функции регрессии представляется как непараметрическая оценка условного среднего rN(х0) = Е(у х0) . Данный подход получения непараметрических оценок регрессии связан с
рассмотрением функционалов от условных функций распределения: условного среднего, условной медианы, условной моды [23, 29, 77]. Оценка условного среднего не робастна, а оценки условной медианы и условной моды должны обладать робастными свойствами. Дж. Коллом предложил метод к-ближайших соседей [112], основанный на схожей идее, что и подход Э. Я. Надарая и Дж. С. Ватсона. В рамках подхода локально взвешенного среднего появились и другие оценки, например, оценка Т. Гассер и Г. Мюллера [119].
Многочисленные исследования показали, что непараметрическая оценка Э. Я. Надарая и Дж. С. Ватсона неустойчива к локальным выбросам. Одной из первых работ в области робастной непараметрической регрессии является работа У. Кливленда [111]. Используя метод локальной полиномиальной регрессии, он предложил ввести взвешенную функцию для ее остатков. Данная весовая функция придавала меньший вес большим значениям остатков и больший вес малым значениям. Одновременно с этим развивались работы по нахождению робастных непараметрических оценок регрессии на основе метода локальных аппроксимаций (МЛА) [26, 83].
А. Б. Цыбаков и В. Хардли предложили робастные оценки непараметрической регрессии [77, 85] в виде М-оценок от условных распределений. На основе данного подхода предложены робастные непараметрические оценки регрессии с различными оценочными функциями.
В последнее время большое распространение получило компромиссное направление между параметрической и непараметрической статистиками - полупараметрическая статистика. Полупараметрические задачи используют комбинацию двух типов моделей. Одни из них заданы параметрически, другие - непараметрически. Применительно к задаче регрессии изначально полупараметрический вид имела в основном регрессионная функция. В рамках данного подхода были предложены индексные модели [128], частично-линейные модели [118, 127, 128] и др. Появились и модели регрессии [167], в которых функция регрессии задается в параметрическом виде, а плотность вероятности шумов оценивается непараметрически, используя оценки Розенблатта-Парзена.
Дж. Мейс, Р. Ейнспорн и Дж. Б. Берч предложили робастные полупараметрические оценки регрессии MRR1 и MRR2 [115, 144]. Позже Т. Дж. Робинсон и Дж. Б. Берч расширили данные модели, предложив робастную модель регрессии DMRR [149]. П. Сизек, используя подход а-усечения, предложил усеченные полупараметрические оценки регрессии [110].
Переход на более высокие уровни неопределенности привел к созданию робастных непараметрических оценок регрессии [26, 34, 80, 83 - 85, 163]. К сожалению, синтез таких оценок опирался на ту основную идею, которая используется в робастной статистике -минимаксный подход. Это приводит к не самым лучшим решениям на конкретных распределениях. Данный факт потребовал создания адаптивных оценок. Одними из первых направлений создания адаптивных оценок - это адаптация по параметру усечения и адаптация по параметру размытости в ядерных оценках [34, 35, 81, 136, 163]. В классических параметрических моделях можно применить адаптацию по параметру усечения, например, для оценок Д. Ф. Андрюса, Л. Д. Мешалкина, Дж. О. Рамсея, но, к сожалению, этого не было сделано [2, стр. 219]. В настоящее время существуют подходы к синтезу адаптивных процедур локальной адаптации, например, путем минимизации СКО оценки с использованием бутстрепа [160-162], но данные оценки не способны адаптироваться по виду распределения (глобальный подход), в связи с чем возникает проблема построения устойчивых оценок, адаптирующихся как к виду априорного распределений, так и к выбросам. 2.3 Адаптивные полупараметрические оценки регрессии
Постановка задачи. Взвешенный метод максимального правдоподобия Рассмотрим задачу регрессии Y = r(X,&) + E, (2.3.1) где Х- случайная величина с функцией распределения Fi(x) и плотностью вероятности/;(х); Е - независимая от X случайная величина с функцией распределения F2(s) и плотностью вероятности ; г(Х,0) - функция регрессии, вид которой задан с точностью до конечного числа неизвестных параметров = (Є1,...,Єк) на всей области значений X. Требуется по двумерной выборке (хьуі)т, i=l..N с распределением F(x,y) (2.1.2) оценить неизвестные параметры 0 функции регрессии. Данная задача находится на полупараметрическом уровне априорной информации.
Для получения эффективных оценок параметров 0 воспользуемся методом максимального правдоподобия. Найдем производную от логарифма совместной плотности вероятности f(z, 0) по параметру в/.
Исследование оценок параметра сдвига для локальных супермоделей Тьюки
Нормальное распределение. Исследование эффективностей оценок проводится при следующих исходных распределениях и параметрах моделей выбросов: - нормальное распределение при//=0; s=1; - нормальное распределение с асимметричными выбросами при /л=0; s=1; а=7; Л=1; p=0,1; - нормальное распределение с симметричными выбросами при /л=0; s=1; Л=3; p=0,1.
В таблице 3.1.2 приведены результаты моделирования по исследованию эффективностей рассматриваемых оценок при данных распределениях. Таблица 3.1.2 - Эффективности оценок параметра сдвига при нормальном распределении в условиях наличия и отсутствия выбросов Оценка ОМП РО ОМУ ВС ВМ АОР4 АОНР АОРЛ АОРК АНО НР 1,000 0,833 0,634 1,000 0,606 0,883 1,000 0,606 0,583 0,842 НР и МАВТ 0,011 0,849 0,657 0,011 0,190 0,820 0,917 0,378 0,583 0,893 НР и МСВТ 0,662 0,935 0,739 0,662 0,674 0,788 0,979 0,674 0,695 0,758 Как следует из таблицы 3.1.2, адаптивная оценка нормального распределения имеет наибольшее значение эффективности (более 92%) среди рассматриваемых оценок для локальных супермоделей выбросов Тьюки. Выборочное среднее при наличии асимметричных выбросов имеет чрезвычайно низкую эффективность (около 1%). Выборочная медиана, адаптивная оценка распределения Лапласа, адаптивная оценка распределения Коши и оценка максимальной устойчивости при нормальном распределении в условиях отсутствия выбросов и наличия асимметричных выбросов имеют невысокие эффективности (от 19% до 66%). Радикальная оценка, адаптивная оценка 4-ой степени и адаптивная непараметрическая оценка имеют высокие эффективности (более 76%) при нормальном распределении в условиях наличия и отсутствия выбросов.
Распределение Лапласа. Исследование эффективностей оценок проводится при следующих исходных распределениях и параметрах моделей выбросов: - распределение Лапласа при //=0; s=0,7144; - распределение Лапласа с асимметричными выбросами при //=0; s=0,7144; ос=7; Х=1; p=0,1; - распределение Лапласа с симметричными выбросами при//=0; s=0,7144; к=3; p=0,1. В таблице 3.1.3 приведены результаты моделирования по исследованию эффективностей рассматриваемых оценок при данных распределениях.
Эффективности оценок параметра сдвига при распределении Лапласа в условиях наличия и отсутствия выбросов Оценка ОМП РО ОМУ ВС ВМ АОР4 АОНР АОРЛ АОРК АНО РЛ 1,000 0,920 0,824 0,522 1,000 0,463 0,852 1,000 0,953 0,744 РЛ и МАВТ 0,258 0,698 0,539 0,006 0,258 0,447 0,782 0,749 0,827 0,707 РЛ и МСВТ 0,990 0,944 0,835 0,324 0,990 0,434 0,820 0,990 0,938 0,705 Адаптивная оценка распределения Лапласа имеет большее значение эффективности (более 99%), чем классические робастные оценки, при распределении без выбросов и при наличии симметричных выбросов. Выборочное среднее при распределении Лапласа в условиях наличия симметричных и асимметричных выбросов имеет низкую эффективность (менее 1% и 32% соответственно). Адаптивная оценка 4-ой степени при распределении Лапласа имеет низкую эффективность (около 44%). Оценка максимального правдоподобия при наличии асимметричных выбросов резко теряет свою эффективность (26%). Радикальная оценка, адаптивная оценка нормального распределения, адаптивная оценка распределения Коши и адаптивная непараметрическая оценка имеют достаточно высокие эффективности (более 70%) при распределении Лапласа в условиях отсутствия и наличия выбросов.
Распределение Коши. Исследование эффективностей оценок проводится при следующих исходных распределениях и параметрах моделей выбросов: - распределение Коши при//=0; 5=0,2605; - распределение Коши с асимметричными выбросами при//=0; 5=0,2605; ос=7; А=1;/т=0,1; - распределение Коши с симметричными выбросами при //=0; 5=0,2605; Х=3;р=0,1. В таблице 3.1.4 приведены результаты моделирования по исследованию эффективностей рассматриваемых оценок при данных распределениях. Таблица 3.1.4 - Эффективности оценок параметра сдвига при распределении Коши в условиях наличия и отсутствия выбросов Оценка ОМП РО ОМУ ВС ВМ АОР4 АОНР АОРЛ АОРК АНО РК 1,000 0,902 0,771 0,001 0,835 0,590 0,916 0,871 1,000 0,897 РК и МАВТ 0,929 0,899 0,753 0,001 0,255 0,585 0,931 0,595 0,970 0,798 РК и МСВТ 0,981 0,918 0,786 0,001 0,789 0,552 0,921 0,853 0,984 0,734 Адаптивная оценка Коши имеет наибольшую эффективность (от 97% до 100%) среди рассматриваемых оценок в рамках локальных супермоделей выбросов Тьюки. Выборочное среднее является неработоспособной при распределении Коши. Выборочная медиана при наличии асимметричных выбросов имеет низкую эффективность (26%). Адаптивная оценка распределения 4-ой степени имеет невысокую эффективность (от 55% до 59%), как без выбросов, так и при их наличии. Оценка максимального правдоподобия, оценка максимальной устойчивости, радикальная оценка, адаптивная оценка нормального распределения и адаптивная непараметрическая оценка имеют высокие эффективности (более 73%) при распределении Коши, а также при наличии симметричных и асимметричных выбросов.
Значительный интерес представляет исследование эффективности адаптивной непараметрической оценки параметра сдвига в условиях непараметрической априорной неопределенности в условиях глобальных супермоделей при наличии и отсутствии симметричных и асимметричных выбросов. Рассматриваются следующие глобальные супермодели распределений: S1 – глобальная супермодель распределений (см. пункт 1.4.2), S2 – глобальная супермодель распределений при наличии асимметричных выбросов, S3 – глобальная супермодель распределений при наличии симметричных выбросов. Параметры распределений глобальных супермоделей соответствуют параметрам исходных распределений в пункте 3.1.2.
Сравнение адаптивной робастной непараметрической оценки проводится со следующими оценками: оценкой метода максимального правдоподобия (ОМПР4), радикальной оценкой (РОР4), оценкой максимальной устойчивости (ОМУР4) при условии, что априорным распределением является обобщенно-нормальное распределение 4-ой степени; выборочным средним; радикальной оценкой (РОНР), оценкой максимальной устойчивости (ОМУНР) при условии, что априорным распределением является нормальное распределение; выборочной медианой; радикальной оценкой (РОРЛ), оценкой максимальной устойчивости (ОМУРЛ) при условии, что априорным распределением является распределение Лапласа; оценкой метода максимального правдоподобия (ОМПРК), радикальной оценкой (РОРК), оценкой максимальной устойчивости (ОМУРК) при условии, что априорным распределением является распределение Коши.
С использованием метода Монте-Карло для каждой оценки // при каждом распределении из рассматриваемой глобальной супермодели находится оценка ее СКОN и значение эффективности относительно оценки максимального правдоподобия для параметрически заданного F(x). В пределах каждой глобальной супермодели рассчитывается средняя и минимальная эффективность каждой оценки (таблица 3.1.5) согласно следующим выражениям: min(e#) = тіп( #(Д //МП, Fi)), 1 4 mean(eff) = - Xeff(ju,МП Fi), 4/=l где ejf{ JA,,fj,МП,Fi) - эффективность оценки // относительно оценки максимального правдоподобия МП приВД распределении глобальной супермодели. Таблица 3.1.5 - Средние и минимальные эффективности оценок для глобальных
Математические модели пространственно-временной динамики скорости ветра в пограничном слое атмосферы
В настоящее время широкое распространение получили различные устройства фото- и видеозахвата. Как правило, цифровые изображения наблюдаются на фоне помех, как пассивного, так и активного характера. Помехи могут проявляться в процессе формирования изображения в результате неравномерности освещения предмета, его движения, расфокусировки оптической системы устройства и т.д. Практически все элементы фото- или видеокамер (матрицы, линзы, цифровой процессор) могут вносить искажения в изображения. Шум может накладываться не только на этапе формирования изображений, но и на этапе его передачи и хранения. Возникают нетривиальные задачи обработки изображений на фоне помех. Одной из актуальных задач является задача фильтрации изображения, то есть процесс устранения или ослабления действия шума. Основная идея практически всех методов фильтрации заключается в предположении о том, что скорость изменения полезного сигнала (цвета изображения) значительно меньше, он более гладкий, чем шум, который подвержен высокой осцилляции.
Анализ литературы [15, 28, 32, 51, 71, 95, 97, 109, 120-122] показывает, что методы фильтрации изображений можно разделить на две основные группы: методы пространственной фильтрации и методы фильтрации в частотной и вейвлет-области.
Наиболее простыми методами пространственной фильтрации являются линейные методы [15]. Они основаны на применении линейных операторов к каждой точке (пикселю) изображения. К таким операторам относятся прямоугольные, квадратные маски (ядра, окна, шаблоны) или маски иной формы, например, в гауссовской фильтрации [15, 165]. Основная идея таких фильтров заключается в том, что яркость каждого пикселя изображения заменяется усредненным значением яркости пикселей внутри скользящего окна. К таким фильтрам относятся фильтры на основе вычисления среднего арифметического, среднего геометрического, среднего гармонического и контргармонического средних [15]. Среднеарифметические и среднегеометрические фильтры используются для фильтрации изображений с гауссовским и равномерным шумом, а контргармонические фильтры – для фильтрации импульсного шума.
Использование методов порядковой статистики привело к появлению нелинейных пространственных фильтров [15, 51, 97]. Значение яркости пикселя определяется путем ранжирования значений яркости пикселей, ограниченных окном, с последующим выбором значения яркости из упорядоченной последовательности. Наиболее известными фильтрами данного класса являются медианный фильтр, фильтры, основанные на вычислении максимальных и минимальных значений яркости. Медианный фильтр часто используется для восстановления изображений, содержащих импульсный шум. Фильтры, основанные на максимальных и минимальных порядковых статистиках, предназначены для выделения светлых и темных участков изображения соответственно.
Приведенные выше алгоритмы пространственной фильтрации можно рассматривать с точки зрения задачи локальной или непараметрической двумерной регрессии. Развитие алгоритмов фильтрации изображений в данном направлении привело к появлению адаптивных непараметрических алгоритмов фильтрации. А. Б. Цыбаков рассматривал задачу фильтрации изображений, состоящих из областей (регионов) с четкими границами (негладкие изображения). Им на основе метода локальных аппроксимаций и минимаксного подхода предложены робастные непараметрические процедуры фильтрации изображений с предварительной их сегментацией [82, 84]. Данный подход требует наличия априорной информации о структуре изображения: количества регионов и контрастности. Х. Такеда [165, 166] также рассматривал задачу фильтрации изображений с позиции регрессионного анализа с применением метода локальных аппроксимаций и классических ядерных оценок регрессии.
Применение как линейных, так и нелинейных пространственных алгоритмов фильтрации изображений может приводить к нежелательному эффекту размытия границ. Для повышения четкости изображения применяют фильтры, усиливающие высокие частоты, фильтры, использующие первые и вторые производные [15]. К сожалению, применение данных фильтров приводит к усилению шумов, поэтому часто на практике используют комбинацию фильтров. Сначала применяют фильтры, ослабляющие шум, а затем фильтры, восстанавливающие четкость границ.
В рамках пространственной фильтрации особое место занимают адаптивные фильтры [15]. Под адаптивным фильтром понимается фильтр, способный менять свое поведение (форму, размеры, веса окна) в зависимости от участка изображения. В [120] приведен достаточно обширный обзор процедур адаптации для медианных фильтров. Для алгоритмов фильтрации на основе регрессионного подхода А. Б. Цыбаков, Дж. Ползел и В. Г. Спокойный предлагают адаптивные фильтры с использованием методов предварительной [82, 84] и встроенной сегментации изображения [146, 147] соответственно.
Рассмотренные классические фильтры, как правило, эффективны только для определенного вида шума. В случае, когда на изображение накладываются шумы различного типа, применяют комбинированные и гибридные фильтры [7]. В комбинированных фильтрах изображение проходит последовательную обработку различными фильтрами, например, медианным и линейным. В гибридных фильтрах сначала определяется отклик используемых подфильтров, а затем к полученному набору изображений применяется, например, медианный или линейный фильтр. Гибридные и комбинированные фильтры за счет объединения в себе несколько классических фильтров при наличии смешанных шумов могут быть эффективны.
Большой класс фильтров основывается на методах частотной и вейвлет-фильтрации. Частотная фильтрация [5, 12, 15] изображения основана на применении дискретного преобразования Фурье. При использовании прямого дискретного преобразования изображение из пространственной области переводится в частотную область, где к нему применяют фильтр, обнуляющий или занижающий часть спектра, а затем модифицированное изображение с использованием обратного преобразования Фурье переводится в пространственную область. Применяя различные виды фильтров, можно получить различные эффекты, например, ослабить действие шума или повысить четкость границ. Высокая эффективность частотных фильтров проявляется при наложении на изображение периодических шумов [16], например, синусоидального шума или горизонтальных полос. Преобразование Фурье имеет ряд недостатков [12]. Во-первых, неспособность осуществить временную локализацию особенности сигнала, так как происходит «растекание» особенности сигналов по всей частотной области, во-вторых, гармонические базисные функции не способны аппроксимировать сигнал с бесконечной крутизной. Данные эффекты могут быть частично устранены за счет введения оконной функции. В результате появилось оконное преобразование Фурье [12], которое также используется для фильтрации изображений. Отличие оконного преобразования от классического преобразования Фурье заключается в том, что преобразование изображения в частотную область производится не для всего изображения, а только для его части в пределах скользящего окна. Оконное преобразование Фурье обладает одним существенным недостатком - проблемой выбора размера окна или проблемой разрешения. Узкое окно приводит к лучшему временному разрешению, широкое окно - к лучшему частотному. При фильтрации изображения обычно приходится выбирать один размер окна для всего изображения. Однако для разных участков изображения требуется использовать разные размеры окон. Вейвлет-преобразование [12, 46, 68] в какой-то степени решает проблему разрешения путем использования базисных функций, локализованных как по времени, так и по частоте (масштабу). Таким образом, исходный сигнал может быть представлен в виде линейной комбинации вейвлет-функций при различных масштабах. Для фильтрации изображения применяют методы трешолдинга [49] (метод выбора порога шума), суть которого заключается в понижении или обнулении части коэффициентов вейвлет-спектра, которые отвечают за высокочастотную составляющую сигнала. Вид трешолдига определяется выбором модели шума и функцией потерь.