Содержание к диссертации
Введение
ГЛАВА 1. Сравнительный анализ вероятностных моделей для распознавания многомерных временных рядов в условияхмалой выборки 14
1.1 Проблема влияния малого объема обучающей выборки на качество классификации 16
1.2 Актуальность выбора порождающих вероятностных моделей для распознавания многомерных временных рядов в условиях малой выборки
1.2.1 Сравнительный анализ порождающего и дискриминантного подхода к классификации 19
1.2.2 Сравнительный анализ скрытых марковских моделей и условных случайных полей со скрытыми состояниями
1.3 Применение самоорганизующихся карт для решения задачи оценки параметров смеси гауссовских распределений в условиях малой выборки 35
1.4 Выводы по главе 1 40
ГЛАВА 2. Разработка вероятностной модели на основе самоорганизующихся карт для распознавания временных рядов в условиях малой выборки 42
2.1 Общее описание вероятностной модели на основе самоорганизующихся карт для распознавания временных рядов 42
2.1.1 Метод оценки параметров распределения вероятностей наблюдения данных в узлах карты 44
2.1.2 Метод оценки параметров распределения вероятностей переходов между узлами карты
2.2 Решающее правило на основе вычисления правдоподобия 45
2.3 Алгоритм обучения вероятностной модели на основе самоорганизующихся карт 47
2.4 Выводы по главе 2 50
ГЛАВА 3. Экспериментальная оценка и исследование разработанной вероятностной модели на основе самоорганизующихся карт 52
3.1 Описание метрик для сравнительной оценки моделей 52
3.1.1 Числовая оценка точности, полноты, F-меры 52
3.1.2 Графическая оценка дисперсии и смещения 54
3.2 Методика экспериментальной сравнительной оценки моделей
3.2.1 Характеристика наборов данных из репозитория UCI 57
3.2.2 Оценка нормальности распределения вероятностей наблюдаемых данных из репозитория UCI 59
3.2.3 Характеристика моделей классификации
3.3 Результаты экспериментов и анализ результатов 65
3.4 Выводы по главе 3 71
ГЛАВА 4. Практическая применимость разработанной вероятностной модели в задачах распознаваниявременных рядов в условиях малой выборки 72
4.1 Классификация типов шероховатости поверхностного слоя деталей машин на основе предложенной модели 72
4.1.1 Актуальность задачи диагностики шероховатости поверхностного слоя деталей машин 72
4.1.2 Реализация диагностики шероховатости поверхностного слоя деталей машин на основе предложенной модели 75
4.2 Анализ статистических выбросов в телеметрической информации беспилотного летательного аппарата на основе предложенной модели 80
4.2.1 Актуальность задачи выявления отклонений в функционировании беспилотного летательного аппарата 80
4.2.2 Реализация способа выявления отклонений в функционировании беспилотного летательного аппарата на основе предложенной модели и методов 83
4.3 Выводы по главе 4 88
Заключение 89
- Сравнительный анализ порождающего и дискриминантного подхода к классификации
- Метод оценки параметров распределения вероятностей наблюдения данных в узлах карты
- Графическая оценка дисперсии и смещения
- Реализация диагностики шероховатости поверхностного слоя деталей машин на основе предложенной модели
Введение к работе
Актуальность темы. В диссертационной работе рассматривается задача распознавания многомерных временных рядов, часто возникающая при построении сложных программно-аппаратных комплексов, связанных с интеллектуальной обработкой информации, к которым относятся комплексы анализа как технических объектов (интеллектуальный мониторинг и диагностика), так и биологических объектов (распознавание речевой и двигательной активности человека).
В настоящее время в связи с активным развитием программных систем интеллектуализации обработки данных специалистам в области машинного обучения и анализа данных все чаще приходится иметь дело с такими многомерными временными рядами, структура и характеристики которых практически неизвестны. Методы машинного обучения применяются для решения все более широкого круга задач, связанных с анализом новых наборов данных. Как правило, статистическая выборка таких данных крайне мала, так как анализируемый процесс, в результате которого они были получены, является новым и мало исследованным. Таким образом, возникает задача распознавания многомерных временных рядов с малым объемом обучающей выборки.
Для распознавания многомерных временных рядов используются методы машинного обучения, основанные на графовых вероятностных моделях с концепцией состояний. Основная идея таких моделей состоит в том, что в каждый момент времени исследуемая система (процесс) находится в одном из конечного множества состояний, и с течением времени осуществляется переход из одного состояния в другое на основе марковского предположения условной независимости. Существуют две широко используемые и развивающиеся графовые вероятностные модели временных рядов, отличающиеся подходом к моделированию наблюдаемых данных в каждом их скрытом состоянии: порождающая модель - скрытая марковская модель (Hidden Markov Model - НММ), требующая оценки параметров распределений вероятностей появления наблюдаемых данных в каждом состоянии; дискриминантная модель - условные случайные поля со скрытыми состояниями (Hidden Conditional Random Field - HCRF), требующая оценки параметров разделяющей гиперплоскости между наблюдаемыми данными разных классов в каждом из состояний. Впервые теоретические основы НММ были заложены Леонардом Баумом {Leonard Байт, 1970) и позднее применены к задаче распознавания речи Джеймсом Бейкером {James Baker, 1975). Модель HCRF была разработана Ариадной Кватони {Ariadna Quattoni, 2005) для решения задачи распознавания траекторий движения рук, а позднее успешно применена Аселой Гунавардана {Asela Gunawardana, 2005) для решения задачи распознавания речи. Несмотря на то, что эти модели разрабатывались и развивались в основном в рамках решения задачи распознавания речи, в настоящее время они широко используются для распознавания произвольных
многомерных временных рядов, порожденных множеством различных технических и биологических процессов.
На сегодняшний день существует множество работ (М. Джордан, Э. Ын (М. Jordan, A. Ng, 2001); Ю. Сунг (Y. Sung, 2007); Ц.-Х. Сюэ, Д. М. Титерингтон (J.-H. Хие, D. М. Titterington, 2008)), посвященных сравнению моделей НММ и HCRF, а также порождающего и дискриминантного подходов к классификации, показывающих, что HCRF превосходит в точности классификации НММ при достаточно большом количестве обучающих данных. Это связано с тем, что особенностью дискриминантных моделей является требование большого количества обучающих данных для достижения своей асимптотически минимальной ошибки классификации (М. Джордан, Э. Ын, 2001). НММ, в свою очередь, сходятся к своей асимптотически минимальной ошибке классификации при значительно меньшем количестве обучающих данных и тем самым являются более перспективными для исследования при решении задачи классификации на малом объеме обучающей выборки.
Недостатком модели НММ являются проблемы, связанные с оценкой плотности вероятностей, в частности с оценкой матрицы ковариации. Избежать этих проблем можно путем исключения из модели матрицы ковариации, тем самым уменьшив количество свободных параметров модели и избежав переобучения на малом объеме обучающей выборки. Отказавшись от оценки матрицы ковариации, получаем функцию плотности вероятности вида
**) = [-) exp|-H|(i,-J:|||,
где р - параметр распределения;
Ц(. - вектор математических ожиданий;
п - размер вектора х.
Для оценки параметров смеси плотностей вероятности такого вида требуется либо модификация ЕМ-алгоритма, либо поиск альтернативных способов оценки. В данной работе рассматривается альтернативный ЕМ-алгоритму метод оценки параметров смеси гауссовских распределений с общей дисперсией на основе самоорганизующихся карт (SOM).
Здесь и далее аббревиатурой SOM будем называть непосредственно саму самоорганизующуюся карту Кохонена как объект, а аббревиатурой SSOM (Soft Self-Organising Map) - метод её обучения, заключающийся в итеративной переоценке значений узлов карты по принципу «победитель забирает большинство» с гауссовской функцией соседства.
Таким образом, важность порождающих вероятностных моделей с малым количеством параметров в задаче распознавания многомерных временных рядов при малом количестве обучающих данных, и важность самоорганизующихся карт в задаче оценки параметров распределений вероятностей в этих моделей, определили выбор темы данной диссертационной работы и актуальность решаемых научно-технических задач.
Цель и задачи работы. Целью диссертационной работы является разработка вероятностной модели на основе самоорганизующихся карт для распознавания многомерных временных рядов в условиях малого количества обучающих данных. Для достижения поставленной цели необходимо:
провести сравнительный анализ графовых вероятностных моделей временных рядов для решения задачи распознавания многомерных временных рядов с малым объемом обучающей выборки;
проанализировать возможность использования методов построения самоорганизующихся карт для оценки параметров распределений вероятностей;
разработать математическое описание вероятностной модели на основе самоорганизующихся карт, в которой переменные состояния ассоциируются с узлами самоорганизующейся карты;
разработать методы и алгоритмы оценки параметров вероятностной модели на основе самоорганизующихся карт;
разработать метод построения решающего правила классификации для предложенной вероятностной модели на основе самоорганизующихся карт;
провести экспериментальное исследование точности разработанной модели при решении задач классификации многомерных временных рядов с малым объемом обучающей выборки в сравнении с другими моделями классификации на различных наборах данных.
Объект исследования - многомерные временные ряды с малым объемом выборки.
Предмет исследования - графовые вероятностные модели в задаче классификации многомерных временных рядов в условиях малой выборки.
Методы исследования. Для решения поставленных задач используются методы теории вероятностей, математической статистики и статистической теории распознавания образов.
Достоверность и обоснованность результатов работы подтверждается корректностью использованных методов исследования, а также сходимостью теоретических выводов и данных экспериментов.
Научная новизна работы выражается в следующих пунктах:
предложена общая концепция графовой вероятностной модели на основе самоорганизующихся карт, граф связи переменных которой совпадает с графом скрытой марковской модели, где каждая переменная состояния ассоциируется с узлом самоорганизующейся карты и не является скрытой;
в модель самоорганизующихся карт введена концепция состояний и переходов между ними путем рассмотрения узла карты как некоего состояния цепи Маркова и, соответственно, переходов между узлами карты как переходов между этими состояниями, что позволило использовать самоорганизующиеся карты в составе предложенной модели для моделирования временных рядов.
Основные положения, выносимые на защиту:
математическое описание разработанной вероятностной модели на основе комбинации элементов скрытых марковских моделей и самоорганизующихся карт (модель HMM-SSOM);
алгоритм обучения разработанной модели HMM-SSOM;
решающее правило классификации на основе вычисления правдоподобия разработанной модели HMM-SSOM;
экспериментальное исследование свойств разработанной модели классификации HMM-SSOM, демонстрирующее быстрое достижение асимптотически минимальной ошибки классификации, низкую дисперсию и высокое смещение модели, что в итоге сказывается на высокой точности классификации при малом количестве обучающих данных.
Практическая значимость диссертационной работы заключается в следующем:
проведена экспериментальная сравнительная оценка качества классификации трех моделей классификации (НММ, HMM-SSOM, HCRF) на четырех наборах данных из репозитория UCI и получены графики зависимости ошибки классификации от размера обучающей выборки, демонстрирующие дисперсию и смещение каждой из моделей. В результате обозначены границы применимости каждой их моделей в зависимости от количества обучающих данных и закона распределения;
разработанная модель HMM-SSOM реализована в виде программного модуля, и успешно применена для решения следующих практических задач: анализ статистических выбросов в телеметрической информации беспилотного летательного аппарата; классификация типов шероховатости поверхностного слоя деталей машин.
Соответствие Паспорту номенклатуры специальностей.
Область исследования согласно паспорту специальности 05.13.17 - «Теоретические основы информатики»: разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечения (п. 5); разработка методов распознавания образов, синтеза решающих правил (п. 7).
Реализация и внедрение основных результатов работы.
Основные результаты работы внедрены в опытно-конструкторские разработки АО «КБ «ЛУЧ», АО «ОДК - Газовые турбины» и учебный процесс ФГБОУ ВО РГАТУ имени П. А. Соловьёва, что подтверждено соответствующими актами о внедрении результатов диссертационной работы.
Апробация результатов исследования. Основные научные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях: «Радиолокация, навигация и связь»: XVII международная научно-техническая конференция, - Воронеж, 2011; «Инновационные Технологии: Теория. Инструменты. Практика.»: международная интернет-
конференции молодых ученых, аспирантов и студентов, - Пермь, 2011; «Теория и практика системного анализа»: всероссийская научная конференция молодых ученых с международным участием, - Рыбинск, 2012; «КИИ-2012»: тринадцатая национальная конференция по искусственному интеллекту с международным участием, - Белгород, 2012; «Теория и практика системного анализа»: всероссийская научная конференция молодых ученых с международным участием, - Рыбинск, 2014; «Интеллектуализация обработки информации»: международная конференция, - Греция (о. Крит), 2014; «Инновации. Технологии. Производство»: научно-практическая конференция к 100-летию со дня рождения главного конструктора П. А. Колесова, - Рыбинск, 2015; «Наукоёмкие технологии на современном этапе развития машиностроения»: VIII международная научно-техническая конференция, - Москва, 2016; «Информатика, управление и системный анализ»: IV всероссийская научная конференция молодых ученых с международным участием, - Тверь, 2016.
Публикации. Основной материал диссертации опубликован в 17 печатных работах, в т. ч. 5 - в рецензируемых научных журналах, рекомендованных ВАК для публикации результатов научных исследований, 1 - в рецензируемых научных журналах, включённых в Scopus. Получено 2 свидетельства о государственной регистрации программы для ЭВМ.
Объем и структура диссертации
Сравнительный анализ порождающего и дискриминантного подхода к классификации
Для математического описания временных рядов широко используются графовые вероятностные модели. Графовая вероятностная модель представляет собой направленный или ненаправленный граф, вершины которого являются случайными величинами, а ребра показывают зависимость между случайными величинами. Язык графовых вероятностных моделей позволяет рассматривать сложные вероятностные распределения с большим количеством случайных величин путем сведения (факторизации) к композиции более простых распределений, оперируя предположениями условной независимости случайных величин [9, 10]. Графовые вероятностные модели временных рядов характеризуются наличием случайной дискретной величины h (состояния), которая позволяет учитывать в модели изменение анализируемого временного ряда во времени. В данной диссертационной работе рассматриваются только так называемые «цепные» модели, переход между скрытыми состояниями которых можно описать марковской цепью.
Анализ работ в области распознавания многомерных временных рядов (рукописный текст [11, 12], жесты рук и головы [13, 14, 15], электрокардиосигналы [16, 17] и речевые сигналы [18, 19]) показал, что следующие две модели являются лидирующими («state-ofhe-art»): - скрытые марковские модели (Hidden Markov Model (HMM)); - условные случайные поля со скрытыми состояниями (Hidden Conditional Random Fields (HCRF)).
Кроме того, графовые вероятностные модели временных рядов также активно используются в задачах, напрямую не относящихся к анализу временных рядов. К такому классу задач относится анализ изображений (сегментация, классификация текстур), где в связи наибольшей вычислительной эффективностью моделям на основе марковских цепей отдаётся предпочтение по сравнению с моделями на основе марковских полей [20, 21, 22].
Скрытые марковские модели и условные случайные поля со скрытыми состояниями являются представителями двух различных подходов к построению графовых вероятностных моделей для решения задачи классификации [23, 24]: - порождающие (generative) модели (HMM); - дискриминантные (discriminative) модели (HCRF). Отличие этих двух подходов состоит в следующем. Задачей порождающих моделей является оценка параметров плотности распределения вероятностей появления наблюдаемых данных в каждом классе и выполнение классификации по принципу наибольшего соответствия параметров модели наблюдаемым данным. Это соответствует максимизации функции правдоподобия L от параметров плотности вероятности совместного распределения наблюдаемых данных и меток классов – p(y, X). Задачей дискриминантных моделей является построение разделяющей гиперплоскости в пространстве признаков, наилучшим образом отделяющей объект одного класса от объектов всех других классов. Решение о принадлежности объекта тому или иному классу принимается на основе принадлежности его вектора признаков соответствующему подпространству, образованному в результате разделения пространства признаков гиперплоскостью [25, 26]. Это соответствует максимизации функции правдоподобия L от параметров плотности вероятности условного распределения наблюдаемых данных и меток классов – p(y X). Обучение порождающих моделей происходит независимо для каждого класса, то есть порождающая модель обучается только на данных своего класса. Дискриминантная модель является общей для всех классов и обучается на всех имеющихся данных всех классов.
Основная работа по сравнению порождающих и дискриминантных классификаторов была проведена в 2002 году Майклом Джорданом (M. Jordan) и Эндрю Ыном (A. Ng), [27, 28, 29]. Дискриминантный и порождающий подход к классификации сравнивались на примере наивного байесовского классификатора и модели линейной логистической регрессии. В результате было теоретически доказано и эмпирически проверено на 15 различных наборах данных из репозитория UCI, что дискриминантному классификатору необходимо p обучающих данных для достижения своей асимптотически минимальной ошибки классификации, тогда как порождающему классификатору необходимо log(p) обучающих данных. Другими словами, при малом количестве обучающих данных порождающие модели являются наиболее предпочтительными. Это объясняется тем, что порождающие модели определяют своей структурой модель данных. Жестко определённая структура модели (закон распределения, соотношение условных независимостей переменных в модели) играют роль регуляризатора и не приводят к переобучению в случае малого количества обучающих данных.
Метод оценки параметров распределения вероятностей наблюдения данных в узлах карты
В данной работе рассматриваются временные ряды, порожденные стохастическим процессом, обладающим марковским свойством, следовательно, модель для описания таких временных рядов должна обладать некоторыми временными состояниями и учитывать переходы между этими состояниями. Модель смеси гауссовских распределений не обладает такими временными состояниями и соответственно ни EM-алгоритм, ни алгоритм самоорганизующихся карт, не могут быть использованы для моделирования временных рядов в явном виде. Скрытая марковская модель (HMM) как раз и является такой модификацией модели гауссковских смесей с целью обеспечения возможности распознавания временных рядов, а алгоритм оценки параметров HMM – алгоритм Баума-Велша, соответственно, является модификацией EM-алгоритма. Очевидно, что для распознавания временных рядов с помощью самоорганизующихся карт необходимо разработать некую подобную модификацию. В модель самоорганизующихся карт необходимо ввести концепцию состояний и переходов между этими состояниями, то есть фактически необходимо связать самоорганизующиеся карты с цепями Маркова.
Ввести концепцию состояний и переходов между ними в модель самоорганизующихся карт можно путем рассмотрения узла карты как некоего состояния цепи Маркова и, соответственно, переходов между узлами карты как переходов между этими состояниями [95, 96, 97]. Состояние модели можно ассоциировать с узлом карты при условии, что: - множество состояний цепи Маркова эквивалентно множеству узлов карты; - между узлами карты можно ввести концепцию переходов, аналогично переходам между состояниями цепи Маркова.
За основу предлагаемой модели возьмем структуру модели НММ, с той лишь разницей, что состояния модели будут явными, а не скрытыми. Структура разрабатываемой модели представляет собой граф из двух типов случайных величин, соответствующих двум типам вершин (наблюдаемым данным и узлам карты), и ребер между ними, соединяющих вершины. Ребра характеризуют зависимость вершин и соединяют их, исходя из следующих двух правил: - t-ый отсчет временного ряда xt зависит только от соответствующего узла карты ht и не зависит от других узлов карты или других наблюдаемых данных; - узел карты ht, соответствующий t -ому отсчету временного ряда, зависит только от узла карты ht_1.
Плотность совместного распределения случайных величин заданных на такой модели аналогична НММ и представляет собой произведение двух условных распределений вероятностей p(xt ht) и p(ht ht _1), t = 1..T(T - длина временного ряда), составленных в соответствии с этими двумя правилами [93, 94] (для упрощения записи примем, что р(\ ) = р(\ h0)) p(h,X) = Y\p(k ht-1)P(xt К). t=1 (2.1) Графически такая модель отличается от HMM тем, что состояния наблюдаемы и являются узлами самоорганизующейся карты (рис. 2.1). h h X X Рис. 2.1. Графическое представление разрабатываемой модели Далее необходимо разработать методы оценки параметров распределений p(xt \ht) и p(ht \ht_l). Особенность и отличие от НММ состоит в том, что оценка параметров каждого из двух распределений выполняется независимо друг от друга. 2.1.1 Метод оценки параметров распределения вероятностей наблюдения данных в узлах карты Параметры распределения вероятностей наблюдения данных p(xt ht) в состояниях ht предложенной модели будем оценивать методом SSOM p(xf \h=v) = Ы— expJ-"-w -xt[, (2.2) где w - размерность пространства признаков; (З - параметр распределения (не оцениваемый); wv - значения узла карты с номером v в R". Оценка математического ожидания в данном гауссовском распределении вероятностей равна значению соответствующего узла карты w. Оценка wt выполняется методом SSOM по правилу «победитель забирает большинство» с гауссовской функцией соседства. Правомочность такой оценки обосновывалась в главе 1 (пункт 1.3).
Оценку распределения вероятностей переходов между состояниями будем выполнять на обучающей выборке путем подсчета частоты переходов между узлами карты. При этом под «переходом» понимается следующее. Пусть дан временной ряд 0 = {ol,o2,...,ot,...,oT} и множество узлов карты W = {щ, w2,...,wu,...,wN}, тогда от узла wt.є W к узлу w. є W происходит переход в момент времени t если: " ЇЇТ1 " "2 (2.3) / = argminw — o, II . u=\..N Так как переменная h, характеризующая состояние/узел карты, является дискретной случайной величиной, то оценка параметров её распределения по методу максимального правдоподобия сводится к оценке частоты наблюдений реализации данной случайной величины. Оценка распределения переходных вероятностей в марковской цепи p(ht\ht_x), выполненная по принципу максимума правдоподобия, является смещённой. Смещение оценки устраняется при увеличении объема выборки. В связи с малым количеством обучающих данных выполним оценку по методу апостериорного максимума (Maximum a posteriori (MAP)). Априорно сопряженным распределением к распределению переходов в марковской цепи является распределение Дирихле. Добавление априорно сопряженного распределения выполняет функцию регуляризации и не дает модели переобучаться при малом количестве обучающих данных. Тогда вероятность p(ht = j I ht_x = і) запишем как а .+. p(ht = j I ht_x = о ,J J #, (2.4) v=l v=l где a - количество переходов из состояния с номером / в состояние с номером у, i = 0..N,j =1..N; t,- параметр распределения Дирихле. Так как какая-либо дополнительная информация о наиболее или наименее вероятных переходах отсутствует, то будем предполагать, что Ъ 1 принимает одно и то же значение, одинаковое для всех i.
Графическая оценка дисперсии и смещения
Эксперимент состоит в сравнительной оценке точности классификации в зависимости от размера обучающей выборки. В рамках данного эксперимента обучающая выборка, подготовленная авторами наборов данных, разбивается на k блоков. Проводится k экспериментов (обучений/тестирований) с 1 до k обучающими блоками на одной и той же тестовой выборке. Обучающие блоки переупорядочиваются, и снова проводится k экспериментов. По результатам эксперимента строятся графики зависимости усредненной ошибки классификации по всем k разбиениям от количества обучающих данных. Точность классификации оценивается по показателю F-меры. Для оценки точности классификации используются следующие наборы данных из репозитория UCI.
Набор данных «Spoken Arabic Digit Data Set». Набор данных из 8800 (10 слов, 10 повторений, 88 говорящих) произнесенных цифр на арабском языке, представляющих собой временные последовательности из 13 MFCC признаков, полученных путем цифровой обработки слов, произносимых носителями арабского языка в возрасте от 18 до 40 лет в составе 44 женщин и 44 мужчин. Частота дискретизации речевого сигнала – 11025 Гц.
Набор данных «Character Trajectories Data Set». Траектории движения пера полученные при написании букв английского алфавита на планшете Wacom. Данные состоят из трех параметров: координата точки по оси абсцисс, оси ординат и сила нажима. Данные сглажены и нормированы. Частота считывания координат – 200 Гц.
Набор данных «Dataset for ADL Recognition with Wrist-worn Accelerometer». Набор данных из 5212 последовательностей показаний трехосного акселерометра, закрепленного на правой руке 16 людей различного пола и возраста. Человек с закрепленным на руке акселерометром совершает 7 различных действий: climb_stairs (поднимается по лестнице), drink_glass (пьёт из стакана: берет стакан, пьет, ставит на стол), getup_bed (встает с кровати из положения лежа), pour_water (берет бутылку со стола, наливает из бутылки в стакан, стоящий на столе, ставит бутылку обратно на стол), sitdown_chair (садится на стул), standup_chair (встает со стула), walk (шагает). Частота считывания координат – 32 Гц.
Набор данных «Indoor User Movement Prediction from RSS data Data Set». Набор данных предназначен для классификации шаблонов поведения человека в реальных офисных условиях, путем анализа информации с датчиков. Задача бинарной классификации состоит в анализе траектории движения человека и определении того, будет ли изменена локация (будет ли совершен переход из комнаты «А» в комнату «Б»). Траектория человека характеризуется уровнем сигнала от 4-х датчиков радиосигнала, значение которых, в свою очередь, зависит от расстояния между датчиками и человеком. Частота считывания уровня сигнала – 8 Гц.
Описание данных приведено в таблице 3.1. В ходе проводимых экспериментов исходное пространство признаков не подвергалось никаким изменениям.
Источник Репозиторий UCI [104] Репозиторий UCI [105] Репозиторий UCI [106] Репозиторий UCI [107] 3.2.2 Оценка нормальности распределения вероятностей наблюдаемых данных из репозитория UCI Для получения информации о характере распределения вероятностей наблюдаемых данных в каждом наборе произведем анализ многомерной нормальности. Задача оценки многомерной нормальности является нетривиальной задачей, и в настоящее время критерии оценки нормальности многомерного распределения активно развиваются и исследуются. Для решения данной задачи хорошо зарекомендовали себя графические методы оценки многомерной нормальности, в частности квантиль-квантиль график. Такой график позволяет визуально оценить качество подгонки теоретического распределения вероятностей к эмпирическому. Если наблюдаемые данные попадают на прямую линию, то выбранное теоретическое распределение подходит для описания наблюдаемых данных. Для построения квантиль-квантиль графиков была использована среда MATLAB и MATLAB-функция «Mskekur» разработанная Антонио Трухильо-Ортис (Antonio Trujillo-Ortiz) [108, 109]. В данном методе построения квантиль-квантиль графиков по оси ординат откладываются не сами наблюдаемые значения, а квадраты расстояния Махаланобиса между наблюдениями и средними значениями. Соответственно по оси абсцисс откладываются не квантили гауссовского распределения, а квантили хи-квадрат распределения.
Prediction from RSS data Data Set» Исходя из визуального анализа квантиль-квантиль графиков (рисунки 3.8 – 3.11) можно сделать вывод, что в двух из четырех наборах распределение вероятностей не соответствует многомерному нормальному закону, так как наблюдаемые значения не попадают на прямую линию. К таким наборам относятся: «Character Trajectories Data Set» и «Dataset for ADL Recognition with Wrist-worn Accelerometer». Кроме того, визуально можно оценить, что ни одна гистограмма элементов вектора признаков этих наборов данных не соответствует нормальному закону (рисунок 3.5, 3.6). Соответственно на этих двух наборах данных точность классификации порождающих моделей (НММ, HMM-SSOM), в случае малого количества обучающих данных, может в значительной степени уступать точности классификации дискриминантных моделей (HCRF), так как порождающие модели используют априорное предположение о нормальности распределения.
Параметры тестируемых классификаторов приведены в таблице 3.2. Выбор параметра L2 -регуляризации для модели HCRF, параметра распределения Дирихле , и параметра распределения Гаусса (3 для модели HMM-SSOM, а также количества состояний для моделей HCRF, НММ и HMM-SSOM выполняется на проверочной выборке VD, составляющей 10 % от обучающей выборки. Следует обратить внимание на то, что количество состояний модели напрямую зависит от количества отсчетов временного ряда. Чем длиннее временной ряд, тем больше состояний необходимо включить в модель.
В качестве метода обучения HCRF будем использовать квазиньютоновский метод оптимизации BFGS. В качестве метода обучения НММ будем использовать ЕМ-алгоритм (модификация Баума-Велша). В эксперименте проанализируем два вида НММ: НММ с гауссовским распределением и полной матрицей ковариации (НММ (Full)) и НММ с гауссовским распределением и диагональной матрицей ковариации (НММ (Diagonal)).
Реализация диагностики шероховатости поверхностного слоя деталей машин на основе предложенной модели
В настоящее время идет активное развитие направления беспилотных летательных аппаратов (БЛА) как с целью военного, так и гражданского применения. Основной причиной того, что БЛА достигли текущего уровня развития, является их огромный потенциал военного применения. БЛА имеет много преимуществ в разведывательных и боевых операциях по сравнению с пилотируемыми летательными аппаратами, основным из которых является то, что люди не находятся в непосредственном контакте с войсками противника. Постепенно БЛА также применяются и в гражданских целях для мониторинга состояния наземных объектов и подстилающей поверхности [115], а также выполнения поисково-спасательных операций. Рост вариантов использования БЛА приводит к их применению совместно с пилотируемыми летательными аппаратами, а также применению в густонаселенных районах. Это увеличивает уровень требований к безопасности и надежности самолета. Несмотря на развитую систему контроля качества, существует вероятность выхода из строя компонентов БЛА в процессе полета. Когда это происходит, важно, чтобы неисправность была вовремя обнаружена, и были приняты соответствующие меры. Возможны различные варианты реакции оператора на возникновение неисправностей [116]: - отключение автопилота (системы автоматического управления (САУ)) и переход в ручной режим управления БЛА (такое решение является самым распространенным в практике применения БЛА); - переключение на резервный блок, в случае отказа основного (при наличии резервирования).
Автоматическая диагностика неисправностей позволяет оператору сосредоточиться на выполнении задачи (разведки, мониторинга местности) и переключать свое внимание на обработку неисправностей только в случае их индикации. Ряд неисправностей может быть диагностирован на основе телеметрической информации о состоянии узлов и датчиков БЛА. Выход из строя датчиков скорости, высоты, положения в пространстве особенно критичен, так как приводит к некорректной работе САУ и аварии БЛА. Поэтому раннее обнаружение неисправностей в датчиках и отключение САУ способствует своевременному переходу в ручной режим управления и сохранению целостности БЛА.
Некоторый малый класс неисправностей может быть обнаружен за счет тривиального анализа на предмет выхода текущего показания датчика за границы допустимых значений. Но существует ряд неисправностей, которые могут быть обнаружены только интеллектуальной системой анализа данных – системой анализа статистических выбросов (аномалий). Такие системы анализируют не единичное текущее значение параметра, а изменение во времени всех параметров БЛА в совокупности и позволяют выявлять сложные ситуативные (контекстные) неисправности датчиков [117, 118]. Такие ситуации возникают, когда показания одного датчика противоречат остальной телеметрической информации, например: - датчик скорости выдает некорректное значение (например, константное), не соответствующее данным спутниковой навигационной системы (СНС) и текущему количеству оборотов двигателя, в результате поломки датчика скорости; - некорректное значение крена при изменяющемся корректном значении положения рулевых машинок, что может свидетельствовать об обледенении крыльев; - несоответствие параметров пространственного положения БЛА по данным СНС показаниям бортовой инерциальной системы, что может быть показателем информационно-технического воздействия в виде наведения на БЛА ложного навигационного поля.
Системы анализа статистических выбросов направлены на обнаружение редких, маловероятных событий (аномалий). Классический подход к обнаружению аномалий состоит в вычислении точного описания модели штатного функционирования (без аномалий) объекта, при этом для каждой новой информации об объекте вычисляется оценка отклонения от модели. Если эта оценка превышает заданное пороговое значение, то фиксируется наличие аномалии. Кроме такого классического подхода, часто задача анализа статистических выбросов рассматривается как задача двухклассовой классификации [119]. Методы обнаружения аномалий на основе классификации работают по классической схеме машинного обучения. На этапе обучения классификатор обучается на двух размеченных классах данных: «нормальном» и «аномальном», причем аномальных данных всегда меньше. На этапе классификации классификатор выполняет соотнесение новых данных к одному из двух классов: «нормальные данные» или «данные с аномалиями».
В работе [120] показано, что методы обнаружения аномалий на основе машинного обучения (в частности авторами рассматривался подход на основе нейронных сетей) показывают лучший результат в задаче обнаружения неисправностей в датчиках БЛА, по сравнению с методами на основе расширенного фильтра Калмана.
Реализация способа выявления отклонений в функционировании беспилотного летательного аппарата на основе предложенной модели и методов Для экспериментального исследования способа выявления отклонений в функционировании беспилотного летательного аппарата был использован программный имитатор БЛА, содержащий САУ реального БЛА. Программный имитатор разработан в среде MATLAB/SIMULINK и моделирует физические процессы, происходящие в условиях реального полета, а также позволяет имитировать различные неисправности датчиков, частично влияющие на телеметрию всего самолета. Задачей системы анализа отклонений функционирования БЛА является анализ неисправностей в датчиках, на основе показаний которых выполняется автоматическое управление самолетом в режиме автопилота. САУ использует показания следующих датчиков: - данные спутниковой навигационной системы; - гироскоп (датчики угловых скоростей по осям X, Y, Z); - акселерометр (датчики линейных ускорений по осям X, Y, Z); - трубка Пито (датчик скоростного напора); - барометрический высотомер; - лазерный высотомер. Существует некоторая прямая или косвенная зависимость между показаниями этих датчиков и остальной телеметрической информацией. Задача системы анализа отклонений на этапе обучения в процессе штатного полета (без отклонений) состоит в том, чтобы найти и описать эту зависимость в виде математической модели, а на этапе обнаружения отклонений установить, что текущая зависимость отличается от ранее полученной.
В рамках эксперимента была создана модель нормального (штатного) функционирования датчика скоростного напора, восстанавливающая зависимости между следующими 3 параметрами: - датчик скоростного напора (трубка Пито); - путевая скорость (скорость, оцененная по СНС); - число оборотов вала двигателя. Предполагается, что значения параметров СНС и телеметрии двигателя всегда истинны и не содержат ошибок. Телеметрическая информация поступает с периодом 50 миллисекунд. Анализу подвергается временной промежуток равный 5 секундам с перекрытием 4 секунды. По отношению к данному временному промежутку, состоящему из 100 отсчетов телеметрической информации, принимается решение о наличии или отсутствии неисправности.
При обучении была использована телеметрическая информация с имитатора БЛА, собранная во время выполнения взлета, набора высоты и барражирования в круге (таблица 4.4). Пороговое значение для фиксирования аномалии (отклонения от штатного функционирования) в датчике скоростного напора оценивалось путем внесения неисправности в этот датчик в программном имитаторе БЛА. Неисправность имитировалась путем замены адекватных показаний датчика скоростного напора на три типа некорректных значений: - монотонно убывающее значение; - случайное значение; - константное значение. Исходные значения параметров телеметрии были преобразованы во временной ряд 0 = {о1,о2,...,от} путем взятия производной от каждого параметра в отдельности, то есть анализируются не сами значения параметров, а скорости их изменения.
Примеры исходных данных телеметрии приведены в Приложении Б. Квантиль-квантиль график распределения для таких данных изображен на рисунке 4.7.
Проведем сравнительную оценку модели НММ, HCRF и предлагаемой модели (HMM-SSOM) в решении задачи обнаружения аномального функционирования БЛА. Параметры моделей описаны в таблице 4.5. Результат классификации - в таблице 4.6. Тестовый полет состоял в выполнении взлета, набора высоты и полета в ручном режиме со сменой высоты, скорости и курса.