Содержание к диссертации
Введение
Глава 1. Управление образовательным процессом в образовательных организациях МВД России 12
1.1 Система управления образовательным процессом в образовательной организации МВД России 12
1.2 Информационное обеспечение управления образовательным процессом в образовательной организации МВД России 24
1.3 Аналитическое обеспечение управления образовательным процессом образовательной организации МВД России 38
Выводы по главе 1 52
Глава 2. Интеллектуальный анализ данных в управлении образовательным процессом образовательной организации МВД России 54
2.1 Анализ методов выявления аномалий в образовательных данных 54
2.2 Методика оценки эффективности методов обнаружения аномалий в данных образовательных систем 75
2.3 Модель интеллектуального анализа образовательных данных в образовательной организации МВД России 83
Выводы по главе 2 97
Глава 3. Разработка прототипа системы поддержки принятия решения управления образовательным процессом образовательной организации МВД России 98
3.1 Особенности анализа реальных образовательных данных образовательной организации МВД России 98
3.2 Проектирование и выбор средств разработки прототипа системы поддержки принятия управленческих решений на основе методов интеллектуального анализа данных 109
3.3 Принятие управленческих решений при использовании разработанного прототипа системы поддержки принятия решения 122
Выводы по главе 3 129
Заключение 130
Список сокращений и условных обозначений 132
Список использованной литературы 133
Приложение А (Блок схема алгоритма СППР управления учебным процессом) 144
Приложение Б (Фрагмент листинга СППР управления учебным процессом) 145
Приложение В (Схема автоматизированного мониторинга образовательного процесса образовательной организации МВД России) 150
Приложение Г (Реализация алгоритма DBSCAN в псевдокоде) 151
Приложение Д (Реализация алгоритма изолирующего леса в псевдокоде) 153
- Информационное обеспечение управления образовательным процессом в образовательной организации МВД России
- Анализ методов выявления аномалий в образовательных данных
- Особенности анализа реальных образовательных данных образовательной организации МВД России
- Принятие управленческих решений при использовании разработанного прототипа системы поддержки принятия решения
Введение к работе
Актуальность темы исследования. Процесс реформирования
правоохранительных органов в России, а также динамика изменений государственных стандартов в области образования требуют постоянного совершенствования образовательного комплекса органов внутренних дел, повышения качества принимаемых в нем решений, направленных на подготовку высококвалифицированных специалистов.
Необходимость скорейшего решения данной задачи обусловлена в том числе и масштабным внедрением современных информационных технологий в практическую деятельность служб и подразделений органов внутренних дел. За последние несколько лет в МВД России проведена большая работа по формированию единого информационного-технологического пространства ведомства путем построения Единой системы информационно-аналитического обеспечения деятельности (ИСОД) МВД России.
Интенсивная информатизация деятельности органов внутренних дел способствовала появлению инструментов интеллектуальной поддержки принятия решений, позволяющих обрабатывать большие массивы данных. Разработка и интеграция новых специализированных автоматизированных информационных систем коснулась многих направлений деятельности ведомства, однако, системные решения в интересах образовательного комплекса органов внутренних дел на сегодняшний день отсутствуют. Необходимость их разработки и широкого внедрения в процессы управления становится объективной реальностью, которая нормативно закрепляется как в государственных образовательных стандартах нового поколения, так и в других документах федеральных и ведомственных органов управления образованием.
Существующие подходы к сбору данных об образовательном процессе в образовательных организациях МВД России справляются с функцией индивидуального учета результатов освоения обучающимися образовательных программ. Однако сложившаяся практика и механизмы анализа этих данных для поддержки принятия решений нуждаются в совершенствовании, одним из направлений которого является использование методов интеллектуального анализа данных. Интеллектуальный анализ представляет собой обобщающее понятие, характеризующее интегральное применение современных методов классификации, моделирования и прогнозирования, осуществляемого в разных сферах человеческой деятельности на основе больших объемов данных.
Таким образом, актуальность настоящего диссертационного
исследования определяется необходимостью совершенствования управления образовательным процессом образовательной организации с целью поиска оптимальных траекторий подготовки качественных специалистов для органов внутренних дел. Решить эту задачу в условиях большого объема обрабатываемых разнородных данных, отражающих различные аспекты функционирования обучаемых, их достижения и неудачи, без использования научно обоснованных математических методов и моделей, реализующих интеллектуальный подход к анализу информации, не представляется
возможным. Разработка таких математических методов, моделей и алгоритмов и составляет основное содержание диссертационного исследования.
Степень научной разработанности проблемы. Научный поиск данного
исследования в части теоретических и практических вопросов
совершенствования методов и моделей управления в социальных и
экономических системах опирается на работы многих отечественных и
зарубежных ученых: Р. Акофа, А.В. Бецкова, Л. Берталанфи, В.Н. Буркова,
Ю.Б. Гермейера, В.А. Ирикова, В.В. Кульбы, В.В. Кондратьева,
А.Ф. Кононенко, В.В. Меньших, М. Месаровича, Н.Н. Моисеева,
Д.А. Новикова, Р.М. Нижегородцева, Т. Саати, Я. Такахары,
Г.А. Угольницкого, С.Л. Чернышева, А.В. Щепкина.
Большой вклад в разработку подходов к решению проблем управления в
образовательном комплексе правоохранительных органов России внесли
В.С. Артамонов, В.И. Болокан, И.В. Горошко, В.В.Гусев, И.Г. Дровникова,
В.И. Ждамиров, С.Л. Исаков, В.И. Кононенко, В.А.Петров Б.А. Торопов,
С.П. Трещеткин, Г.А. Туманов, В.А. Минаев, А.С. Овчинский,
М.В. Петропавловский, Т.М. Фролова.
Теоретическую основу данной работы в области методов
интеллектуального анализа данных составили труды Р. Бейкера,
М. Биенковски, П.Л. Брусиловского, С. Вентуры, Н.Н. Горлушкиной,
А.В. Маслобоева, М.В. Хлопотова, Х. Ромеро, М. Фенга и других.
Несмотря на неоспоримую научную значимость и широкий спектр проблем, рассматриваемых вышеназванными авторами, необходимо отметить, что применению методов и моделей интеллектуального анализа данных в управлении образовательным процессом образовательных организаций МВД России не уделялось должного внимания. Это можно объяснить относительной новизной данного научного направления. Отмеченные выше обстоятельства определили цель, задачи и направление диссертационного исследования.
Объектом диссертационного исследования является система
управления образовательным процессом образовательной организации МВД России.
Предметом диссертационного исследования являются методы и модели
интеллектуального анализа данных, применяемые в управлении
образовательным процессом образовательной организации МВД России.
Цель диссертационного исследования заключается в
совершенствовании управления образовательным процессом образовательной организации МВД России на основе использования методов и моделей интеллектуального анализа данных.
Для достижения указанной цели работы сформулированы следующие задачи:
1) Проведение анализа места образовательных организаций в структуре
образовательного комплекса МВД России, а также подходов к
совершенствованию управления образовательным процессом, как основного направления их деятельности.
2) Изучение возможностей применения методов и моделей
интеллектуального анализа данных к массивам образовательных данных
образовательной организации МВД России и определение их особенностей с
учетом ведомственной компоненты.
-
Обоснование подхода к использованию методов интеллектуального анализа данных в целях совершенствования управления образовательным процессом образовательных организаций МВД России.
-
Разработка методики оценки эффективности методов обнаружения аномалий в данных образовательных организаций.
5) Разработка модели анализа данных о ходе образовательного процесса
образовательной организации МВД России на основе методов обнаружения
аномалий.
6) Разработка прототипа системы поддержки принятия решения
управления образовательным процессом в образовательной организации МВД
России.
Научная новизна диссертационного исследования состоит в том, что
автором впервые исследованы вопросы обеспечения поддержки принятия
решений управления образовательным процессом в образовательной
организации МВД России при использовании методов интеллектуального
анализа данных. В диссертации получены следующие результаты,
характеризующиеся научной новизной:
-
Проанализированы существующие механизмы сбора и обработки данных в управлении образовательным процессом образовательной организации МВД России, выявлены их достоинства и недостатки и определены направления совершенствования, связанные с применением методов интеллектуального анализа данных.
-
Сформулирована задача выявления аномалий в данных, используемых в управлении образовательным процессом образовательной организации МВД России и предложены подходы к её решению на основе алгоритмов классификации, кластеризации и решающих деревьев.
-
Предложена и апробирована методика оценки эффективности методов обнаружения аномалий, ориентированная на научно-обоснованный выбор конкретного алгоритма анализа многомерных массивов данных в условиях невозможности бинарной классификации исследуемых объектов.
-
Разработана модель анализа данных хода образовательного процесса образовательной организации МВД России, реализующая комплекс эффективных методов обнаружения аномалий и учитывающая особенности отбора и вычисления признаков объектов ведомственной образовательной системы.
-
Разработан прототип компьютерной системы поддержки принятия управленческих решений в образовательном процессе образовательной организации МВД России, который позволяет интегрировать методы интеллектуального анализа данных с действующими системами мониторинга образовательного процесса.
Теоретическая и практическая значимость диссертационного исследования определяется вкладом в развитие теории информационного обеспечения управления образовательными системами.
На основании проведенного исследования были сформулированы теоретические положения и выводы, развивающие теорию поддержки принятия управленческих решений в области применения наиболее эффективных на сегодняшний день методов анализа больших массивов данных.
Практическая значимость работы определяется её направленностью на совершенствование конкретных процессов управления образовательными системами с учетом ведомственной специфики МВД России.
Теоретические и практические результаты диссертационного
исследования внедрены в образовательный процесс Орловского юридического института МВД России имени В.В. Лукьянова на кафедре информационных технологий в деятельности ОВД при подготовке учебно-методического обеспечения учебных дисциплин «Основы управления в ОВД» и «Информатика и информационные технологии в профессиональной деятельности».
Материалы данного исследования использованы в научной деятельности Орловского юридического института МВД России имени В.В. Лукьянова при подготовке научно-исследовательской работы «Перспективы использования электронного планирования в ОВД» (п. 51 плана научной деятельности института 2016 г.).
Результаты работы внедрены в практическую деятельность
подразделений ответственных за организацию образовательного процесса. Разработанный прототип системы поддержки принятия решения активно применяется в повседневной деятельности во взаимодействии с системой «Электронный журнал» в ОрЮИ МВД России имени В.В. Лукьянова.
Обоснованность диссертационного исследования определяется
применением общепризнанных методологических положений, используемых при решении проблем из рассматриваемой области: комплексной методики исследования, дающей возможность объективно и всесторонне изучить поставленные задачи; общих и частнонаучных методов.
Методология и методы исследования. Методологическую основу
исследования составляют фундаментальные труды отечественных и
зарубежных ученых в области математического моделирования, управления сложными социальными системами и методов интеллектуального анализа данных.
Теоретическую базу работы составили общие положения системного анализа, теории управления организационными системами, и в частности образовательными системами, а также теории построения информационных систем. Основные результаты работы получены с использованием методов системного анализа, теории управления, математического моделирования, прикладной статистики и интеллектуального анализа данных.
Соответствие диссертации паспорту специальности. Работа
соответствует паспорту специальности 05.13.10 – управление в социальных и экономических системах:
– п. 5 – разработка специального математического и программного обеспечения систем управления и механизмов принятия решений в социальных и экономических системах;
– п. 6 – разработка и совершенствование методов получения и обработки информации для задач управления социальными и экономическими системами;
– п. 10 – разработка методов и алгоритмов интеллектуальной поддержки принятия управленческих решений в экономических и социальных системах;
– п. 12 – разработка новых информационных технологий в решении задач управления и принятия решений в социальных и экономических системах.
Положения, выносимые на защиту:
-
Авторский подход к решению задачи выявления аномалий в данных используемых в управлении образовательным процессом образовательных организаций МВД России, суть которого заключается в совершенствовании существующих механизмов сбора, обработки и анализа таких данных с целью повышения обоснованности принятия управленческих решений.
-
Методика оценки эффективности методов обнаружения аномалий в данных образовательных систем, позволяющая провести научно-обоснованный выбор метода обнаружения аномалий для конкретного массива образовательных данных в условиях невозможности неформальной бинарной классификации объектов образовательной системы.
-
Модель анализа данных о ходе образовательного процесса образовательной организации МВД России, реализующая комплекс эффективных методов обнаружения аномалий с учетом его ведомственной специфики и учитывающая особенности отбора и вычисления признаков объектов образовательной системы органов внутренних дел.
-
Прототип системы поддержки принятия решения управления образовательным процессом в образовательной организации МВД России. Его основное назначение заключается в интеграции методов интеллектуального анализа данных с действующими системами мониторинга образовательного процесса образовательных организаций МВД России и интерактивном выводе полученных результатов для информационной поддержки принятия решений.
Степень достоверности и апробации результатов. Научные положения, теоретические выводы и практические рекомендации, включенные в диссертацию, обоснованы математическими доказательствами и результатами их применения на реальном массиве данных образовательного процесса образовательной организации МВД России в период с 2013-2017 гг.
Основные результаты и выводы исследования докладывались и
обсуждались на всероссийских конференциях, проводимых Академией
управления МВД России в 2014-2017 гг. по теме «Информатизация и
информационная безопасность правоохранительных органов» (Москва);
всероссийской научно-практической конференции «Информационные
технологии в деятельности правоохранительных органов: проблемы
использования и пути повышения эффективности» (ОрЮИ МВД России им. В.В. Лукьянова, 2016 г.), межведомственных круглых столах «Современное состояние и перспективы совершенствования процессов информационного обмена в деятельности правоохранительных органов» ОрЮИ МВД России им. В.В. Лукьянова, 2014-2017 гг.)
По результатам диссертационного исследования автором получены четыре акта о внедрении результатов исследования в практическую деятельность и образовательный процесс Орловского юридического института МВД России имени В.В. Лукьянова, Ростовского юридического института МВД России, Уфимского юридического института МВД России и ВосточноСибирского института МВД России.
Основные положения и выводы проведенного исследования
опубликованы в 15 научных статьях, 4 из которых в рецензируемых научных изданиях, рекомендованных перечнем ВАК Минобрнауки Российской Федерации.
Разработанный на основе описанных в работе теоретических подходов, методов и моделей прототип системы поддержки принятия решения для управления учебным процессом организации МВД России прошел процедуру государственной регистрации программы для ЭВМ в Федеральной службе по интеллектуальной собственности (Роспатент).
Структура работы определяется целями и задачами исследования и состоит из введения, трех глав, состоящих из девяти параграфов, заключения, списка приводимых в тексте сокращений, списка использованной литературы и приложений.
Информационное обеспечение управления образовательным процессом в образовательной организации МВД России
В современном мире человеческая деятельность сопряжена с необходимостью высокого профессионализма и значительных интеллектуальных усилий для принятия оптимальных решений как в жизненных, так и в профессиональных ситуациях. Большое число информационных потоков и их сложность требует разработки специализированных методов их автоматизированной обработки. На рисунке 1.3 представлен график использования вещества, энергии и информации с течением времени1. Исходя их положения отметки «настоящее время», количество используемой человечеством информации в будущем будет возрастать в экспоненциальном порядке.
Образование всегда являлось сферой человеческой деятельности, в которой производилось большое количество данных. Фиксация большого числа занятий, широкого разнообразия заданий, предлагаемых для выполнения обучающимся, разного рода образовательного контента и фактов взаимодействия с ним, а также взаимодействия участников образовательного процесса между собой генерирует большие информационные массивы.
Роль информации в управлении, ставшая в настоящее время стратегическим ресурсом, значительно выросла. Это выдвигает новые требования к ее обработке и реализации информационных процессов. Увеличение количества информации в цикле управления образовательными системами является одним из наиболее важных факторов, которые следует учитывать при исследовании теории принятия решений в сфере образования сегодня.
Федеральный закон «Об информации, информационных технологиях и о защите информации» определяет информацию как сведения (сообщения, данные) независимо от формы их представления1. Более узким понятием являются данные, которые отличаются от информации конкретной формой.
Данные – представление информации в формальном виде, пригодном для передачи, интерпретации и обработки людьми или компьютерами2.
На сегодняшний день наиболее часто различают два основных вида данных: первичные (неструктурированные, «сырые») и обработанные (структурированные).
Совокупность данных, которые каким-либо образом характеризуют определенное событие, ситуацию или факт называют первичными данными. Для исследуемой в работе предметной области это могут быть данные об учебном занятии, полученной оценке и т.д.
Основной особенностью первичных данных является то, что они не позволяют составить интегральную оценку объекта управления, а, следовательно, чаще всего не могут напрямую использоваться в качестве основания для управляющего воздействия.
Обработанные данные могут быть представлены в виде таблиц или графиков, то есть они существуют в виде упорядоченной последовательности числовых значений конкретного показателя1.
Принятие решений в сфере образования – сложный, многоаспектный процесс, в который вовлечен большой круг заинтересованных лиц. Немаловажным критерием принятия эффективного решения является анализ информации, поступающей от участников учебного процесса на его различных этапах2.
Основными требованиями, предъявляемыми к процессу принятия решений, являются: своевременность, обоснованность, директивность, непротиворечивость, конкретность, законность и правомочность. Как и в других социальных системах, задача принятия решений в образовательных организациях направлена на достижение поставленных целей наиболее оптимальным способом и с учетом имеющихся ограничений.
Исходной информацией для постановки задачи принятия решения является описание проблемной ситуации, далее определяются критерии выбора, формируются несколько альтернативных вариантов решений, и оценивается их предпочтительность3.
Таким образом, можно выделить информационные процессы характерные для каждого из этапов, которые предполагают проведение манипуляций с информацией. Используемой в принятии решении информации обобщённо присущи следующие свойства:
Достоверность. Информация достоверна, если она отражает истинное положение дел.
Объективность. Информация не зависит от чьего-либо мнения, суждения и т.п.
Полнота. Определяет достаточность информации для принятия обоснованного решения или для создания новых данных на ее основе.
Адекватность. Определяет степень соответствия информации реальному объективному состоянию дела.
Доступность. Возможность получения необходимой информации.
Актуальность. Определяется степенью соответствия информации действительности на текущий момент времени.
Точность. Характеризуется степенью близости полученной информации к реальному состоянию объекта, процесса, явления и т.д.
Целостность. Определяется защищённостью информации от разрушения и её несанкционированного изменения.
Полезность. Способность информации к уменьшению неопределенности сведений об объекте. В некоторых случаях также говорят о ценности информации, которая является субъективным свойством, зависящим от большого числа факторов, в том числе и описанных выше свойств.
Традиционно сложилось, что задача сбора, обобщения и анализа информации в вузе возложены на управленческий персонал. При принятии управленческих решений органы управления должны опираться на массивы данных, наиболее полно отражающих происходящие в образовательной организации процессы.
К сожалению, на сегодняшний день процесс поиска оптимального или просто приемлемого в каком-либо смысле управления в вузе, зачастую, в этих условиях носит интуитивный характер. Качество принимаемых решений сильно зависит от профессионализма управленцев, а просчеты в их принятии могут вести к материальным потерям и снижению уровня подготовки специалистов.
Результаты функционирования вуза значительно ухудшаются по мере его укрупнения и увеличения объема информации. Чтобы добиться высокого качества управления высшим учебным заведением, руководству вуза далеко не всегда бывает достаточно личного опыта, интуиции и организаторских способностей в их традиционном понимании1.
Образовательные данные классифицируют по следующим признакам:
доступность данных;
источник сбора;
обучающая среда;
уровень;
тип. 2
По доступности можно выделить следующие виды образовательных данных:
1) Уже собранные в базах данных или логах обучающего программного обеспечения образовательных организаций сведения об успеваемости обучающихся.
2) Собранные в рамках проводимых исследований.
3) Данные для исследований, размещенные в специальных публичных репо-зиториях.
По источникам сбора:
Ручной. Данные, описывающие учебную ситуацию, собранные исследователем или субъектом управления учебным процессом в виде каких-либо записей или заметок.
Автоматизированный. Опирается на применение технических средств, записывающих результаты деятельности участников учебного процесса. Результаты такого сбора информации фиксируются в виде лог-файлов, баз данных, а также аудио или видеозаписей.
Смешанный. Совместное применение ручного и автоматизированного способов сбора.
Анализ методов выявления аномалий в образовательных данных
Довольно часто в больших наборах данных могут встречаться целые группы значений, которые не подходят под общую модель анализируемой системы. Такие значения называются аномальными, в зависимости от типа рассматриваемых данных, которые могут быть вызваны различными факторами:
Некорректный ввод данных оператором (человеческий фактор).
Ошибка измерения автоматизированными средствами (технический фактор).
Сильная вариабельность измеряемого процесса.
На рисунке представлено двумерное отображение некоторого массива данных, где большинство наблюдений лежат в двух областях N1 и N2, которые можно назвать нормальными. Точки А1 и А2 значительно удалены от этих областей и в данном случае их можно назвать аномалиями.
В процессах подготовки данных к интеллектуальному анализу процесс выявления аномальных значений (в англоязычной литературе «anomaly detection») одним из важнейших этапов, несмотря на то, что многие методы и алгоритмы обладают свойствами робастности, то есть устойчивости к помехам и выбросам. Помимо повышения качества выходных данных, полученных в ходе интеллектуального анализа, процедура выявления аномалий важна еще и для контроля подсистемы сбора данных, так как позволяет оперативно устранять неполадки программ или технических средств регистрации.
Таким образом, все аномальные значения можно разделить на две группы: искусственные и естественные. Искусственные аномалии в первую очередь связаны с ошибками, а естественные - с объективными исключительными обстоятельствами.
В общем виде задачу обработки аномальных значений можно декомпозировать на две подзадачи: обнаружение и корректировка. Очевидно, что в случае обнаружения естественного характера аномалии её корректировка не производится, а вносятся коррективы в алгоритмы обнаружения.
Обнаружения аномалий является достаточно сложной задачей, исходя из наличия нескольких проблем:
развитие процессов в рассматриваемой системе могут генерировать массивы данных в будущем существенно отличающихся от принятых как «нормальные» в данный момент;
определение четких границ между нормальными и аномальными данными может осложнятся тем, что аномальные значения могут лежать близко к решающей плоскости и могут быть приняты как нормальные и наоборот;
существует большое число ограничений и условий при использовании методов выявления аномалий различных прикладных областях. В качестве примера можно привести сравнение медицины и продаж. Сильные колебания выручки в магазинах, которые могут быть восприняты как нормальные, в то время как даже незначительное изменение артериального давления или у температуры тела у пациента может быть аномальным.
Прежде всего необходимо определить роль поиска аномалий в массиве данных, а именно являются ли они мешающим фактором или конечной целью анализа. В качестве примера последнего можно привести анализ финансовых операций по кредитным картам с целью превентивного выявления и блокировки возможных мошеннических действий. Аномалии в данном случае являются индикаторами нестандартного поведения пользователя кредитной карты и сигналом необходимости дополнительной проверки проводимых операций.
В качестве примера готового решения можно привести задачу поиска подозрительных транзакций. Разработчики предложили отложить в системе координат по оси Х все сделанные клиентом переводы, а по оси Y – его покупки. При этом все переводы, находящиеся ниже биссектрисы угла Y0Х, отмечаются как подозрительные, так как находятся за пределами порога разумного числа переводов (количество покупок меньше, чем количество переводов)1.
Выделяют три больших группы методов обнаружения аномальных значений:
1) Обнаружение аномалий с учителем (Supervised anomaly detection). Группа методов, используемых в случаях, когда присутствует набор данных для тренировки, в котором размечены нормальные и аномальные значения. Поиск аномалий в новом неразмеченном наборе данных будет осуществляться в соответствии с построенной моделью на основе тренировочного набора.
2) Обнаружение аномалий с частичным привлечением учителя (Semi-Supervised anomaly detection). В данной группе методов также присутствует тренировочный набор данных, как и в предыдущем случае, однако, в нем отмечен только класс нормальных значений. Эти техники работают для случаев, когда в процессе наблюдения аномальных значений встречено не было, но их появление является критичным фактором.
3) Обнаружение аномалий без учителя (Unsupervised anomaly detection). Использование данной группы методов не подразумевает наличие тренировочного набора данных, поэтому именно они широко применяются в различных областях, где недоступно априорное маркирование данных.1
Важным критерием различия методов обнаружения аномалий может являться форма выходных данных после их применения. В самом простом случае алгоритм позволяет построить выходной массив меток бинарной классификации размерности входного массива вида «аномальный-нормальный». Для работы с такими методами аналитик должен подбирать соответствующее пороговое значение до запуска алгоритма для получения корректных результатов на выходе.
Необходимо отметить, что выбор корректного порогового значения необходим для регулирования баланса в числе ошибок первого и второго рода. В общем виде их абсолютное количество сильно зависит от применяемого метода обнаружения аномалий, то есть от того насколько верно им была построена граница решения, а также от характера самого набора данных. Однако, в различных сферах применения требования к ошибкам первого и второго рода могут сильно разниться, следовательно, даже хорошо подобранный метод в своей работе требует вмешательства человека хотя бы при первоначальной настройке системы.
Другой формой выходных данных является массив некоторых вероятностных характеристик принадлежности каждого значения к классу аномалий. В данном случае фильтрация по установленному пороговому значению производится уже после запуска алгоритма.
Большое число методов обнаружения аномалий построены на базе методов изначально предназначенных для решения задач классификации или кластеризации. На рисунке 2.3 классификация наиболее популярных методов обнаружения аномалий.
Особенности анализа реальных образовательных данных образовательной организации МВД России
Первым этапом практического решения в рамках предложенной модели является получение исходного массива данных. Система, отвечающая за его формирование, представляет собой написанное на языке программирования PHP веб-приложение (на рисунке 3.1 представлен интерфейс веб-приложения).
Веб-приложение «Электронный журнал» имеет базовые аналитические функции и может быть отнесено к классу оперативно-аналитических СППР. Возможности системы представляют собой базовый набор, исходя из её назначения:
1) Фиксация хода учебного процесса путем ежедневного ввода ведомостей результатов текущей успеваемости («строевок») учебных групп.
2) Вывод справок об успеваемости учебных групп, курсов и отдельных обучающихся (рисунок 3.2).
3) Вывод отчетов о неисправленных неудовлетворительных оценках и количестве отвлечений от учебных занятий.
4) Формирование отчетов об успеваемости обучающихся с сортировкой по кафедрам, преподающих дисциплины.
Перечисленные возможности сами по себе являются достаточно эффективными для решения задач контроля учебного процесса по сравнению с традиционными методами сбора и обработки данных результатов текущей успеваемости. Однако, зачастую предоставляемых системой сведений недостаточно для принятия решения.
Сущность предлагаемого подхода заключается в автоматизированном поиске аномальных объектов и предоставлении отчетов об их нахождении ЛПР для принятия окончательного решения.
Для хранения накапливаемых данных система «Электронный журнал» использует СУБД MySQL. Организация доступа к данной СУБД из собственного приложения является распространённой задачей, имеющей ряд готовых решений.
Структура БД системы мониторинга (рисунок 3.3) представляет собой совокупность таблиц, в которых отдельно хранятся как непосредственные записи о ходе учебного процесса, так и вспомогательные данные необходимые для реализации логики работы веб-приложения. Использование в фиксировании хода учебного процесса уникальных идентификаторов переменного (обучающихся) и постоянного (преподаватели, командиры и иные сотрудники) составов исключает необходимость использования персональных данных участников учебного процесса.
На момент проведения исследования экспортированная таблица содержит в себе 754126 записи о ходе учебного процесса охватывающий период с 2013 года по настоящее время. Для целей исследования была сделана выборка записей за период второго семестра 2015/2016 учебного года.
Исходя из поставленных условий, первичный массив данных включил в себя 122945 записей, охватывающих период с 2016-01-12 по 2016-07-15. Заканчивая этап предобработки экспортированных данных проведено индексирование первичного массива данных по дате события и его сортировка от ранних к поздним (рисунок 3.4).
Исходя из рисунка, нетрудно отметить наличие большого числа полей каждой записи, большинство из которых могут быть использованы в процедурах ИАОД:
iddata – уникальный идентификатор события;
date – дата, когда событие произошло;
persostid – уникальный идентификатор обучающегося;
otsenkaid – уникальный идентификатор оценки;
postsostid – уникальный идентификатор первого преподавателя;
postsostiddop – уникальный идентификатор второго преподавателя (если он присутствует, если нет то нулевое значение по умолчанию);
discid – уникальный идентификатор дисциплины;
groupid – уникальный идентификатор учебной группы;
vidzanid – уникальный идентификатор вида занятия;
kolchas – количество академических часов занятий;
namein – уникальный идентификатор вводившего запись;
ispr – исправление;
np – номер пары занятий;
pdid.
Алфавит допустимых значений идентификаторов оценки может быть составлен, исходя из потребности конкретного образовательного учреждения. В таблице 3.1 представлены допустимые значения идентификаторов оценки и их расшифровка для данного массива данных.
Вторым этапом предложенного алгоритма является выбор объектов анализа. В данном примере в качестве объекта были выбраны обучающиеся. Классической целью оценки эффективности учебного процесса со стороны обучающихся является их успеваемости. В данном примере предлагается для каждого обучающегося рассчитать два параметра, наилучшим образом характеризующих его успеваемость:
средний балл;
количество неудовлетворительных оценок;
количество пропусков;
количество оценок.
Средний балл является одним из наиболее простых показателей успеваемости, однако, в некоторых случаях он может быть не до конца объективным. В данному случае количество неудовлетворительных оценок является дополнительным показателем успеваемости, который напрямую связан со средним баллом, но позволяет оценить обучающегося.
Так как в качестве объекта были выбраны обучающиеся, встаёт задача построения их актуального списка. Простой экспорт всех идентификаторов из соответствующей таблицы БД даст большое количество нулевых значений значащих параметров ввиду изменения фактического состава обучающихся. Построение актуального списка идентификаторов предлагается проводить путем обработки таблицы при помощи среза поля persostid и операции удаления дубликатов. В результате этих действий получается список идентификаторов обучающихся, имеющих хотя бы одну запись за рассматриваемый период.
Расчет среднего балла и числа неудовлетворительных оценок является тривиальной задачей, которая решается путем выборки необходимых записей последовательно по построенному списку идентификаторов. Однако, стоит отметить, что в рассматриваемом случае присутствует такая особенность фиксации хода образовательного процесса, как возможность исправления неудовлетворительных оценок. Для ее учета требуется добавить в выборку помимо классических идентификаторов оценок («2», «3», «4», «5») вариации исправленных вариантов – «2/3», «2/4», «2/5» и учесть это при расчетах.
Рассчитанные векторы выбранных параметров путем конкатенации сводятся в единый массив для формирования конечного вида вторичного массива данных (рисунок 3.5).
Принятие управленческих решений при использовании разработанного прототипа системы поддержки принятия решения
Сформулированные ранее в работе положения необходимо использовать в построении системы мониторинга образовательного процесса в образовательных организациях МВД России. Это является логичным направлением исследования так как основной сферой практического применения мониторинга является информационное обеспечение управления качеством образовательного процесса. Полученные в ходе этого процесса данные позволяют оценить необходимость воздействия на субъекты управления различными методами, в том числе и с помощью административного вмешательства.
На сегодняшний день существуют проблемы, связанные с мониторингом качества высшего образования, которые позволяют вычленить общие недостатки информационного обеспечения управленческой деятельности в системе высшего образования1:
1) Некорректное понимание сущности мониторинга. Под мониторингом предлагают понимать систему постоянного сбора данных о наиболее значимых характеристиках качества образования, их обработку, анализ и интерпретацию с целью обеспечения общества и системы образования достоверной, достаточно полной и дифференцированной по уровням использования информацией о соответствии процессов и результатов образования нормативным требованиям, происходящих переменах и прогнозируемых тенденциях2.
При этом можно выделить следующие составляющие системы мониторинга в образовательных системах:
Объекты и субъекты образовательного процесса.
Комплекс показателей качества образования, методик обработки и анализа собранных данных.
Программные средства обработки данных, включающие базы данных и системы управления ими.
2) По большей части мониторинг образовательных систем проводится сейчас без создания соответствующей инфраструктуры и без постоянной связи с процессами принятия решений. Зачастую отмечается, что одно из важнейших условий его эффективности, является использование качественного инструментария и современного программного обеспечения для обработки и анализа данных мониторинга.
Если рассматривать техническую сторону организации системы мониторинга, то можно выделить три основных компонента:
Компонент сбора данных.
Компонент обработки полученных данных.
Компонент агрегации, хранения и вывода обработанных данных.
Зачастую приводят следующие этапы проведения мониторинга в образовательной системе:
1) Предварительное задание на мониторинг.
2) Задание на мониторинг
3) Создание рабочего проекта мониторинга
4) Уточнение задания.
5) Создание инструментария.
6) Сбор данных (проведение опросов).
7) Обработка результатов (перенос на магнитный носитель, контроль и обработка).
8) Первичный анализ результатов.
9) Обсуждение (валидизация).
10) Подготовка заключительных документов с учетом индивидуальных характеристик лиц, принимающих решения.
11) Использование результатов в управленческой деятельности1.
По большому счету предлагаемая модель системы автоматизированного мониторинга образовательного процесса в образовательных организациях МВД России позволяет значительно сократить данное число этапов.
Проектирование мониторинга на этапах 1-4 является единовременно выполняемым процессом, теоретическая база которого описана в 1 главе настоящего исследования.
Этапы 6-8 предполагают полную автоматизацию ввиду предлагаемых возможностей, реализуемых на базе предложенных моделей программных средств.
Этап 9-10 является интерактивной работой лица, принимающего решение с предлагаемой в параграфе 3.2 СППР управления образовательным процессом образовательной организации МВД России. Её сущность заключается в определении меры и характера девиантности того или иного обучающегося на основе предложенного системой обоснования в виде совокупности некоторого набора параметров.
Использование результатов мониторинга (этап 11) в управленческой деятельности в данном случае является итеративным процессом, причем частоту этих итераций может устанавливать само лицо принимающее решение ввиду отсутствия технических ограничений со стороны предлагаемого технического решения информационного обеспечения процесса управления.
Отмечается, что уязвимым местом мониторинга является то, что он базируется на стандартах и эталонах, а значит, его эффективность во многом зависит от корректности заданных норм. А одна из основных проблем мониторинга – проблема измеримости его показателей2.
Необходимо отметить, что предложенное решение позволяет уйти от классических шкал, норм и эталонов, позволяя проводить комплексную оценку образовательного процесса, используя не привязанные к конкретным числам оценки.
Таким образом, можно составить модель автоматизированного мониторинга образовательного процесса в образовательной организации МВД России представленную в Приложении В.
Для примера практического использования результатов мониторинга (11 этап) при работе с СППР был проведен расчет аномальных обучающихся на примере всего института для расширения размеров выборки за один учебный месяц. Результаты отчета программы в табличном виде приведены на рисунке 3.15.
Для решения задач исследования в алгоритм были внесены изменения и персональные данные обучающихся в графе «Фамилия» были заменены их персональными идентификаторами в системе мониторинга успеваемости «Электронный журнал».
Рассматривая каждого обучающегося попавшего в список аномальных для лица, принимающего решение прежде всего необходимо отметить те критерии, которые по мнению алгоритма оказались аномальными для каждого обучающегося.
Например, причина попадания первых трёх обучающихся из списка 2013020324, 2013020302, 2013020617 очевидна: низкое значение среднего балла и количества полученных оценок. Однако, управленческое решение по каждому из этих обучающихся может отличаться, так как исходя из таблицы видно, что обучающиеся 2013020324, 2013020302 пропускали занятия находясь на сборах, а обучающийся 2013020617 болел.
Таким образом, в качестве общего решения для всех троих может быть организация дополнительной самоподготовки, а для обучающихся 2013020324 и 2013020302 возможно рассмотреть лишение возможности посещать сборы до устранения задолженностей.
Большое количество пропущенных занятий и малое количество полученных оценок ввиду того, что обучающийся по тем или иным причинам не отрабатывает пропуски может стать причиной не аттестации даже при относительно высоком среднем балле. Именно поэтому данные критерии являются значимыми при принятии решений об аномальности. На рисунке 3.17. показаны показатели обучающегося 2015010214, который получил всего две оценки за месяц, а, следовательно, его средний балл не может быть объективным критерием его успеваемости.
В сущности, для такого рода аномалий практически нет разницы в среднем балле по сравнению с предыдущим примером ввиду малой выборки, а, следовательно, могут быть рассмотрены те же санкции в виде организации дополнительной самоподготовки и лишения права сборов.