Содержание к диссертации
Введение
Глава 1. Анализ основных проблем компетентностного подхода в образовании и методов их решения 10
1.1 Метод оценки компетенций на основе измерения потенциальных возможностей специалиста и результатов их реализации 10
1.2 Аналитический обзор «автоматизированной системы оценки уровня сформированности компетенций у студентов на протяжении всего обучения» 12
1.3 Аналитический обзор «веб-ориентированной интеллектуальной системы представления и проверки знаний на основе концептуальной модели предметной области» 15
1.4 Зарубежный опыт в области компетентностно-ориентированного образования 18
1.5 Выводы к главе 1 26
Глава 2. Формирование информационных и функциональных моделей системы управления образовательным процессом 30
2.1 Систематизация данных профессиональных и образовательных стандартов31
2.2 Информационная модель состояния рынка труда 51
2.3 Информационная модель учебного процесса 57
2.4 Функциональная модель управления образовательным процессом 64
2.5 Перспективы развития 69
2.6 Выводы к главе 2 71
Глава 3. Математические методы комплексной, социально ориентированной системы управления образовательным процессом 73
3.1 Математическая модель экспертной оценки значимости компетенций 73
3.2 Математическая модель влияния результатов массового опроса обучающихся на экспертную оценку компетенций 102
3.3 Математическая модель оценки компетентности обучающегося 116
3.4 Выводы к главе 3 126
Глава 4. Практическая реализация комплексной, социально ориентированной системы управления образовательным процессом 127
4.1 Особенности практической реализации 127
4.2 Основные модули комплексной, социально ориентированной системы управления образовательным процессом 129
4. 3 Выводы к главе 4 150
Заключение 151
Список сокращений и условных обозначений 152
Список использованной литературы 154
Приложение А Программный листинг кода вычисления весовых коэффициентов компетенций 170
Приложение Б Свидетельство о государственной регистрации программы для ЭВМ 181
Приложение В Акты о внедрении результатов диссертационной работы 182
- Зарубежный опыт в области компетентностно-ориентированного образования
- Информационная модель состояния рынка труда
- Математическая модель экспертной оценки значимости компетенций
- Основные модули комплексной, социально ориентированной системы управления образовательным процессом
Введение к работе
Актуальность работы. Перемены, происходящие в обществе в последние десятилетия, информатизация и колоссальные темпы развития приводят к необходимости изменений и в сфере образования. В современной России модернизация системы образования неразделимо связана с понятием компетентностного подхода. Научные сотрудники разных направлений, в том числе и технических, занимаются разработками в данной области. В ходе изучения нормативной базы, российской и зарубежной научной литературы, посвященной компетентностному подходу в образовании, а также управлению и автоматизации в компетентностных системах, был выявлен ряд актуальных проблем, характерных, в частности, для России:
в существующих моделях управления образовательным процессом не приводятся однозначные принципы работы с данными образовательных стандартов при оценке компетентности студентов и принципы перехода от одного поколения стандартов к другому;
существует необходимость формирования единой информационной модели стандартов и классификаторов, образовательной и трудовой сферы, позволяющая получать связи между ними в автоматизированном режиме;
отсутствуют единые механизмы оценки компетентности, учитывающие данные об обучении по разным направлениям подготовки;
в рассмотренных моделях компетентностной оценки не сформулированы принципы учета индивидуальных особенностей выполнения заданий;
в рамках Болонского процесса является актуальным вопрос увеличения взаимодействия системы образования с представителями рынка труда, а также увеличения роли обучающихся в организации учебного процесса. Степень изученности проблемы. В ходе научного исследования, с целью
определения фактического состояния Российской системы образования и перспектив ее развития, было изучено множество нормативных документов, среди которых федеральные государственные образовательные стандарты (далее
– ФГОС), «Национальная рамка квалификаций Российской Федерации» (далее –
НРК), «Общероссийский классификатор занятий» (далее – ОКЗ),
профессиональные стандарты (далее – ПС) и др. Все изменения в системе
образования направлены на уменьшение разрыва между требованиями рынка
труда и реальной компетентностью выпускников. Добиться этого можно,
систематизировав нормативные документы в сфере образования и трудовой
деятельности, а также увеличив взаимодействие всех заинтересованных сторон:
работодателей, преподавателей и обучающихся. В диссертации были
проанализированы работы современных исследователей, в которых
рассматривались вопросы влияния рынка труда на систему образования, принципы оценки компетентности выпускников, способы ее автоматизации, различия между оценками компетенций в профессиональной сфере и в вузах, и др. Это, в первую очередь, работы таких авторов как Якимова З.В., Николаева В.И., Сидорин А.В., Сидорин В.В., Хаймович И.Н., Попов Д.И., Тигина М.С., Лазарева О.Ю. и др. Кроме того было изучено множество публикаций, касающихся специфики компетентностного подхода в образовании. Среди авторов этих работ можно выделить следующих: Звездова А.Б., Орешкин В.Г., Байденко В.И., Болотов В.А., Сериков В.В., Зимняя И.А. и др.
В ходе научного исследования автор развивает существующие в изучаемой области теоретические и практические идеи и предлагает свои методы оценки компетентности обучающихся, а также методы увеличения роли обучающихся и представителей рынка труда в управлении образовательным процессом. Особое внимание автор уделил разработке единой информационной модели, содержащей структурированные данные стандартов, актуальную информацию о требованиях работодателей и информацию о ходе учебного процесса в вузах.
Цель исследования – разработка системы управления образовательным
процессом, основанной на методах, алгоритмах, информационных и
математических моделях, способствующих взаимодействию рынка труда и
системы образования и формирующих актуальную компетентностную
характеристику обучающихся. Объектом исследования является управление
учебным процессом в компетентностной системе образования. Предмет исследования - процесс оценки знаний и способы увеличения роли обучающихся и работодателей в управлении учебным процессом. В диссертационном исследовании сформулированы следующие задачи:
проанализировать существующие решения в области оценки компетентности учащихся;
проанализировать структуру и содержание стандартов и классификаторов, относящихся к сфере труда и образования, и сформировать единую информационную модель, содержащую данные стандартов, информацию о процессе обучения и состоянии рынка труда;
сформировать функциональную модель управления образовательным процессом;
определить критерии актуальности компетенций и принципы их оценки;
разработать математическую модель анализа экспертных мнений, касающихся актуальности компетенций;
описать способы проведения массового опроса, характеризующего интересы обучающихся, а также разработать математическую модель обработки его результатов;
разработать математическую модель формирования весовых коэффициентов значимости компетенций;
разработать математическую модель оценки компетентности обучающихся;
реализовать систему управления образовательным процессом, отражающую на практике теоретические результаты исследования.
Методология исследования основывается на экспертном анализе изучаемых вопросов, анализе причинно-следственных связей, математическом моделировании, структуризации данных ряда классификационных документов с целью их детального изучения, проведении массовых опросов, обсуждении основных положений исследования на научных конференциях.
Научная новизна диссертационного исследования состоит в формировании единой информационной модели, объединяющей в себе целый ряд стандартов и классификационных документов, разработке математической модели взаимодействия результатов экспертного анализа и массового опроса обучающихся по вопросам значимости компетенций, утвержденных ФГОС. Кроме того, к новизне исследования можно отнести способы использования полученных весовых коэффициентов значимости компетенций при оценке компетентности обучающихся в рамках разрабатываемой системы управления.
Теоретическая значимость. Автор предлагает способ проведения экспертного анализа значимости компетенций относительно близких эксперту должностей и обосновывает его целесообразность. Также в ходе исследования автор выводит формулы влияния результатов массового опроса обучающихся на экспертную оценку. Подобное пересечение мнений разных участников образовательно-трудового процесса другими авторами не предлагалось.
Практическая значимость. Внедрение системы управления, являющейся практическим результатом научной работы, позволяет решить ряд актуальных задач по взаимодействию системы образования и рынка труда, уменьшить ее отставание от реальных потребностей в отраслях и тенденций в жизни общества.
Положения, выносимые на защиту:
функциональная модель, отражающая принципы применения предлагаемых методов, математических моделей и алгоритмов для комплексного, социально ориентированного управления образовательным процессом;
информационная модель учебного процесса, включающая материалы стандартов и классификаторов, данные о состоянии рынка труда, позволяющая объединить деятельность вузов в рамках единой системы управления и увеличить их взаимодействие с рынком труда;
математические модели и алгоритмы формирования весовых коэффициентов компетенций на основе данных экспертного анализа и массового опроса обучающихся, характеризующиеся многоуровневой
обработкой данных и возможностью работы, как с итоговыми
коэффициентами, так и с коэффициентами для отдельных профессий; - алгоритмы и математические модели определения компетентности
обучающихся на основе данных об успеваемости и актуальной информации
о значимости компетенций, учитывающие особенности выполнения заданий
каждым конкретным обучающимся.
Достоверность полученных результатов подтверждается применением методов математического и функционального моделирования, понятий реляционной алгебры и теории реляционных баз данных, статистических методов для анализа и обработки данных, методов экспертных оценок.
Реализация результатов работы. Полученные в диссертации теоретические и практические результаты реализованы в виде программных продуктов, имеющих свидетельства официальной регистрации программ для ЭВМ, баз данных и топологий ИМС в ФГБУ «Федеральном институте промышленной собственности»:
- Программа для комплексного, социально ориентированного
управления образовательным процессом на основе
компетентностного подхода (зарегистрировано в Реестре программ для ЭВМ 13.03.2018 г., №2018613330).
Разработанные программные продукты были использованы в ходе экспериментальной апробации предложенных математических моделей и алгоритмов. Целью эксперимента было формирование коэффициентов значимости компетенций, утвержденных ФГОС 09.03.01. В эксперименте приняли участие обучающиеся «Московского Политеха» и эксперты из ряда российских компаний. Результаты работы внедрены в учебный процесс трех российских вузов, что подтверждено соответствующими актами.
Соответствие паспорту научной специальности. Диссертационная работа соответствует следующим пунктам Паспорта специальности 05.13.10: п. 4 «Разработка методов и алгоритмов решения задач управления и принятия
решений в социальных и экономических системах», п. 9 «Разработка проблемно-ориентированных систем управления, принятия решений и оптимизации экономических и социальных систем», п. 12 «Разработка новых информационных технологий в решении задач управления и принятия решений в социальных и экономических системах».
Апробация работы. Достоверность и обоснованность полученных в ходе диссертационного исследования результатов подтверждается проведенными экспериментами, апробацией на научных конференциях и практическим внедрением разработанной системы управления. Теоретические положения и выводы были доложены автором на научных конференциях молодых ученых и аспирантов МГУП имени Ивана Фёдорова (Москва, 2013-2015), научно-практической конференции «Университетская книга: традиции и современность» (Ростов-на-Дону, 2015), межвузовской научно-методической конференции «Развитие сетевых технологий для создания образовательных кластеров с участием вузов УМО по образованию в области полиграфии и книжного дела» (Москва, 2015), всероссийской научно-методической конференции "Виртуальная и дополненная реальность-2016: состояние и перспективы" (Москва, 2016), XХII всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Новые информационные технологии в научных исследованиях» (Рязань, 2017).
Публикации. По теме диссертационного исследования опубликовано 14 работ, в том числе 4 публикации в журналах, рекомендованных ВАК РФ и 1 свидетельство о регистрации программы для ЭВМ.
Личный вклад автора. Все основные результаты диссертации, опубликованные в приведенных работах, получены автором лично.
Сведения об объеме и структуре работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и трех приложений на 15 страницах. Работа содержит 13 таблиц, 57 рисунков и 2 листинга программного кода. Общий объем рукописи – 184 страницы, в том числе 169 страниц основного текста. Список литературы состоит из 96 источников.
Зарубежный опыт в области компетентностно-ориентированного образования
В Европе компетнтностный подход в образовании в его современной форме, традиционно связывают с так называемым Болонским процессом. Его началом принято считать подписание представителями министерств образования 29 стран Евросоюза в городе Болонье Болонской декларации, которое состоялось 19 июня 1999 года. На 2016 год в Болонском процессе участвует 47 стран, включая Россию. К основными принципами, определенным Болонской декларацией, можно отнести: принятие системы сопоставимых научных степеней, для возможности трудойстройства в разных странах, определение двух циклов образования – достепенного и послестепенного, внедрение системы зачетных баллов, соответствующей европейской системе перевода и накопления баллов (далее – ECTS, англ. European Credit Transfer and Accumulation System), содействие мобильности, разработка сопоставимых критериев и методологий, содействие европейским воззрениям, касающимся развития учебных планов, межинституционального сотрудничества, совместных программ обучения и др. Постепенно представленный перечень дополнялся такими принципами, как образование в течение всей жизни, усиление роли студенчества в осуществлении болонских реформ, повышение привлекательности вузов Европы и др.
В Ереванском коммюнике [7], которое является крайним на момент написания данной работы, сформулированы актуальные требования к национальным министерствам, среди которых можно выделить следующие:
- включение квалификаций короткого цикла в общую Рамку квалификаций;
- стимулирование работодателей к адекватному использованию всех квалификаций высшего образования;
- обеспечение в сотрудничестве с образовательными организациями надежной и достоверной информации о карьере выпускников и их продвижении на рынке труда, которая должна быть предоставлена институциональным лидерам, потенциальным обучающимся, их родителям и обществу в целом;
- устранение препятствий для признания предшествующего обучения; пересмотр национальных рамок квалификаций; социальная ориентированность высшего образования;
- гарантии автоматического признания квалификаций других стран европейского пространства высшего образования (ЕПВО).
Кроме того, на Ереванской конференции был представлен аналитический доклад, содержащий статистику 46 стран о выполнении основных задач Болонского процесса. В данном докладе указывалось, что большинство рассматриваемых стран перешли на обучение по трем уровням: бакалавриат, магистратура, докторантура, однако в 31 стране сохранились также пятилетние профессиональные программы, для инженерных, медицинских, педагогических и некоторых других профессий. Также стоит отметить, что, несмотря на значительное увеличение соответствия структур высшего образования различных стран, некоторые различия всё же остаются. Например, это касается учебной нагрузки. На данный момент для бакалавров она может составлять 180, 240, а в некоторых странах 210 зачетных единиц. Для магистров – 120, а также 90 (Великобритания, Шотландия, Ирландия, Кипр) и 60–75 (Испания, Сербия, Черногория) [50]. При рассмотрении нерешенных задач, Российская система образования фигурирует в вопросе гармонизации национальной структуры квалификаций с европейской, наряду с Андоррой и Словакией, в вопросе использования системы зачетных единиц ECTS, где несоответствие также отмечается в Албании и Великобритании и в ряде других вопросов.
Также, в качестве одного из наиболее важных направлений развития систем образования стран Болонского процесса, отмечается привлечение заинтересованных сторон, в частности обучающихся, к ряду организационных вопросов в системе образования. Речь здесь идет как о студентоцентрированности процесса обучения, так и о привлечении обучающихся к экспертизе деятельности вузов, с целью их дальнейшей аккредитации. Первому из двух аспектов большое внимание уделено автором данного научного исследования.
Рассматривая принципы решения современных задач Болонского процесса разными странами, необходимо дать краткую характеристику развития компетентностного подхода в этих странах в целом. Анализируя различные иностранные и российские источники, можно выделить предшествующие Болонскому процессу этапы становления компетентностного подхода в образовании: 1960–1970 гг., когда в научный аппарат вводится категория компетенция, а также создаются предпосылки для разграничения понятий компетенция и компетентность; 1970–1990 гг., когда данные понятия начинают более широко использоваться в теории и практике обучения языку, менеджменте, обучении общению и др [67].
Ранние этапы внедрения компетентностного подхода в образовании можно разделить на три направления: поведенческий, функциональный и многомерный.
Поведенческий характерен, в частности, для США, где впервые зародилось само понятие компетенция. Данный подход отталкивается, в первую очередь, от качеств человека, влияющих на производительность и мотивацию. Значительный вклад в работу американской компетентностной системы внесли такие исследователи как Роберт Уайт, который в 1959 году ввел термин «компетенция», Дэвид Макклелланд, разработавший тесты для оценки компетенций, в качестве альтернативы традиционным IQ-тестам, а также Ричард Бояцис, который изучив 2000 руководителей 12 различных компаний, сформировал список характеристик личности, позволяющих быть наиболее эффективным. Однако в ходе развития американской компетентностной модели, поведенческим характеристикам стала отводиться роль основы для функциональных компетенций [30]. Такой подход отражается в современной практике внедрения компетентностного подхода в высшем образовании США, одной из основных концепций которого является получение «обратной связи» c работодателями: непрерывный контакт университета с рынком труда, с целью возможной коррекции учебных программ и обновления знаний специалистов, оценка успешности учебных программ, периодический анализ профессиональной карьеры выпускников и др [30].
Функциональный подход традиционно связывают с Великобританией 80-х годов, в которой в тот период была создана национальная система профессиональных квалификаций, основанная на результатах анализа профессиональной деятельности различных направлений. Таким образом, в отличие от американской компетентностной модели, британская в первую очередь концентрировалась на конкретных компетенциях, которыми должен обладать работник, занимающийся той или иной деятельностью, а не на его личностных качествах и поведенческих характеристиках. Данный подход подвергался серьезной критике в научных кругах Великобритании и постепенно функциональные характеристики компетентностной модели стали дополняться поведенческими [11]. Многие британские авторы пытались выделить общие для всех видов деятельности компетенции. М. Рейнолдс и Р. Снелл называли их «метакомпетенциями» и причисляли к ним креативность, сообразительность и др. [4], Д. Холл определял так называемый «метанавык», характеризующий способность приобретения других навыков [3]. Однако наиболее полная модель была представлена Г. Читэмом и Г. Чиверсом. Данная модель основывается на четырех основных компонентах: функциональные компетенции, личностные и поведенческие компетенции, знаниевые и познавательные компетенции, а также ценностные компетенции. Объединяют указанные компоненты «метакомпетенции»: коммуникативные компетенции, компетенции саморазвития, креативности, анализа и решения проблем и др. [41]
Таким образом, видно, что и американская модель, изначально использующая поведенческий подход, и британская, использующая на ранних этапах функциональный подход, в ходе развития пришли к комбинированному функционально-поведенческому представлению компетентности.
В то время как большинство стран континентальной Европы двигались по британскому пути развития, Франция и Германия формировали свои подходы к построению компетентностной модели. Французская модель включает в себя три группы компетенций: теоретические (знаниевые), практические (функциональные) и социальные (поведенческие). Немецкая модель также содержит три основных типа компетенций: предметные (способность на основе предметных знаний и навыков решать задачи), личностные (способность находить пути развития и самореализации и др.) и социальные (способность создавать и поддерживать отношения, развивать в себе чувство социальной ответственности и др.).
Стоит отметить, что независимо от пути развития, к настоящему времени компетентностный подход во всех развитых странах в той или иной форме характеризуется единством четырех основных составляющих: когнитивных компетенций, функциональных компетенций, социальных компетенций, а также метакомпетенций.
Информационная модель состояния рынка труда
Основным методом, используемым в описываемой системе для отражения ситуации на рынке труда, является экспертный анализ компетенций, утверждённых ФГОС. Целью такого анализа является определение значимости этих компетенций в реальных рабочих условиях, с учетом текущей ситуации в отрасли. Таким образом, блок данных о состоянии рынка труда, изображённый на Рисунке 2.1, представляет собой структуру, характеризующую в первую очередь регламент проведения экспертной оценки и ее результаты. Результатом экспертного анализа являются весовые коэффициенты компетенций, полученные в соответствии с математической моделью, предложенной автором и подробно описанной в соответствующем разделе диссертационной работы. В настоящей главе подробно рассмотрена модель данных экспертного анализа и ее связь с данными классификационных документов и стандартов.
В качестве экспертов, автором предлагается приглашать сотрудников различных государственных и коммерческих организаций, занимающих должности уровня руководителя направления, подразделения или отдела и имеющих в непосредственном подчинении специалистов 6 и 7 уровней квалификации. Основной задачей каждого эксперта, в соответствии с предложенным автором подходом, является оценка значимости ряда компетенций относительно должностей специалистов, которыми в процессе своей трудовой деятельности он руководит.
Рассматривая указанный блок информации, необходимо особое внимание уделить таблице "Пользователи", которая не упоминалась при рассмотрении блока классификаторов, но которая при этом играет одну из ключевых ролей в информационной модели в целом. В описываемой системе автором определено 5 основных категорий пользователей: эксперты, преподаватели, обучающиеся, администраторы ВУЗов и гости. Категории Преподаватель и Студент как элементы информационной структуры более подробно рассмотрены в разделе, описывающем блок данных учебного процесса. Администратор вуза может одновременно относиться и к категории преподавателей, но при этом имеет право на ввод данных рабочих программ, списков обучающихся, преподавателей и прочего. Иными словами, в его компетенцию входит администрирование системы в рамках конкретного ВУЗа. Изначально аутентификационные данные первого администратора ВУЗа формируются главными администраторами всей системы при подключении ВУЗа к ее работе. Дальнейшее назначение администраторов осуществляется первым администратором ВУЗа. Пользователи категории Гость в информационной модели не имеют характерных особенностей. Что касается экспертов, то именно через эту сущность в информационной модели осуществляется основная связь блока информации о состоянии рынка труда с объектами блока классификаторов и стандартов. Иными словами, экспертное мнение в системе выступает в роли индикатора состояния рынка труда, в то время как данные стандартов выступают в роли объекта оценивания.
Как было написано выше, основной таблицей для всех участников работы системы, является таблица "Пользователи". В ней хранятся аутентификационные данные и основная информация обо всех пользователях, независимо от категории. Поскольку каждая из четырех основных категорий пользователей имеет совершенно несходные возможности в системе управления и связана с множеством разных, не зависящих друг от друга таблиц, автором было принято решение, для каждой категории ввести отдельную таблицу, ссылающуюся, в свою очередь, на таблицу «Пользователи». Такой подход позволяет избежать возможных ошибок при дальнейшем ветвлении структуры, сохраняя при этом возможность идентификации пользователя, независимо от его категории.
Кроме того, такая модель данных позволяет организовать работу пользователей, которые относятся к нескольким категориям одновременно. Такая ситуация может быть характерна, например, для преподавателей, выступающих также в роли экспертов или для экспертов, получающих второе высшее образование в ВУЗах, использующих описываемую систему. В более далекой перспективе, данная ситуация может быть характерна для пользователей, использующих ее на протяжении нескольких лет, на разных этапах своей образовательно-профессиональной деятельности.
Поскольку для корректной работы системы управления и объективности результатов проводимых в ее рамках исследований необходимо участие реальных специалистов в качестве экспертов, их регистрация может быть осуществлена только после проверки данных администратором системы. В связи с этим, в информационной модели вводится таблица с временными данными о регистрируемом эксперте, в которой хранятся заявки на регистрацию от компаний, решивших принять участие в работе системы. Список основных данных, которые должны быть предоставлены для регистрации эксперта, включает в себя: ФИО, логин, пароль, email, номер телефона, название компании, должность эксперта, группу ОКЗ специалистов, с которыми работает эксперт.
Последний пункт списка имеет особое значение для проведения экспертного анализа, поскольку именно в соответствии с группой ОКЗ, указанной при регистрации, эксперту формируется список профессий, относительно которых он сможет произвести оценку компетенций, что подробно описано в главах, посвященных практическим принципам работы системы и математической модели обработки экспертных данных. Далее же, на Рисунке 2.9 представлен фрагмент структуры данных, содержащий основную информацию об эксперте и организациях, принимающих участие в работе системы.
Как видно из Рисунка 2.9, между таблицами Эксперты и ОКЗ установлена связь «многие ко многим». Иными словами, один эксперт может работать со специалистами разных групп. Однако список ОКЗ для каждого эксперта также утверждается при участии модераторов системы на этапе регистрации, и самостоятельное редактирование этого списка экспертом невозможно. Каждый сеанс оценки компетенций может быть произведен только в рамках одной группы ОКЗ, которую эксперт должен выбрать из утвержденного для него списка перед началом работы в системе. Также связь «многие ко многим» установлена между таблицами Эксперты и Организации. Что касается названий должностей, то они в таблицу Эксперт–Компания–Должность вносятся в виде строки, отражая полное название должности эксперта в конкретной организации.
Как было написано выше, задача каждого эксперта, в соответствии с описываемой моделью, сводится к оценке компетенций утвержденных ФГОС относительно ПС, соответствующих его области деятельности. Иными словами, каждую оценку, выставляемую экспертом некоторой компетенции, можно формально описать следующей фразой: «Эксперт N полагает, что компетенция k, для сотрудника, занимающего должность шестого уровня квалификации, соответствующую ПС m, является незначительной /немаловажной/ очень важной». В структуре данных каждая оценка эксперта представлена строкой специальной таблицы (Рисунок 2.10).
Запись об экспертной оценке содержит идентификаторы эксперта, ПС и компетенции, а также номер квалификационного уровня по НРК, саму оценку и некоторую дополнительную информацию. Привязка экспертных оценок ни к конкретным ФГОС, ни к поколениям стандарта в данной модели не осуществляется. Важно отметить, что логика описываемой системы управления такова, что определённый период она работает в режиме накопления информации, после чего происходит фиксация итоговых весовых коэффициентов компетенций, согласно предложенной автором математической модели.
В структуре данных для этих весовых коэффициентов определена отдельная таблица (Рисунок 2.11). Именно зафиксированные на определенный период (семестр или учебный год) коэффициенты значимости компетенций могут быть использованы для оценки компетентности обучающегося, в то время как данные, структура которых представлена на Рисунке 2.10, характеризуют динамику изменений весовых коэффициентов
Математическая модель экспертной оценки значимости компетенций
В соответствии с основным принципом, определенным автором исследования в рамках регламента проведения экспертного анализа, оценка значимости компетенций должна производиться относительно различных должностей одной группы ОКЗ. Такой подход объясняется тем, что каждое направление подготовки подразумевает возможность дальнейшего трудоустройства на целый ряд различных должностей и компетенции, утвержденные ФГОС для данного направления, могут иметь разное значение для каждой должности. В различных материалах, касающихся, в частности, экспертного оценивания применяется понятие «Догма одномерности», обозначающее подход, при котором объект экспертного анализа можно оценить одним числом [66]. Такой способ для большинства задач считается нецелесообразным, поскольку каждый объект оценивания, как правило, обладает целым набором показателей качества. Однако, имея оценки каждого критерия в отдельности, при решении некоторых задач вполне можно сформировать общую оценку объекта для конкретных условий. В источнике [66] приводится пример оценки автомобилей по таким критериям, как скорость, расход бензина, экологичность и др. В результате такого исследования можно определить общую оценку автомобиля для конкретной ситуации: для гонщика в большей степени важна максимальная скорость и маневренность, для частного водителя, живущего в городе важен расход топлива и надежность и др. Другими словами, объективность экспертного анализа напрямую зависит от того, насколько конкретизированы вопросы, задаваемые экспертам. В рамках описываемого исследования задача эксперта сводится к определению того, важна ли некоторая компетенция для конкретной должности. Таким образом, в первую очередь обработка экспертных данных позволит определить, насколько каждая компетенция важна для той или иной должности, а затем сделать вывод, насколько каждая компетенция в целом востребована на рынке труда и насколько широко она применима.
При формировании списка вопросов, задаваемых эксперту, необходимо определить, в каком виде эксперт сможет предоставить на них объективные ответы, как полученные данные должны быть обработаны и в каком виде должны быть представлены итоговые результаты.
В статистике, в частности в репрезентативной теории измерений, которая связана с анализом экспертных оценок не количественного, а качественного характера, используется понятие шкалы измерений. Основными типами шкал измерений принято считать номинальную, порядковую, интервальную и абсолютную.
Номинальная шкала – это шкала наименований, в которой «оценки» носят характер меток. В данной шкале могут быть измерены, соответственно, номинальные признаки: номера телефонов, марки машин, национальность и др. Данные номинальной шкалы предназначены только для различения объектов и статистических исследований, касающихся количества тех или иных объектов в выборке. Таким образом, среднее значение по номинальной шкале – это мода – наиболее часто встречающееся значение.
Порядковая шкала, соответственно, используется для упорядочивания объектов по какому-либо признаку. Типичным примером порядковой шкалы принято считать оценки знаний учащихся. В целом, для экспертного анализа порядковая шкала является наиболее удобной, поскольку определение порядка объектов для человека является гораздо более простой задачей, чем, например, определение точных значений какого-то параметра. Другими словами, эксперт может сказать, что один объект по какому-то качественному параметру превосходит другой, но указать точно, на сколько единиц он его превосходит – не может. Поэтому данные, полученные от экспертов при использовании такой шкалы можно считать более объективными. Однако при работе с данными, измеренными в порядковой шкале, возможно производить только логические операции сравнения. А в качестве среднего значения можно использовать медиану.
Интервальная шкала предназначена для определения количественных признаков и позволяет устанавливать не только порядок объектов, но и разницу между ними. Точка начала отсчета и единица измерения в интервальной шкале выбираются произвольно. Для каждого объекта определено количество выбранных единиц, а для каждой пары объектов, соответственно, можно установить, на какое количество единиц один из них больше другого. Однако определить во сколько раз один объект больше или меньше другого интервальная шкала не позволяет. Таким образом, характерным средним значением в интервальной шкале является среднее арифметическое.
Шкала отношений по сути близка к интервальной шкале, но особенностью ее является наличие строго определенной точки отсчета – нуля, означающего полное отсутствие исследуемого признака. Таким образом, шкала отношений позволяет сравнивать не только, на сколько единиц один объект больше или меньше другого, но и во сколько раз. Помимо перечисленных ранее средних значений, шкала отношений позволяет получать также среднее геометрическое.
Исходя из описанных выше задач, итогом экспертного анализа должны стать весовые коэффициенты компетенций – значения, находящиеся в некотором определенном диапазоне и указывающие степень актуальности компетенции от нуля (когда компетенция на рынке труда абсолютно не востребована) до единицы (компетенция максимально важна в текущих условиях). Таким образом, можно сделать вывод, что итоговое значение должно быть представлено на шкале отношений. Пытаться получить от каждого эксперта точное значение весового коэффициента нецелесообразно по причинам, описанным ранее. Однако вводить варианты ответов, не позволяющие обрабатывать результат, как количественные значения, также нет необходимости. В рамках описанных задач от эксперта достаточно получить для каждой профессии, относительно которых он осуществляет оценку, одно из фиксированных значений шкалы весовых коэффициентов: 0 – компетенция не актуальна для данной должности, 0.5 – компетенция имеет значение для должности, 1 – компетенция максимально важна для должности. Соответственно, такие данные могут быть обработаны как значения шкалы отношений.
Необходимо отметить, что на практике количество оцениваемых экспертом компетенций в рамках одной сессии довольно велико. В процессе анализа данных ФГОС ВО было определено, что количество ПК, утвержденных для одного стандарта может находиться в диапазоне от 1 до 68. Кроме того, в стандартах также определены ОПК, для которых максимальное зафиксированное значение равно 32. А учитывая, что в рамках описываемой модели задача эксперта сводится к оценке компетенций всех ФГОС, определенных для выбранных им ПС, общее количество компетенций может превышать 100. Вопросы эргономичности проводимого опроса рассмотрены в соответствующей главе. Однако, исходя из указанной ситуации, вариант парного сравнения компетенций автором был исключен. Что касается количества фиксированных значений интервала, определенного для весовых коэффициентов, то, по мнению автора, для эксперта 3 значения являются оптимальным количеством, позволяющим выделить компетенции, не относящиеся к деятельности указанного специалиста, являющиеся для него максимально значимыми и находящиеся на уровне необходимых, но не первостепенных. Соответственно, получение более точных значений весовых коэффициентов и является задачей анализа экспертных мнений.
Во второй главе исследования была подробно рассмотрена информационная модель, обеспечивающая связь данных стандартов и классификаторов с данными состояния рынка труда и учебного процесса, благодаря которой все характерные для описываемой системы задачи решаются в рамках существующей в России нормативной базы. Как было написано ранее, при регистрации каждый эксперт указывает группу ОКЗ специалистов, находящихся у него в подчинении и компетенции которых он готов оценить в рамках экспертного анализа. Ориентируясь на данные ПС, для каждой группы ОКЗ на каждом уровне квалификации можно определить список профессий, соответствующих этой группе. Именно из этого списка, в соответствии со своей группой ОКЗ и выбранным уровнем квалификации, эксперт перед началом исследования выбирает должности для оценивания компетенций. Во второй главе была приведена схема (Рисунок 2.8), отражающая принцип формирования списка компетенций для одного ПС. Отталкиваясь от этого принципа, можно представить и схему формирования списка компетенций для эксперта. Но, как и в случае с поиском ФГОС по ПС, в данном случае, при работе системы нет необходимости в запросе обходить весь список промежуточных ФГОС и можно сразу получать по коду ОКСО компетенции ФГОС необходимого поколения. Как видно из Рисунка 3.1, группа ОКЗ эксперта может быть привязана к довольно большому количеству ПС, однако список компетенций для эксперта формируется только в соответствии с теми стандартами, которые он сам выбирает. Количество стандартов, которые может выбрать эксперт, ограничивается тремя для сохранения удобства работы.
Основные модули комплексной, социально ориентированной системы управления образовательным процессом
В описываемой системе данный модуль – самый объемный по количеству выполняемых функций и решаемых задач. Разделить его можно на две основные составляющие – это процесс подготовки к работе в каждом конкретном учебном заведении (так называемая администраторская часть модуля) и непосредственный учебный процесс.
Подготовкой системы к работе в конкретном учебном заведении занимаются пользователи категории «Администратор вуза». В их обязанности входит ввод данных о преподавателях и обучающихся, а также создание их учетных записей, ввод данных о факультетах, кафедрах, преподаваемых дисциплинах, рабочих программах и др. Кроме того, в обязанности администратора вуза входит дальнейший контроль системы в рамках вуза, взаимодействие с администраторами системы управления. Для этих целей у пользователей категории «Администратор вуза» на странице, помимо основной страницы администрирования, позволяющей редактировать данные, относящиеся к деятельности данного вуза, имеются разделы с часто задаваемыми вопросами, возможностью связаться с администраторами системы и др.
Что касается учебного процесса, то с практической точки зрения он представлен страницами двух типов пользователей – преподавателей и обучающихся. Преподаватель видит на своей странице данные о дисциплинах и группах, с которыми он работает, а обучающийся, соответственно, данные о дисциплинах, преподавателях, задачах и др. Таким образом, преподаватель, определяет для группы задачи на своей странице, и они также отображаются на страницах обучающихся данной группы. По такому же принципу выставляются оценки. Вывод текущей успеваемости обучающегося осуществляется с помощью модуля статистики. На Рисунках 4.2–4.3 приведены скриншоты двух разделов страницы преподавателя: раздела со списком дисциплин, которые он преподает в текущем семестре и раздела с информацией о конкретной дисциплине, преподаваемой у некоторой группы. Как видно из Рисунка 4.2, при нажатии на каждую дисциплину, открывается список групп, у которых преподаватель ведет данную дисциплину. В разделе, скриншот которого представлен на Рисунке 4.3, преподаватель имеет возможность, как работать со списком заданий для группы, так и перейти к статистике успеваемости для просмотра имеющейся информации и выставлении новых оценок. Помимо представленного способа отображения данных, у преподавателя есть возможность просмотреть список групп, у которых он преподает в текущем семестре, и для каждой из них получить список дисциплин. Кроме того, преподавателю доступны разделы с информацией о дисциплинах и группах, с которыми он работал в предыдущих семестрах, о компетенциях, которые были определены рабочими программами для преподаваемых им дисциплин за весь период работы и др. Именно компетенции из указанного списка преподаватель может оценивать дополнительно при проверке работы обучающегося. Таким образом, чем больше различных дисциплин вёл преподаватель за период своей трудовой деятельности, тем шире список компетенций, которые он может оценить.
Каждое задание в списке, представленном на Рисунке 4.3, активно и при нажатии на него, открывается подробное описание задания и меню для дальнейшей работы с ним. Поскольку каждая выполняемая обучающимся задача должна, в соответствии с концепцией системы, оцениваться преподавателем по отдельным компетенциям, блок оценки работ содержит ряд особенностей. Преподаватель имеет доступ к таблицам, связывающим каждую группу, у которой он преподает некоторую дисциплину, с задачами по этой дисциплине (Рисунок 4.4). При клике по ячейке, находящейся на пересечении строки обучающегося и столбца задачи, преподаватель получает доступ к окну оценивания, в котором он видит данные об обучающемся и «ползунки» баллов тех компетенций, которые для этой задачи определены. Также в этом окне преподаватель может добавить дополнительные компетенции для обучающегося. После подтверждения оценки, ее редактирование возможно только через администратора вуза.
Также стоит отметить, что автором системы в перспективе предполагается возможность подготовки тестов, результат прохождения которых мог бы отражать развитие отдельных компетенций и использоваться при формировании итоговой характеристики компетентности обучающегося. Модуль подготовки таких тестов мог бы основываться на принципах, приведенных авторами работ, рассмотренных в главе 1, однако в данной диссертационной работе такая возможность подробно не рассматривается.
Пользователю категории «Обучающийся» доступны следующие разделы: список дисциплин текущего семестра с краткой информацией о каждой; список всех дисциплин курса с краткой информацией о каждой; раздел выбранной дисциплины, включающий подробную информацию (развиваемые компетенции, дескрипторы освоения и др.) и список заданий; раздел с актуальными заданиями; раздел выбранного задания, содержащий даты, когда задание было выдано, и когда оно было выполнено, оценки компетенций и др. список преподавателей с информацией о преподаваемых дисциплинах, статистикой по полученным баллам и др. список развиваемых компетенций с информацией об актуальных весовых коэффициентах, полученных оценках, средних баллах по каждой компетенции, итоговой оценкой компетентности с учетом количества пройденных семестров и др. раздел массового опроса, позволяющий как принять участие, так и просмотреть результаты; раздел с подробной статистикой о пройденных опросах.
В рамках системы планируется реализовать возможность общения. Данная возможность подразумевает как обычную переписку пользователей, так и обсуждение выполненных заданий между преподавателем и обучающимся, организованную по принципу комментариев. Данные комментарии доступны в разделе задания, выполненного обучающимся, в котором преподаватель выставляет оценки компетенциям. Комментарии, как и остальная информация, будут доступны только преподавателю, выдавшему задание и обучающемуся, выполнившему его.
Необходимо отметить, что у преподавателей, работающих в нескольких вузах и у студентов, проходящих обучение в разных вузах или по разным направлениям подготовки, есть возможность просматривать все описанные выше разделы, как в режиме работы с выбранным вузом/направлением подготовки, так и в режиме работы со всеми данными. Таким пользователям доступен блок, имеющий фиксированное положение на странице и позволяющий быстро переключиться между режимами и изменить таким образом выводимую информацию в просматриваемом разделе. Также, у таких пользователей заголовки основных разделов дополняются пометкой о том, данные какого вуза или направления подготовки в текущий момент просматриваются.
Регистрацию эксперта автор выделяет в отдельный модуль, поскольку этот процесс проходит в два этапа и ни к одному из других модулей его отнести нельзя. На первом этапе от организации, руководство которой желает принять участие в работе системы, поступают данные о сотруднике, который мог бы выступить в роли эксперта. К высылаемой информации относятся следующие обязательные данные: ФИО, компания, должность, логин, пароль, контактные данные и группа ОКЗ сотрудников, находящихся у регистрируемого эксперта в подчинении. Данные отправляются на сервер, записываются в специальную таблицу БД и становятся доступными в «Клиенте» администратора системы. После проверки данных создается учетная запись эксперта или же в существующую учетную запись добавляется тип пользователя «Эксперт», с соответствующими правами, если регистрируемый email уже присутствует в базе. Обработка новых данных осуществляется с помощью модуля администрирования. На Рисунке 4.5 представлено окно ввода данных об эксперте. При вводе информации в поля «Организация» и «Должность» пользователю выводится список найденных данных, содержащих введенную комбинацию символов. Поле «Базовая группа» представляет собой выпадающий список, содержащий коды и названия групп занятий, соответствующих ОКЗ.