Содержание к диссертации
Введение
Глава 1. Актуальные проблемы принятия решений при управлении взаимодействием вузов и работодателей 15
1.1. Понятие компетенции и основные проблемы принятия решений при управлении компетенциями выпускников в рамках взаимодействия вузов и работодателей 15
1.2. Основные источники требований к профессиональным квалификациям 21
1.3. Анализ существующих подходов к построению моделей компетенций при оценке и отборе соискателей вакансий 24
1.4. Анализ существующих подходов к решению задач формирования и корректировки программ обучения на основе компетентностного подхода 31
1.5. Основные результаты и выводы 38
Глава 2. Основные модели объектов и субъектов в системе вуз-производство 40
2.1. Концептуальная модель взаимодействия вузов и работодателей 40
2.2. Обоснование применимости аппарата нечеткой логики 47
2.3. Информационные модели специалиста, вакансии и программы обучения 50
2.4. Функциональные модели 54
2.4.1. Функциональная модель поддержки принятия решений при корректировке ПО в соответствии с требованиями работодателя 54
2.4.2. Функциональная модель поддержки принятия решений при отборе соискателей вакансий на основе оценок компетенций 56
2.5. Теоретико-множественная и когнитивная модели программы обучения 58
2.6. Когнитивная модель компетенций специалиста ( выпускника) 65
2.7. Основные результаты и выводы 68
Глава 3. Основные методы и алгоритмы взаимодействия в системе вуз–производство 69
3.1. Поддержка принятия решений при корректировке ПО на основе компетентностного подхода 69
3.1.1. Метод определения значимости компетенций на основе опроса экспертов 69
3.1.2. Определение значимости компетенций на основе профессиональных стандартов 74
3.1.3 Алгоритм определения значимости дисциплин на основе оценок значимости компетенций 75
3.1.4. Алгоритм оценки значимости компетенций согласно ПО на основе когнитивной модели 78
3.1.5. Критерий оценки соответствия ПО требованиям работодателя 79
3.1.6 Алгоритм поддержки принятия решений при корректировке ПО 86
3.2 Методы и алгоритмы поддержки принятия решений при оценке компетенций 96
3.2.1 Алгоритм оценки компетенций соискателя на основе анализа ПО 96
3.2.2 Алгоритм поддержки принятия решений при отборе соискателей вакансий на основе нечетких оценок компетенций 97
3.2.3 Алгоритм интегральной оценки соответствия специалиста требованиям конкретной профессии (вакансии) 108
3.3. Основные результаты и выводы 117
Глава 4. Результаты и примеры практического применения разработанных алгоритмов 118
4.1. Программная реализация разработанных алгоритмов 118
4.2. Анализ программы обучения и оценка компетенций бакалавров по направлению «Прикладная математика и информатика» (на примере требований НТЦ ПАО «КАМАЗ») 120
4.3. Примеры когнитивных моделей компетенций 138
4.4. Основные результаты и выводы 149
Заключение 150
Список используемых сокращений 152
Список литературы 153
Приложения 170
Приложение А. Анкета для работодателей 170
Приложение Б. Обработка экспертных оценок компетенций выпускников по направлению «Прикладная математика и информатика» 175
Приложение В. Акты о внедрении результатов диссертационной работы 177
Приложение Г. Свидетельство о государственной регистрации программы для ЭВМ 181
- Анализ существующих подходов к построению моделей компетенций при оценке и отборе соискателей вакансий
- Информационные модели специалиста, вакансии и программы обучения
- Критерий оценки соответствия ПО требованиям работодателя
- Анализ программы обучения и оценка компетенций бакалавров по направлению «Прикладная математика и информатика» (на примере требований НТЦ ПАО «КАМАЗ»)
Введение к работе
Актуальность темы исследования. На сегодняшний день многие специалисты, которые изучают вопросы рынка труда и системы образования, сходятся во мнении, что между системой образования и рынком труда существует дистанция в силу отсутствия четких механизмов организации взаимодействия между ними.
В настоящее время практически для всех сфер профессиональной деятельности характерна высокая скорость изменений и роста новых знаний, а, значит, и требований к работникам и соискателям вакансий. В соответствующем темпе должны изменяться и адаптироваться к новым требованиям рынка труда и профессиональные образовательные программы. В этих условиях актуальной становится задача разработки моделей и алгоритмов автоматизированной системы поддержки принятия решений (СППР) при взаимодействии образовательных учреждений (ОУ) и работодателей, позволяющих осуществлять оценку компетенций специалистов и анализ существующих программ обучения (ПО), вырабатывать рекомендации по их корректировке с целью адаптации ПО к новым требованиям работодателя на основе компе-тентностного подхода.
Указанная задача становится особо актуальной при ее рассмотрении применительно к ОУ в условиях моногорода, в котором значительная часть населения занята в одном или нескольких градообразующих предприятиях. В большинстве моногородов работодатели испытывают значительный дефицит кадров. Очевидно, что ОУ моногородов может обеспечить потребности градообразующих предприятий в специалистах посредством целевой подготовки. Наряду с созданием сети «территориально-производственных кластеров» в соответствии с кластерным подходом, который в последнее десятилетие стал одним из важных элементов стратегии экономического развития регионов России, многие исследователи обосновывают и целесообразность организации «кластерной образовательной среды» в моногородах.
Различные подходы к проблемам внедрения компетентностного подхода рассматриваются в работах многих авторов: А. А. Вербицкого, Н. А. Селезневой, И. А. Зимней, Э. Ф. Зеера, В. А Богословского, Е. В. Караваевой, В. И. Байденко, И. Г. Галяминой, Ю. Г. Татура и др.
Вопросы разработки и совершенствования моделей и алгоритмов поддержки принятия решений при взаимодействии вузов и работодателей, а также числе задачи разработки методик анализа, формирования и оценки учебных планов и ПО вуза на соответствие требованиям работодателей, в том числе и на основе компетентностного подхода, рассматриваются в работах А. М. Бер-шадского, Л. Р. Фионовой, А. В. Лушникова, В. В. Эпп, М. Б. Гузаирова, Н. И. Юсуповой, О. Н. Сметаниной, Л. Р. Черняховской, О. И. Пятковского, Е. Г. Комарова, А. Г. Кравец, М. Б. Гитмана, В. А. Богословского, Е. В. Караваевой, К. Э. Писаренко, А. Н. Тритенко, И. М. Харитонова, И. В. Сибикиной и др.
Вопросы разработки моделей и алгоритмов поддержки принятия решений при отборе и оценке персонала предприятия рассматриваются в работах
С. В. Тархова, А. Г. Кравец, Е. Г. Комарова, А. Н. Даниленко, Е. В. Бурмист-ровой, И. А. Гири, Е. В. Гольцовой, Д. К. Бейльханова, М. В. Хлопотова, М. В. Гунера, И. М. Ажмухамедова и др.
Как показал анализ существующих работ по тематике исследования, в настоящее время задачи, связанные с оценкой и формированием компетенций в рамках взаимодействия с работодателями, исследованы недостаточно. Далеки до полного решения задачи оценки компетенций, формируемых в ходе реализации ПО, разработки универсального алгоритма оценки самой ПО на соответствие требованиям различных работодателей и профессиональных стандартов (ПС) к компетенциям, задача разработки алгоритма поддержки принятия решений при адаптации ПО к требованиям работодателя при целевой подготовке. Задачи адаптации ПО к новым требованиям и оценки компетенций в соответствии с ПО (и с требованиями вакансий) требуют учета большого числа разнородных количественных и качественных показателей, а также существующих связей между структурными элементами ПО и компетенциями; существующие подходы, как правило, учитывают указанные параметры не в полном объеме.
Схожие проблемы возникают при оценке и отборе персонала, реализации программ повышения квалификации сотрудников предприятий в условиях появления новых компетенций и требований работодателя.
Цель и задачи. Цель диссертационной работы состоит в повышении эффективности процесса управления взаимодействием учреждений профессионального образования и работодателей в условиях целевой подготовки специалистов посредством внедрения моделей и алгоритмов поддержки принятия решений при организации профессионального обучения на основе оценки компетенций.
Исходя из указанной цели исследований, основными задачами являются:
-
Разработка структурной модели организации профессионального обучения и/или повышения квалификации сотрудников с учетом требований работодателя и/или ПС на основе компетентностного подхода в рамках целевой подготовки.
-
Разработка когнитивной модели компетенций специалиста, позволяющей учитывать связи между различными компетенциями и стадиями их формирования, а также основанного на её применении алгоритма поддержки принятия решений при отборе соискателей вакансий с учетом нечетких оценок компетенций и их значимости.
-
Разработка когнитивной модели ПО, позволяющей учитывать оценки силы связей между дисциплинами, модулями (разделами) дисциплин и компетенциями, а также основанного на её применении алгоритма оценки значимости дисциплин согласно требованиям работодателя, которые представлены в виде нечетких оценок значимости компетенций.
-
Разработка критерия оценки соответствия ПО требованиям работодателей и/или ПС.
-
Разработка алгоритма поддержки принятия решений при корректировке ПО с целью ее адаптации к требованиям работодателя на основе нечетких оценок значимости компетенций.
6. Исследование эффективности предложенного подхода при целевой подготовке специалистов в вузе.
Объект исследования: процесс организации профессионального обучения при целевой подготовке специалистов на основе учета требований работодателей и ПС.
Предмет исследования: модели и алгоритмы поддержки принятия решений при организации профессионального обучения на основе оценки компетенций в рамках взаимодействия учреждений профессионального образования и работодателей в условиях целевой подготовки специалистов.
Методы исследования. Основными методами исследования являются методы системного анализа, математического моделирования, теории принятия решений, нечёткой логики, когнитивного моделирования, анализ данных социологических исследований.
Научная новизна (пункты 3, 4, 6 паспорта специальности 05.13.10).
-
Новизна модели компетенций состоит в использовании нечетких продукционных когнитивных карт (НПКК). Модель, в отличие от существующих, позволяет для получения оценок компетенций учитывать уровни компетенций и их связи с заданной степенью детализации, т.е. имеющийся потенциал для дальнейшего развития профессиональной компетентности соискателя в случае, если он не в полной мере соответствует требованиям. Новизна алгоритма поддержки принятия решений при отборе соискателей вакансий состоит в использовании когнитивной модели компетенций, а также в модификации этапов расчета результирующих значений концептов НПКК, что позволяет при получении оценок соискателей учитывать базовые компетенции, необходимые для приобретения основных компетенций, требуемых вакансией.
-
Новизна когнитивной модели ПО состоит в использовании НПКК. Модель, в отличие от существующих, позволяет при получении численных оценок значимости учебных дисциплин одновременно учитывать оценки значимости всех формируемых в процессе обучения компетенций и оценки силы связей между разделами дисциплин. Кроме того, эти оценки могут быть получены для требований различных работодателей и ПС.
-
Новизна критерия оценки соответствия ПО требованиям работодателя состоит в использовании оценок значимости компетенций, полученных с помощью когнитивной модели ПО, что позволяет учитывать связи между разделами дисциплин.
-
Новизна алгоритма поддержки принятия решений при корректировке ПО в соответствии с требованиями работодателя и/или ПС состоит в возможности определения объемов увеличения или уменьшения часов по дисциплинам на основе использования разработанных когнитивных моделей компетенций и ПО, а также нечетких продукционных правил.
Теоретическая и практическая значимость результатов. Теоретическая значимость результатов диссертационной работы заключается в разработке новых моделей и алгоритмов оценки компетенций
специалистов и поддержки принятия решений при взаимодействии вузов и работодателей, которые развивают теорию управления и принятия решений в сфере взаимодействия вузов и работодателей, что позволяет повысить качество управленческих решений при оценке и отборе соискателей вакансий, а также при анализе, формировании и корректировке ПО в вузе.
Практическая значимость результатов заключается в том, что разработанное алгоритмическое обеспечение может быть использовано для расширения функциональных возможностей и повышения эффективности использования СППР при управлении учебным процессом в вузе в рамках взаимодействия с предприятиями – потенциальными работодателями выпускников, а также в СППР при управлении процессами оценки, отбора и повышения квалификации персонала предприятия.
Достоверность и обоснованность. Предложенные в диссертационной работе модели и алгоритмы обосновываются корректным применением указанных методов исследования. Практическая апробация результатов работы подтвердила эффективность предложенных моделей и алгоритмов.
Соответствие паспорту специальности. Работа выполнена в соответствии с паспортом специальности ВАК РФ 05.13.10 – Управление в социальных и экономических системах (технические науки), пункты 3, 4, 6.
Положения, выносимые на защиту.
-
Когнитивная модель компетенций специалиста, реализованная на основе нечетких продукционных когнитивных карт, и алгоритм поддержки принятия решений при отборе соискателей вакансий на основе нечетких оценок компетенций и их значимости с использованием когнитивной модели компетенций.
-
Когнитивная модель ПО, реализованная на основе нечетких продукционных когнитивных карт, и алгоритм оценки значимости дисциплин на основе нечетких экспертных оценок значимости компетенций с помощью когнитивной модели ПО.
-
Критерий оценки соответствия ПО требованиям работодателя на основе использования оценок значимости компетенций, полученных в результате опроса работодателя и с помощью когнитивной модели ПО.
-
Алгоритм поддержки принятия решений при корректировке ПО с целью ее адаптации к требованиям работодателя с помощью определения набора ключевых дисциплин и учебных модулей (разделов дисциплин) при подготовке специалистов на основе нечетких оценок значимости компетенций.
Апробация работы. Основные результаты настоящей диссертационной работы обсуждались на X–XV, XVII Международных конференциях «Проблемы управления и моделирования в сложных системах» (г. Самара, 2008– 2013, 2015); Республиканских научно-практических конференциях «Наука, технологии и коммуникации в современном обществе» (г. Набережные Челны, 2008–2013); Всероссийской научно-практической конференции «Рынок образования и рынок труда: взаимодействие и развитие» (г. Набережные Челны, 2012).
Результаты диссертации использовались при оценке и отборе выпускников Набережночелнинского института (филиала) КФУ для их последующего трудоустройства в НТЦ ПАО «Камский автомобильный завод (КАМАЗ)» (г. Набережные Челны). Алгоритмы анализа и корректировки ПО в соответствии с требованиями работодателя использовались для анализа и корректировки ПО бакалавров по направлению «Прикладная математика и информатика» в рамках целевой подготовки для НТЦ ПАО «КАМАЗ», а также в учебном процессе при изучении дисциплины «Основы теории нейро-нечетких систем управления» в Набережночелнинском институте (филиале) КФУ.
Связь темы исследования с научными программами. Работа выполнена на кафедре системного анализа и информатики Набережночелнинского института (филиала) КФУ в г. Набережные Челны в рамках грантов РФФИ № 08-08-00536-а, № 11-08-00311-а, в рамках г/б НИР рег. № 01201054780.
Публикации. По теме диссертации опубликовано 25 печатных работ, в том числе 24 статьи, из них 8 – в научных журналах, входящих в Перечень ВАК РФ, и 16 публикаций в сборниках трудов конференций. Получено одно свидетельство о государственной регистрации программы для ЭВМ.
Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения, библиографического списка из 137 наименований и четырех приложений. Основная часть работы (без библиографического списка и приложений) изложена на 151 странице машинописного текста.
Анализ существующих подходов к построению моделей компетенций при оценке и отборе соискателей вакансий
В рамках взаимодействия работодателей и вузов возникает задача оценки и отбора соискателей вакансий, в том числе выпускников вузов. В работах Гири И. А. [43, 44] осуществляется построение модели технических компетенций проектно-ориентированных организаций (ПОО), сочетающей модель знаний и модель умений; полученная модель позволяет количественно оценить компетентность сотрудника. Построение модели знаний сотрудника ПОО осуществляется на основе сочетания двух подходов: графовых и оверлейных моделей. Описан «метод построения расширяемого понятийного графа», вершинами которого являются понятия, с помощью которых описываются знания предметных областей, соответствующих сфере деятельности ПОО [43, 44].
Предложен метод интегральной оценки уровня знаний сотрудника ПОО, определяемый на основе результатов тестовой оценки базового понятия, соответствующего некоторому узлу графа, и оценок входных понятий, на которых основывается базовое; кроме того, интегральная оценка учитывает ранги оцениваемых понятий [43, 44]. Метод оценки знаний дополняет метод оценки навыков по некоторому типовому сценарию (под типовым сценарием понимается «логически завершенная последовательность действий, характерная для проектной деятельности сотрудника ПОО»), который основан на анализе времени, затраченного сотрудником на работу по задачам, связанным с этим сценарием [43].
В работах Гольцовой Е. В. [47, 48] при расчете «персональной и групповой итоговой оценки освоения по каждой компетенции» используется экспертная оценка и самооценка компетенций, представленных в ФГОС ВО. На основе опроса работодателей формируются пять групп компетенций по степени их важности. Для расчета «интегральной оценки освоения компетенций у выпускников» используются нечеткие продукции, в качестве входных переменных в нечетких продукциях выбраны средние оценки компетенций по каждой из пяти групп компетенций. Нечеткая модель была обучена, при этом в качестве выходного значения использовались средняя арифметическая оценка по итоговой государственной аттестации и средняя оценка по дисциплинам за весь период обучения.
В работах Бейльханова Д. К. [26, 27] осуществляется разработка методов оценки компетенций, позволяющих проверять сходство компетентности кандидата с компетентностью прототипа, которым является сотрудник компании. Предлагаемые методы базируются на применении коэффициента корреляции Пирсона и ранговой корреляции Спирмена. Разработана «теоретико-множественная модель кандидата в процессе оценки компетенций кандидатов», включающая множества: компетенций, кандидатов, обязанностей в соответствии с компетенциями, множество связей между обязанностями и компетенциями, множество связей между компетенциями и кандидатами, множество связей между обязанностями и кандидатами. На основе модели кандидата разработана процедура оценки компетенций кандидатов в соответствии с заданными обязанностями на должность, использующая алгоритм ROC для группировки кластеров обязанностей и кандидатов. Для определения степени близости между обязанностью и кандидатом вычисляется расстояние Хемминга.
В работе Хлопотова М.В. [123] построение компетентностной модели осуществляется с помощью аппарата байесовских сетей. В качестве вершин сети выбраны компетенции (простые и составные), задания и изучаемые дисциплины. На основе обратного вывода в байесовской сети осуществляется оценка простых и составных компетенций. Предложена методика построения компетентностной модели направления подготовки.
В условиях отсутствия точных математических методов решения кадровых задач предприятия (в том числе задач оценки и отбора персонала) и необходимости оперировать при принятии решений как количественными, так и качественными показателями в условиях неопределенности, представляется, что эффективное решение рассматриваемых задач возможно при использовании интеллектуальных методов поддержки принятия решения, популярность которых в последнее время возросла [107, 20]. Далее приводятся некоторые подходы к решению задачи оценки и отбора персонала на основе интеллектуальных технологий [20].
1. Нейронные сети [130, 131, 53, 73, 3].
В задачах управления персоналом нейросетевые модели чаще всего используются при решении таких задач, как «прогнозирование успешности персонала в компании в процессе найма», «оценки результативности труда управленческого персонала», «выявлении предпочтений агентов» [3].
В статье Азарновой Т. В. [3] нейронные сети (НС) используются для оценки перспективы работы на предприятии (оценка потенциала развития). Предлагаемая в работе [3] методика оценки трудового потенциала предполагает привлечение экспертов для оценки, анализа и прогнозирования трудового потенциала работников. Результаты обследования и мнения экспертов используются для «обучения» нейронной сети.
Обученная нейронная сеть должна в дальнейшем моделировать работу экспертов, оценивая трудовой потенциал как отдельных работников, так и их групп. Требуется участие эксперта только на этапе формирования нейронной сети, обученная нейронная сеть в дальнейшем участия экспертов не требует.
В статье Гунера М. В. и Пятковского О.И. [53] НС используются для решения задачи оценки соответствия уровня профессиональной подготовки выпускников вуза требованиям работодателей. Применяются НС для получения следующих оценок: нейрооценка соответствия по результатам учебы в вузе, нейрооценка соответствия по результатам изучения актуальных дисциплин, нейрооценка социально-психологических характеристик, нейрооценка потенциальной возможности эффективного решения типовых профессиональных задач в соответствии с оценками эффективности работы выпускников, уже освоивших образовательную программу по данной специальности и т.п.
Для использования нейронных сетей при прогнозировании успешности работы соискателя требуется достаточно большая обучающая выборка в условиях отсутствия достаточного и/или медленного накопления необходимых статистических данных. Формирование же выборки на основе опроса экспертов требует от последних необходимости учета большого числа параметров (по числу входных и выходных нейронов сети), что повышает вероятность получения неверных оценок. Использование нейронной сети для оценки профессиональных ЗУВ (с учетом имеющихся базовых ЗУВ) соискателя усложняется из-за большого размера входного слоя сети. При использовании «классических» нейронных сетей (чаще всего для решения рассматриваемых задач используется многослойный персептрон) и классических алгоритмов обучения нейронной сети отсутствует возможность добавления новых знаний (дообучение НС на основе новых обучающих выборок); при появлении же новых требований к специалистам необходимо обучать нейронную сеть заново. Еще одним недостатком использования нейронных сетей является отсутствие интерпретации полученного результата, что не позволяет объяснить, почему получен тот или иной результат.
Однако обучающая выборка для построенной нейронной сети может быть дополнена с помощью когнитивной модели компетенций, построение которой осуществляется в данной работе.
Нейронные сети также используются при решении задач оптимизации. Например, задача распределения отдельных заданий между потенциальными исполнителями для реализации некоторого проекта сводится к задаче оптимизации, если число вариантов распределения достаточно велико.
Большинство работ, касающихся вопросов формирования команд исполнителей, нацелены, прежде всего, на получение интегральных оценок соответствия профессиональных, психолого-личностных и других характеристик соискателей требованиям отдельных заданий на основе результатов тестирования профессиональных знаний, психологического тестирования, экспертных оценок и т.п. Далее на основе полученных данных о соискателях определяется такой состав команды, чья оценка соответствия требованиям проекта доставляет экстремальное значение некоторой целевой функции, учитывающей значения выбранных критериев оценки потенциальных соискателей. Подобные задачи в теории оптимизации относятся к дискретной (комбинаторной) оптимизации и называются задачами о назначениях.
Информационные модели специалиста, вакансии и программы обучения
Из анализа данных социологических исследований, посвященных вопросам взаимодействия и ситуации на рынке труда, следует, что информационная модель специалиста может быть представлена в виде, показанном на рисунке 9.
Требования к характеристикам соискателей могут быть отражены в информационной модели вакансии [19]. Указанная модель должна включать и данные о самом предприятии, которые могут быть использованы уже при расчете оценок соответствия вакансии требованиям соискателя. Такая комплексная информационная модель предприятия и вакансии в процессе найма на работу представлена на рисунке 10. Как уже отмечалось, неопределенность в проблеме отбора персонала заключается в невозможности точно сформулировать требования к характеристикам соискателя типа «средний опыт работы», «уверенное владение современными информационными технологиями» и т.п. Как правило, возможно определение только границы значений оцениваемой характеристики на разных уровнях – в простейшем случае это низкий, средний, высокий уровень оценки характеристики. В этих условиях каждую характеристику соискателя можно рассматривать как лингвистическую переменную.
На рисунках 9–11 выделены в качестве характеристик составляющие компетенции (профессиональные знания, умения, владения и психолого-личностные характеристики) в соответствии с принятым в данной работе определением компетенции (см. п. 1.1).
На рисунке 12 представлена информационная модель программы обучения. Определен набор характеристик, описывающих дисциплины ПО. В случае анализа ПО для курсов повышения квалификации некоторые характеристики дисциплин не рассматриваются (семестр, тип дисциплины, цикл, число семестров). Выделены учебные модули дисциплин, которые представляют собой разделы (темы) учебных дисциплин. Компетенции формируются в ходе освоения учебных модулей. В информационной модели определен набор профессиональных, общекультурных и общепрофессиональных компетенций, которые формируются в рамках изучения учебного модуля. Учитывается значимость модуля для формирования каждой компетенции. Между модулями одной и различных дисциплин существует связь в смысле преемственности ЗУВ, причем сила этой связи может различаться в каждой паре модулей.
В информационную модель включены также требования ПС. Требования каждого ПС представлены в виде перечня трудовых функций. «Трудовая функция – набор взаимосвязанных действий, направленных на решение одной или нескольких задач процесса труда» [104]. Каждая трудовая функция расшифровывается через перечень знаний, умений и владений, которыми должен обладать специалист. В представленной модели соответствующие ЗУВ обозначены как трудовые компетенции. Между трудовыми компетенциями ПС и профессиональными компетенциями ФГОС ВО может быть установлено соответствие [104], что учитывается в представленной модели. В более ранних вариантах ПС (до 2012 года) присутствовали и трудовые компетенции, соответствующие общекультурным компетенциям ФГОС ВО, что также учтено в модели.
Критерий оценки соответствия ПО требованиям работодателя
Значимости компетенций согласно выбранному кластеру экспертов и согласно ПО задают некоторые ранжирования компетенций. В каждом случае ранжирование осуществляется по следующим правилам [57]:
1) наименьшему значению значимости соответствует ранг 1;
2) наибольшему значению значимости соответствует ранг равный числу (числу ранжируемых величин) компетенций;
3) если несколько исходных значений оказываются одинаковыми, то им соответствует ранг, равный среднему значению тех рангов, которые эти оценки значимости получили бы, если бы они стояли друг за другом и не были бы равными.
При построении ранжирования нечетких оценок экспертов возникает необходимость использования процедуры сравнения нечетких чисел. Все существующие процедуры сравнения нечетких чисел основаны на вычислении некоторой вещественной функции F(A, B) от нечетких чисел A ( A =m(a)/ a) и B Ua ( B = m(b)/ b), которая называется индексом ранжирования3.
Таким образом, имеются порядковые (ранговые) построения, в которых работодателями и разработчиками ПО отражены их предпочтения в отношении соответствия каждой компетенции (альтернативы), формируемой в учебном процессе, требованиям к востребованному специалисту.
Возникает задача оценки согласованности этих ранжирований.
Наиболее известными методами обработки экспертных ранжирований на основе вычисления коэффициента корреляции рангов (ККР) являются метод Ч. Спирмена ( Ch. Spearman) и метод М. Кендалла (M. Kendall) [57].
1. Оценка согласованности экспертных ранжирований по критерию (коэффициенту корреляции рангов) Спирмена [57].
Этот критерий основан на вычислении разностей рангов Р и if, назначенных двумя экспертами Х и7в своих ранжированиях одним и тем же альтернативам 4 (z=1, ,7V).
2. Оценка согласованности экспертных ранжирований по критерию (коэффициенту корреляции рангов) Кендалла [57].
Оценка согласованности ранжирований, представленных экспертами Хи Y, проводится для каждой пары разных альтернатив. При этом будут определены значения величин D1V (і: =1,...Д; v = 1,...Д; для всех / v) при выполнении одного из условий:
DIV = 1 при условии (if Pvx и Pj Pj) или (if Pvx и if Pj), и
DIV=-\ при условии (Pf Pvx и if Pvr) или (Px PVX и Pj PVY) при і v.
Пары альтернатив, ранги которых при сравнении дадут значение Div =-1, будут характеризоваться инверсией рангов в ранжированиях, составленных экспертами X и Y. Обозначим число отрицательных слагаемых этой суммы через Q.
В формуле (3.25) DXY – число пар альтернатив, ранги которых оказались связанными в обоих ранжированиях; в формулах (3.26)(3.27) nX и nY – число групп альтернатив в ранжированиях экспертов X и Y соответственно, имеющих одинаковые ранги; tj – число альтернатив в группе c рангом j в ранжировании эксперта X; qk – число альтернатив в группе c рангом k в ранжировании эксперта Y.
Оба коэффициента дают довольно близкие результаты, но критерий Кен-далла более детально учитывает инверсии рангов, а критерий Спирмена – более чувствителен к разности рангов, так как учитывает квадраты этих разностей [57].
Следует отметить, что при использовании коэффициентов Спирмена и Кен-далла характер распределения коррелируемых величин не имеет значения [57].
Анализ программы обучения и оценка компетенций бакалавров по направлению «Прикладная математика и информатика» (на примере требований НТЦ ПАО «КАМАЗ»)
С целью проверки работоспособности разработанных моделей и алгоритмов был проведен анализ ПО бакалавров по направлению «Прикладная математика и информатика» [86, 114] Набережночелнинского института (филиала) Казанского (Приволжского) федерального университета.
Был проведен опрос 15 экспертов, представителей НТЦ ПАО «КАМАЗ», нуждающихся в специалистах данного направления, и преподавателей профессионального цикла дисциплин кафедры системного анализа и информатики, осуществляющих подготовку бакалавров по данному направлению.
В результате проведенного кластерного анализа (использовался метод дальнего соседа, для вычисления расстояний применялась метрика города) была получена следующая дендрограмма кластеров:
В качестве числа кластеров было выбрано 7 кластеров (кофенетический коэффициент корреляции равен 0,7217).
Ниже приводится сводная таблица (таблица 9) результатов кластеризации.
В качестве оценок значимости компетенций были выбраны центры каждого кластера по каждой компетенции. Ниже приводятся нечеткие оценки значимости по некоторым компетенциям (рисунки 33-38).
На рисунке 39 приводятся дефаззифицированные (четкие) оценки значимости некоторых компетенций для всех кластеров, на рисунке 40 для кластеров 4 и 7.
На основе построенной когнитивной карты ПО получены оценки значимости дисциплин. На рисунке 41 приводятся значимости некоторых дисциплин.
На основе полученных оценок значимости дисциплин были вычислены оценки компетенций выпускников, определены выпускники, чьи компетенции наиболее соответствуют требованиям выбранного работодателя (НТЦ ПАО «КАМАЗ»). В качестве кластера был выбран кластер 7. Выбор этого кластера обусловлен тем, что в данный кластер попали наиболее компетентные специалисты.
Выработаны рекомендации о развитии компетенций (примеры):
Компетенция 1
Понимание основных фактов, концепций, принципов теорий, связанных с прикладной математикой.
Увеличение усилий по развитию компетенции.
Компетенция 2
Понимание основных фактов, концепций, принципов теорий, связанных с прикладной информатикой.
Увеличение усилий по развитию компетенции
Компетенция 3
Способность в составе научно–исследовательского и производственного коллектива решать задачи профессиональной деятельности.
Поддержание развития компетенции.
Компетенция 4
Способность приобретать новые научные и профессиональные знания, используя современные образовательные и информационные технологии.
Поддержание развития компетенции.
Компетенция 5
Способность понимать и применять в исследовательской и прикладной деятельности современный математический аппарат.
Поддержание развития компетенции.
Компетенция 6
Понимать и применять на практике компьютерные технологии для решения различных задач
Увеличение усилий по развитию компетенции.
Компетенция 7
Способность осуществлять целенаправленный поиск информации о новейших научных и технологических достижениях в сети Интернет и из других источников.
Поддержание развития компетенции.
Компетенция 8
Способность собирать, обрабатывать и интерпретировать данные современных научных исследований, необходимые для формирования выводов по соответствующим научным, профессиональным, социальным и этическим проблемам.
Увеличение усилий по развитию компетенции.
Компетенция 9
Способность формировать суждения о значении и последствиях своей профессиональной деятельности с учетом социальных, профессиональных и этических позиций.
Увеличение усилий по развитию компетенции.
Компетенция 10
Способность использовать основы защиты производственного персонала и населения от возможных последствий аварий, катастроф, стихийных бедствий и применения современных средств поражения, основных мер по ликвидации их последствий, способность к общей оценке условий безопасности жизнедеятельности.
Увеличение усилий по развитию компетенции.
Компетенция 11
Способность решать задачи производственной и технологической деятельности на профессиональном уровне, включая: разработку алгоритмических и программных решений в области системного и прикладного программирования.
Увеличение усилий по развитию компетенции.
Компетенция 12
Способность приобретать и использовать организационно–управленческие навыки в профессиональной и социальной деятельности.
Поддержание развития компетенции.
Компетенция 13
Способность составлять и контролировать план выполняемой работы, планировать необходимые для выполнения работы ресурсы, оценивать результаты собственной работы.
Поддержание развития компетенции.
Компетенция 14
Способность применять в профессиональной деятельности современные языки программирования.
Поддержание развития компетенции.
Компетенция 15
Способность применять в профессиональной деятельности языки баз данных.
Поддержание развития компетенции.
Компетенция 16
Способность применять в профессиональной деятельности операционные системы.
Увеличение усилий по развитию компетенции.
Компетенция 17
Способность применять в профессиональной деятельности электронные библиотеки и пакеты программ.
Поддержание развития компетенции.
Увеличения объемов изучения (повышенного внимания) для студентов, планирующих работать в НТЦ ПАО «КАМАЗ», требуют дисциплины: алгоритмы и алгоритмические языки, дифференциальные уравнения, теория вероятностей и математическая статистика, базы данных, системный анализ и управление сложными системами, планирование эксперимента и обработка данных, компьютерные сети и системы, сетевые технологии, ООП: технологии NET. Дисциплины с низкой значимостью: комплексный анализ, прикладная механика, история и методология прикладной математики и информатики, современные проблемы прикладной математики, ГИС.