Содержание к диссертации
Введение
ГЛАВА 1. Современное состояние задачи и методы оценивания качества освоения образовательных программ в вузе 11
1.1. Компетентностный подход к оцениванию качества освоения образовательных программ 11
1.2. Методы и способы оценивания качества освоения образовательных программ в вузе 15
1.3. Анализ информационных технологий, методов и моделей, применяемых для структурирования и оценивания компетенций 22
1.4. Методы оценивания и анализа данных в условиях неопределенности 31
1.5. Постановка задачи на создание модельно-инструментального комплекса 40
1.6. Выводы 50
ГЛАВА 2. Системология оценивания качества освоения образовательных программ в вузе 52
2.1 Технология оценивания результатов освоения учебных дисциплин 52
2.2 Энтропийный подход к оцениванию качества освоения студентами учебных дисциплин, основанный на компонентной модели компетенции 57
2.3 Системный подход к оцениванию качества освоения учебных дисциплин, учитывающий внутреннюю структуру компетенции 67
2.4 Формальная процедура структурного моделирования образовательных программ и их компонентов 73
2.5. Выводы 78
ГЛАВА 3. Разработка моделей оценивания личностного компонента образовательных компетенций 80
3.1 Методика оценивания личностных качеств как компонентов образовательных компетенций 80
3.2 Нечеткое моделирование личностных качеств студентов для оценивания компетенций 93
3.3 Нечеткая коррекция экспертных оценок типов личности испытуемых 98
3.4 Выводы 108
ГЛАВА 4. Разработка и исследование информационной технологии оценивания качества освоения образовательных программ в вузе 110
4.1. Разработка информационной модели для решения задачи оценивания качества освоения образовательных программ 110
4.2. Создание программного обеспечения автоматизированной информационной системы 113
4.3. Исследования оперативности оценивания качества освоения образовательных программ в вузе 121
4.4. Управление рисками оценивания образовательных компетенций 130
4.5. Выводы 139
Заключение 141
Список использованных источников 143
- Методы и способы оценивания качества освоения образовательных программ в вузе
- Системный подход к оцениванию качества освоения учебных дисциплин, учитывающий внутреннюю структуру компетенции
- Нечеткая коррекция экспертных оценок типов личности испытуемых
- Создание программного обеспечения автоматизированной информационной системы
Методы и способы оценивания качества освоения образовательных программ в вузе
Согласно традиционной знаниевой парадигме целью высшего профессионального образования считалось получение знаний, умений, навыков, которыми должен обладать выпускник. На сегодняшний день в условиях противоречивого характера глобализационных процессов, непрерывных колебаний в экономическом развитии, стремительного развития информационных технологий выше упомянутый подход не может реализовать задачу соответствия квалификационных характеристик выпускника тем требованиям, которые предъявляет к нему современная ситуация на рынке труда. В новых условиях возникает необходимость в специалисте, обладающем качественно новым набором характеристик, которые будут соответствовать всем императивам этого рынка. Работодатели отмечают важность не только профессиональных навыков, но и личностных качеств соискателей, которые способны решать профессиональные задачи, принимать ответственные решения, проявлять гибкость при работе в команде, как в поведении, так и в общении, проявляя коммуникативные навыки, способность обучаться в течение всей жизни и др. [34, 36]. Таким образом, результат высшего профессионального образования должен заключаться в сформированности таких качеств выпускника, которые бы обеспечили его конкурентноспособность, востребованность и личную успешность в социальной жизни и экономике, т.е. система профессионального образования, по мнению Карминской Т.Д., «должна обеспечить производство стратегического кадрового потенциала, обладающего высоким качеством профессиональной подготовки» [45]. Именно компетентностный подход позволяет добиваться вышеизложенного результата. Анализ ряда исследований, программных документов по развитию системы образования показывает, что среди современных нормативных требований к подготовке выпускника вуза важнейшим выступает сформированность у него различных компетенций. Так, государственная программа Российской Федерации «Развитие образования" на 2013-2020 годы определяет основную задачу для отечественной системы профессионального образования – «обеспечение выпускников не только профессиональными, но и базовыми социальными и культурными компетенциями и установками, включая организацию коллективной работы, межкультурную коммуникацию» [21]. Сегодня, как полагают многие исследователи, подготовка специалистов в любой области должна осуществляться на новой концептуальной основе в рамках компетентностного подхода (Зеер Э. Ф., Зимняя И. А., Маркова А. К., Мединцева И.П., Оскарсон Б., Петровская Л. А., Равен Дж., Скаткин М. Н., Татур Ю. Г., Уайт Р., Хуторской А. В., Щедровицкий Г. П. и др.). Цель компетентностного подхода – сделать результаты образования и требования рынка более согласованными, т.е. уменьшить разрыв между учебной и профессиональной деятельностью.
Компетентностный подход впервые появился в профессиональной сфере. Образовательная сфера, начиная с Коменского Я.А., работала со знаниями, умениями, навыками, а профессиональная сфера с компетенциями. Задача образования заключается в том, как привести в соответствие знания, умения, навыки с компетенциями, которые требуются в профессиональной сфере. Совет Европы ввел много компетенций, но каждая страна, исходя из своих приоритетов и своих взаимодействий с профессиональной сферой, выделяет свой определенный набор компетенций для овладения.
В работе [22] предлагается сравнительный анализ позиций студентов российских и европейских вузов. Интересен тот факт, что в Европе студенты придают большое значение навыкам, которые связаны с эффективным обучением, с самообразованием, с компетенцией «обучение в течение всей жизни». Тогда как для российского студенчества важными являются компетенции, значимые для карьерного роста. Агошкова Ю.И. [3] объясняет такие разные мнения ситуацией на рынке труда в России, которая характеризуется высоким темпом роста требований к будущим специалистам.
На данном этапе видится актуальной задача переосмысления представлений о компетентностном подходе и его основных понятиях. Ключевыми здесь являются понятия «компетенция» и «компетентность». В обобщенном виде Гончарова Н.Л. [20] определяет компетенцию как свойство, а компетентность рассматривается как обладание этим свойством, проявляющееся в профессиональной деятельности. Получив высшее профессиональное образование, молодой специалист должен владеть определенным спектром компетенций, который будет проявляться при решении профессиональных задач и свидетельствовать о его компетентности. Понятие «компетентность» можно рассматривать как характеристику специалиста, а «компетенция» характеризует некое базового качество, овладение которым делает специалиста компетентным.
По мнению Щедровицкого Г.П. «знания, умения, навыки – это единицы культуры, несущие на себе приоритетные культурные ценности. В отличие от них компетентности – это единицы, прежде всего рыночной, социально ориентированной экономики». [104].
Хуторской А.В. считает, что «компетенции оказываются системными характеристиками личностно-ориентированного подхода к образованию» и «компетенции для ученика – это образ его будущего, ориентир для освоения», а также рассматривает компетенцию как «отчуждённое», заранее заданное социальное требование к образовательной подготовке ученика, необходимой для его эффективной продуктивной деятельности в определённой сфере» [100].
Системный подход к оцениванию качества освоения учебных дисциплин, учитывающий внутреннюю структуру компетенции
Данная модель является базовой и может включать графы, связывающие разнородные компоненты, например, ЗУН и личностное качество, а также компетенции через так называемые граничные ЗУН. Более подробно этот вопрос рассматривается в разделе 2.1. Очень удобным способом является использование для такого моделирования на практике специального программного обеспечения с графическим интерфейсом, позволяющим осуществлять визуальное моделирование внутренней структуры компетенций и образовательных программ.
Переходя к обзору методов и алгоритмов оценивания качества освоения компетенций, следует обратить внимание на понятие «качество», измерение которого чаще всего сопряжено с применением методов экспертного оценивания, определяющих эталоны измерения и множество параметров оцениваемых объектов, а также шкалы оценивания. Все это имеет очень сильную привязку к предметной области.
Экспертное оценивание заключается в проведении группой компетентных специалистов измерения некоторых характеристик для подготовки принятия решения [9,12]. Здесь в качестве измерительных приборов выступают люди и представительность получаемых оценок обеспечивается их компетентностью в данной предметной области. Одна из причин, заставляющих системных аналитиков прибегать к методам и моделям экспертного оценивания — отсутствие необходимой информации и четкого знания о тенденциях развития ситуации, то есть присутствуют условия неопределенности.
Безусловно важным является вопрос о компетентности экспертов. Среди априоных методов оценки качества экспертов распространенными являются методы самооценки как наиболее простые в математическом плане. В этой группе методов каждый из экспертов оценивает себя по какой-либо шкале: балльной или вербально-числовой. Разновидностью самооценивания является дифференциальный метод, в котором оценка дается по двум группам критериев, характеризующим знакомство эксперта 1) с объектами экспертизы, и 2) с основными источниками информации в данной ПрО. Комплексная самооценка эксперта: к .+С-к0 qt= , (1.2) где 7 и К} — самооценкиу-го эксперта его степени знакомства с информацией о ПрО и объектом соответственно (в долях единицы), С — коэффициент сравнительной весомости, определяемый с учётом специфики объекта экспертизы и обычно принимаемый равным 0,1. Специальные исследования [99] показали, что самооценки как способ определения компетентности экспертов вполне приемлемы во многих практически важных случаях.
Эффективным способом оценки компетентности экспертов является расчет этой оценки на основе их ответов. При этом способе ответы каждого эксперта в виде парных сравнений сводятся в матрицу, элемент которой А.. = 1, если z-ый объект для эксперта менее предпочтителен, чему-ый, и htj = 0, если /-ый более предпочтителен, чему-ый. Затем для каждого эксперта находят 1) величину: J п(п-1)(п-2) 1 7 12 2 ;=1 7=1 где п — число сравниваемых объектов, и 2) коэффициент ср, отражающий степень совместимости ответов эксперта: \л 24d 1—3 , п-нечетное (р = \ П П (1.4) 24d 1— , п-четное. У п3-4п
Чем больше (р, тем с большей вероятностью можно считать, что рассуждения эксперта не случайны и аргументированы. Впоследствии, при экспертном оценивании коэффициент мнения эксперта выбирается пропорциональным ср.
При оценивании объектов используется перечень экспертных оценок, включая оценки отношений, интервальные, балльные, вербально-числовые оценки, ранжирование, попарное сравнение. Наиболее распространен количественный подход, при котором балльные оценки х. данные /-му объекту -ым экспертом, могут обрабатываться, с учетом весовых показателей компетентности 1.2. Простейшая групповая оценка: п У=1 Часто оцениваемый показатель бывает сложен для непосредственной оценки. Тогда его разбивают на более простые показатели. Например, показатель «качество образовательных услуг» разлагают на такие признаки, как: эстетические, социальные (востребованность в социуме), функциональные (обеспеченность средствами обучения) и экономические (стоимостный аспект услуг). В этом случае х1]к — оценка у-ым экспертом по к-му признаку, 2щ — оценка весомости к-го признака у-ым п экспертом. Тогда полагают, что оценка весомости к-го признака zk = q}Zkj, и оценка п m і-го устройства =EIZ , где m - число признаков. Эта оценка 7=1 к=\ представима в виде: п m 7=1 к=\
Анализ экспертных оценок имеет своей целью получение более достоверных и надежных результатов. При этом следует учитывать такие аспекты: Неточность экспертных оценок. Важно выбрать правильный вид критерия оценивания, так как результаты зависят от используемого критерия оценки точности экспертизы. Среди основных причин, приводящих к неточности экспертных оценок, выделяют 1) недостаточную компетентность экспертов; 2) недостаточную подготовленность экспертизы; 3) несовершенство используемых экспертных технологий; 4) использование неподходящих методик сравнительного оценивания альтернативных вариантов; 5) несовершенство используемых методов обработки экспертной информации.
Противоречивость экспертных оценок часто объясняется большим числом вариантов или системой предпочтений эксперта. Для устранения противоречивости используют повторные, более точные, оценивания экспертом альтернативных вариантов.
Нечеткая коррекция экспертных оценок типов личности испытуемых
Один из вариантов компонентной модели компетенций представлен в [27]. Данная модель базируется на расчете когнитивного, личностного и интегративно-деятельностного компонентов уровня сформированности /-й компетенции. Для каждого из трех компонентов рассматриваются средства диагностирования, пороговые значения уровня оценивания, определяются показатели качества диагностики, методы интерпретации результатов и дается уравнение оценки уровня компетенций. Результаты расчета представляют собой оценки ву (=1,3), выражающие уровень сформированности у-го компонента компетенции. Уровень сформированности /-й компетенции в, определяется по формуле (2) с учетом весовых коэффициентов для /-й компетенции осг (J = 1,3) , значения которых выбираются экспертами, исходя из требований заинтересованных лиц при обязательном выполнении требований ФГОС: 0. = а101 + а2в2 + а303. (2.5)
Когнитивный компонент представляет совокупность знаний, необходимых для формирования компетенции, а интегративно-деятельностный - комплекс умений и навыков, которыми должен владеть обучающийся в пределах данной компетенции. Определение этих компонентов в наиболее простом варианте может осуществляться в соответствии с выражением (2.2) как результативности освоения соответствующих компонентов компетенции. Компоненты 01 и 0J3 , рассчитанные таким образом, будут находиться в единичном интервале, который при необходимости можно расширить до любой балльной системы.
Личностный компонент 0j2 представляет собой совокупность личностных качеств обучающегося. Исследования в отношении компетенций, соответствующих направлению подготовки 09.03.03 «Прикладная информатика (в экономике)», определенных соответствующим ФГОС [83], позволили сформировать для каждой компетенции параметризованную компонентную модель направленного развития личности, устанавливающую соответствие компетенции личностным характеристикам обучающихся. Полный набор таких моделей представлен в табл. Б.2 приложения Б. Личностные характеристики с приемлемой точностью оцениваются посредством общепризнанных психологических тестов разных видов. Например, тест на внимательность, коммуникабельность, мотивацию, и др. [85]. Некоторые характеристики, такие как внимательность и самокритичность, могут быть оценены как тестами, так и экспертами. Совокупная оценка ва может быть определена как среднее арифметическое значение балльных оценок личностных характеристик и нормирована как в единичный, так и в любой другой отрезок.
Другой способ оценивания системных свойств компетенции, описанный в [69], - энтропийный подход - является менее субъективным и более универсальным и позволяет привести количественные оценки к соответствующему качественному аналогу. Предполагается, что если компетенция сформирована, то взаимосвязь между её элементами более тесная, элементы находятся в упорядоченном состоянии и следствием этого является низкое значение энтропии. Для определения сформированности компетенции используется формула информационной энтропии Клода Шеннона [119]: H = -p0 Inpo) - pl ІпpО, (2.6) где pQ и pх - вероятность (частота появления) оценок «0» и «1» внутри множества дихотомических оценок элементов ЗУН оцениваемой компетенции. Следующая формула выражает степень отклонения состояния компетенции от равновесия, введенную Шенноном величину упорядоченности R: R = \ H H max (2.7) где Нтак- максимальная энтропия, которая для системы из двух дихотомических оценок составит log22. В этом частном случае формула (2.7) преобразуется в следующий вид: R = \-H. (2.8)
Таким образом, можно выделить первичные оценки, полученные в результате проверки контрольных заданий (дихотомические и балльные оценки соответственно закрытых и открытых заданий) и вторичные, полученные в результате переработки первичных оценок. Вторичные оценки также подразделяются на промежуточные (балльные и дихотомические оценки ЗУН) и конечные – агрегатные оценки O, D, H и R, рассмотренные выше в этом разделе и дающие основание для определения уровня сформированности компетенций. Классификация данных оценок показана ни рис. 2.1.
Создание программного обеспечения автоматизированной информационной системы
Несмотря на многочисленные исследования, посвященные изучению связей личностных характеристик с качеством освоения программ высшего образования (см., напр., [24 – 27, 31 – 33, 35, 41, 42, 51, 93, 111 – 113]), четкого взаимодействия между ними как видами детерминант профессиональной пригодности не показано. Исследование [51] показывает преимущественное влияние свойств личности обучающегося на формирование его инновационного потенциала, что является достаточно весомым фактором при формировании многих компетенций. В исследованиях, выполненных в рамках системного, субъектно-деятельностного, динамического и личностного подходов к оцениванию компетентности молодых специалистов, показано, что особенности личности могут выступать как профессионально важные качества в любом виде деятельности. Наряду с этим, целый ряд личностных характеристик является специфическим и значимым для конкретных видов профессиональной деятельности. Данное обстоятельство находит выражение в системном представлении образовательных компетенций, как взаимосвязанной совокупности компонентов, в роли которых выступают, как элементарные результаты обучения (ЗУН), так и вновь проектируемые компоненты, выражающие характеристики личности обучающегося субъекта, в том числе его мотивы, ценности и жизненную позицию. В свою очередь, объективная оценка системных характеристик такой компетенции определяет уровень развития способностей индивида: познавательных, коммуникационных, аналитических, проектных, исследовательских и др.
По мнению многих авторов (Шадриков В.Д., Платонов К.К., Бодров В.А., Лукьянова М.И., Пряжников Н.С., Толочек В.А., Ильин Е.П., Борисова Е.М., Кудрявцев В.Т., и др.) определенный спектр личностных характеристик обучающихся оказывает значительное влияние на процесс обучения. Выявление профессионально-ориентированных структур личностных характеристик, связанных с интегративными профессионально важными качествами [16, 35, 50, 56, 70, 82, 92, 108] вносит вклад в развитие представлений о профессиональной пригодности и ее прогнозировании. При этом отмечается, что результативные параметры деятельности обучения определяются совокупностью личностных качеств (ЛК) обучающихся. Таким образом, постановка в фокус внимания отдельных личностных характеристик как качеств личности и моделирование их взаимодействия с элементами ЗУН в структуре компетенций обучающихся позволит более глубоко проследить проявления ЛК в указанном взаимодействии и уточнить концепцию измерения компетенций, исходя из их системных свойств. Концептуально ЛК определены и количественно измеряются с помощью строгих диагностических методов. Вместе с тем процесс оценивания компетенций, как системы разнородных компонентов, существенно затруднен из-за неполноты или недостатка информации о структуре, а также ее нечеткой определенности. Прежде всего, это касается взаимодействия качеств личности испытуемого с другими компонентами, идентификация и оценивание которого, в виду значительного количества компонентов и связей между ними и значительной доли субъективизма в определении этой структуры, представляет довольно трудоемкую задачу. В данном случае в качестве единственного доступного источника диагностической информации выступает авторитетное экспертное мнение и применение методов экспертных оценок, объективизирующих результат сформированности образовательных компетенций.
С точки зрения социального взаимодействия индивида под личностным качеством следует понимать закрепившееся и ставшее привычным отношение, которое определяет устойчивость поведения человека в любых изменяющихся условиях [97]. Соответственно, в рамках данного исследования нас будет интересовать содержательная характеристика ЛК, выражающаяся в субъективных отношениях личности к окружающему миру, обществу, другим людям и к самому себе и проявляющаяся в ее поведении и деятельности. В этом отношении их уместно классифицировать на интеллектуальные (когнитивные), эмоциональные (регулятивные) и коммуникативные качества. ЛК в их содержательном аспекте тесно соприкасаются с образовательными компетенциями. В частности, такие содержательные компоненты компетенций, как умения и навыки, являются основой для формирования соответствующих первичных личностных качеств, которые включают в себя совокупность действий и поступков и являются психологическими образованиями, возникающими как результат условно рефлекторной деятельности индивида [101]. В отношении исследуемого соприкосновения, как системообразующего фактора формирования компетенции, исследованием [24] показано, что ведущую роль во взаимодействии подобного рода между ЛК и профессионально-важными качествами специалистов выполняют так называемые доминантные ЛК. Соответственно, можно предположить, что в сформированной компетенции доминантные ЛК должны являться наиболее выраженными из всех ЛК, входящих в структуру компетенции, а также отличаться устойчивым характером связей с элементами ЗУН. При этом установлено, что характер связей доминантных ЛК с элементами ЗУН не искажается влиянием иных ЛК, входящих в структуру данной компетенции.
Вместе с тем, разнообразие образовательных компетенций, определяемое соответствующими им направлениями подготовки высшего образования, предполагает наличие различных детерминирующих ЛК. Число ЛК, зафиксированных человеческим опытом, чрезвычайно велико и исчисляется сотнями наименований, поэтому перечисление и описание варьируемых качеств нецелесообразно. Вариативность ЛК проявляется не только в их качественном многообразии и своеобразии, но и в количественной выраженности. Когда количественная выраженность той или иной ЛК достигает предельных величин и оказывается у крайней границы нормы, возникает так называемая акцентуация личности. Данный термин ввел в науку в 1968 году выдающийся немецкий психиатр Карл Леонгард [53]. Согласно его определению акцентуация личности – это крайние варианты нормы как результат усиления ее отдельных качеств, вследствие чего обнаруживается избирательная уязвимость в отношении одних психогенных воздействий при сохранении хорошей устойчивости к другим.