Содержание к диссертации
Введение
Глава 1. Проблемы и задачи автоматизированного определения уровня сформированности компетенций выпускников различных направлений 9
1.1 Современные тенденции в образовании. Компетентностный подход 9
1.2 Цели и задачи автоматизации уровня сформированности компетенций выпускников высших учебных заведений 16
1.3 Обзор существующих автоматизированных систем и моделей оценки знаний и успеваемости студентов
1.4 Обзор существующих автоматизированных систем управления высшим учебным заведением 38
1.5 Применение метода экспертного оценивания в автоматизированной системе оценки уровня сформированности компетенций 46
Выводы по главе 1 54
Глава 2. Разработка математической модели оценки уровня сформированности компетенций учащихся на протяжении всего обучения 56
2.1 Общее представление о формировании компетенций и профессиональных характеристик учащихся на протяжении всего обучения 56
2.2 Математическая модель оценки уровня сформированности компетенций 62
Выводы по главе 2 66
Глава 3. Разработка автоматизированной системы, методики и алгоритмов оценки уровня сформированности компетенций учащихся 67
3.1 Архитектура автоматизированной системы оценки уровня сформированности компетенций учащихся на протяжении всего обучения 67
3.2 Технические характеристики автоматизированной системы оценки уровня сформированности компетенций 70
3.3 Структура автоматизированной системы 71
3.4 Настройка автоматизированной системы определения уровня сформированности компетенций 78
3.5 Методика и алгоритмы оценки уровня сформированности компетенций учащихся 80 Выводы по главе 3 102
Глава 4. Расчет уровня сформированности различных компетенций учащихся, обучающихся по направлению «информационные системы и технологии 104
4.1 Описание направления обучения и компетенций, формирующихся при обучении на данном направлении 104
4.2 Расчет важности дисциплин и других видов учебной работы, участвующих в формировании компетенций 105
4.3 Расчет важности модулей дисциплин, участвующих в формировании компетенций 106
4.4 Расчет уровня сформиранности компетенций учащихся, обучающихся по направлению обучения «Информационные системы и технологии 115
Выводы по главе 4 120
Заключение 121
Список использованной литературы 122
- Обзор существующих автоматизированных систем и моделей оценки знаний и успеваемости студентов
- Математическая модель оценки уровня сформированности компетенций
- Технические характеристики автоматизированной системы оценки уровня сформированности компетенций
- Расчет важности дисциплин и других видов учебной работы, участвующих в формировании компетенций
Обзор существующих автоматизированных систем и моделей оценки знаний и успеваемости студентов
Основной целью подготовки выпускника при получении профессионального образования является формирование высокопрофессионального специалиста по определенному направлению подготовки, который будет конкурентоспособен на рынке труда, владеть своей профессией, и ориентирован в смежных областях, а также готов к постоянному самообразованию и совершенствованию своих навыков.
Экономические и социальные перемены в современном обществе выдвигают высокие требования к профессиональной квалификации специалистов. Приобрела остроту проблема оценивания профессиональных компетенций будущих специалистов в образовательных учреждениях высшего профессионального образования [53].
Работодателям нужна не квалификация, которая, по их представлению, связана с дроблением производственных функций на ряд задач и видов деятельности, а компетентность как соединение навыков, свойственных каждому индивиду, в котором сочетаются квалификация с социальным поведением, способностью работать в группе, инициативностью, умением принимать решения и отвечать за их последствия [32].
Если ориентироваться на современные требования, предъявляемые к выпускнику, которые складываются под влиянием сложившейся ситуации на рынке, то система обучения устарела. Образование, направленное только на получение знаний, всё больше теряет свою актуальность, поскольку на сегодняшний день в процессе получения образования у выпускника должны формироваться такие качества как инициативность, мобильность, гибкость, адаптируемость и конструктивность. Будущий специалист должен непрерывно стремиться к самообразованию и самосовершенствованию, постоянно овладевать современными технологиями и применять их на практике, уметь самостоятельно решать, поставленные цели, адаптироваться к условиям социальной и профессиональной сферы, уметь работать в команде, легко выходить из стрессовых ситуаций и быть готовым к ним. Формирование социально активного и профессионально подготовленного специалиста требует от педагогов высших учебных заведений применения и разработки новых методов, методик, форм работы и приемов, как в обучении, так и в оценивании полученных учащимися знаний. Чтобы сформировать компетентного выпускника во всех важных аспектах профессионального образования и жизнедеятельности, необходимо применять современные методы обучения, технологии, развивающие, прежде всего, познавательную, личностную и коммуникативную активность.
На сегодняшний день, все высшие учебные заведение в соответствии с принятием Болонского соглашения перешли на двухуровневую систему образования: бакалавр – магистр.
Бакалавр - первый уровень академического высшего профессионального образования, целью которого является подготовка хорошего исполнителя в различных профессиональных областях: техника, менеджмент, экономика, организация, технология и т.д. (в зависимости от направления подготовки). Таким образом, бакалавр должен выполнять свои основные функции на высоком уровне, при этом список его функций ограничен определенной профессией.
Магистр - второй уровень академического высшего профессионального образования. Целью этого уровня уже является подготовка среднего, высшего звена топ – менеджмента (главные специалисты и руководители). То есть, на данном этапе формируют у выпускника навыки, связанные с управлением, умение принимать решения, руководить командой и знать на высоком уровне свои профессиональные функции, привносить что-то новое, определять новые векторы развития.
Подход, в центре которого находится – учащийся или, так называемый подход на основе результатов - это модель планирования и реализации образовательных и учебных программ, которая нацелена на то, что, как планируется, смогут делать и какие задачи решать учащиеся в конце дисциплины (модуля) или программы в целом, на полученные ими знания, умения и навыки и возможность их применения в профессиональной деятельности.
Компетентность - это, прежде всего, общая способность и готовность личности к деятельности, основанной на полученных знаниях и приобретенном опыте, которые сформировались благодаря обучению, также ориентация на самостоятельное участие личности в учебно-познавательном процессе. Компетенция - это способность работы в определенной профессиональной области.
Компетенции и результаты образования являются основными целями, реализуемыми ФГОС ВПО. Сама компетентностная модель выпускника, с одной отражает его квалификацию, связывающую будущую деятельность с объектами и предметами труда, с другой стороны, междисциплинарные требования к результату образования.
Согласно учебно – методическим разработкам высшей школы, компетенции подразделяются на две группы: общекультурные (универсальные) и профессиональные (предметно-специфические, предметно специализированные). Первые - общекультурные (ОК) - являются переносимыми и менее жестко привязанными к объекту и предмету труда. Вторые - профессиональные (ПК) -отражают профессиональную квалификацию. Они различаются для разных направлений подготовки (специальностей) [32].
Математическая модель оценки уровня сформированности компетенций
Подготовка будущего специалиста по каждому направлению и профилю обучения происходит в соответствии с основной образовательной программой (ООП). В каждой ООП прописывается «Матрица компетенций», устанавливающая соответствие компетенций и других видов учебной деятельности.
На примере «Матрицы компетенций» (см. приложение 2) можно увидеть каким образом она работает. Как видно из таблицы, каждую компетенцию формирует не одна, а сразу несколько дисциплин и других разделов ООП, изучаемых студентом, такие как: практика, ВКР и т.д. Дисциплина разбивается на модули, и различные ее модули могут формировать различные компетенции. Экзамен, учебная, преддипломная практика, ГОС экзамен, защита ВКР также формируют ряд компетенций, вес которых определяется экспертной группой, как и весовой коэффициент модулей различных дисциплин. Таким образом, оценка уровня сформированности компетенций вычисляется не только по итогу защиты ВКР, а на протяжении всего обучения в соответствии с ООП. Метод экспертных оценок позволяет определить вес каждого модуля, дисциплины и т.д., участвующего в формировании компетенции.
Из вышесказанного можно сформулировать определение компетенции. Компетенция это - интегральная характеристика обучающегося, т.е. совокупность умений, знаний, навыков, профессиональных, а также личностных характеристик студента, которые формируются у студента на протяжении всего периода обучения в ВУЗе. Именно поэтому необходимо оценивать уровень сформированности компетенций учащегося на протяжении всего обучения, а не с помощью одного или нескольких заданий по окончанию учебы. Даже у учащегося, не окончившего университет, может быть определен набор компетенций, которыми он обладает.
При таком подходе процесс обучения по одной конкретной дисциплины можно разделить на следующие блоки, которые участвуют в формировании ЗУН (знаний, умений, навыков) (см. рис. 2.1). Из каждого блока компилируются оценки по каждому модулю, на который разделена дисциплина. Знания, умения и навыки, которыми обладает учащийся, является основным критерием формирования компетенций, из которых складывается профессиональный портрет выпускника. Любое направления обучения, например: информационные системы и технологии достаточно обширная отрасль, в состав которой входит большое количество различных специалистов, обладающих различными профессиональными характеристиками. Так что, обучение специалистов этой сферы требует высокого уровня, как подготовки, так и оценки успеваемости.
Таким образом, дисциплину можно представить как ряд блоков, схема которых представлена на рис. 3.1.
В методическом блоке прописывается рабочая программа по дисциплине, в которой указывается темы лекционных и практических занятий, а также разбиение дисциплины на модули и соотнесение формирования каждым модулем определенной компетенции, которые формируются в течение изучения одной конкретной дисциплины. Причем при формировании этих данных необходимо привлекать работодателей, заинтересованных в кадрах определенного профиля обучения.
В учебном блоке основные усилия направлены на формирование знаний. Также для закрепления полученных теоретических знаний студентов в учебный блок необходимо включать различные задачи, требующие стандартных и нестандартных подходов к их решению. Выполнение таких задач формирует у учащегося умения, которые базируются на изученном материале. Тренировочные упражнения и задания позволяют закреплять полученные знания и оттачивать приобретенные умения, до того как наступит итоговая оценка полученных знаний по дисциплине.
Следующим блоком, направленным на формирование навыков, на основе приобретенных умений и знаний, является моделирующий блок, который предполагает решение лабораторных работ по проектированию, разработке, созданию и т.д.
Исследовательский блок предполагает решение новых задач, исследования новых тем. Этот блок направлен на формирование опыта самостоятельной профессиональной деятельности, причем преподаватель может указывать ресурсы и источники, в которых учащийся может почерпнуть знания. Каждый модуль дисциплины должен содержать в себе какую – то часть каждого блока или каких-то нескольких, в зависимости от того за что модуль отвечает и в формировании какой компетенции участвует.
Таким образом, в результате изучения дисциплины у учащегося формируется определенный уровень сформированности различных профессиональных компетенций, который можно оценить различными методами. В формировании методов оценивания необходимо принимать участие работодателю. После того как сформулировано понятие компетенции и какие характеристики оно включает, необходимо определить этапы оценивания.
Рассмотрим подход к оценке успеваемости студентов, уходя от стандартных моделей, в которых учащийся изучал дисциплины и получал оценки, переходя к модели в которой его профессиональный уровень представляет совокупность компетенций, для определения его будущей профессиональной направленности.
Технические характеристики автоматизированной системы оценки уровня сформированности компетенций
После того как описана структура автоматизированной системы, необходимо описать методику и алгоритмы оценки уровня сформированности компетенций.
Для начала определим, как получить итоговую и промежуточные оценки по уровню сформированности каждой компетенции и как интерпретировать эти значения в качественные характеристики. Необходимо установить шкалу оценивания с указанием количественных баллов и их качественных характеристик, как представлено в таблице 3.1.
Перед тем как автоматизированная система начнет свою работу в неё уже необходимо предварительно занести все необходимые данные, такие как: информация об учащихся, учебные планы и т.д. В учебном плане (ООП) уже заранее прописано, какая дисциплина формирует, какую компетенцию и сколько дисциплин формируют одну компетенцию. Эта информация необходима системе, чтобы корректно выводить значения. Рассмотрим поэтапно, как мы получаем оценку по уровню сформированности компетенции на протяжении всего обучения.
Перед тем как автоматизированная система начнет свою работу в неё уже необходимо предварительно занести все необходимые данные, такие как: информация о студентах, учебные планы и т.д. В учебном плане (ООП) уже заранее прописано, какая дисциплина, какую компетенцию формирует, и сколько дисциплин формируют одну компетенцию. Эта информация необходима системе, чтобы корректно выводить значения. Рассмотрим поэтапно, как мы получаем оценку по уровню сформированности компетенции на протяжении всего обучения. Этап 1. Формирование оценки по компетенции с учетом одной дисциплины и всех её модулей, участвующих в формировании этой компетенции. Каждая дисциплина состоит из нескольких модулей, которые в свою очередь формируют у учащегося определенный набор ЗУН. Оценка по дисциплине является накопительной, т.е. накапливается с учетом каждого проведенного контроля по модулю.
Рассмотрим метод, на основе которого производится оценивание по модулям, и соответственно опишем методику расчета оценки уровня сформированности компетенции с учетом одной дисциплины. Каждая дисциплина состоит из определенных модулей, в данном случае для оценивания уровня сформированности компетенций деление на модули зависит от видов контроля по конкретной дисциплине: лекционные занятия (посещаемость, аудиторная активность), лабораторные или практические занятия и работы, самостоятельная работа (контрольные, рефераты, выступления с докладами и т.д.), курсовая работа и т.д. Также могут включаться и другие модули в дисциплину по усмотрению кафедры, необходимые для оценивания уровня сформированности тех или иных компетенций. Причем баллы за дополнительно включенные модули в дисциплину могут не учитываться при выставлении итоговой оценки по дисциплине, а лишь участвовать в расчете общего балла по уровням сформированности компетенций. Данное деление наиболее приемлемо для направления обучения «Информационные системы и технологии». В зависимости от направления и профиля обучения деление на модули может быть другим, например по тематикам, т.е.: Модуль 1 - Тема, …, Модуль п - Тема п, а внутри этих тематик уже различные, используемые виды контроля знаний. Определяют, по какому принципу производить деление на модули преподаватели и педагоги. Эти данные в виде таблицы также заносятся в ООП и рабочий - учебный план дисциплины кафедрой (его составителями). Таким образом, в зависимости от компетенции, в формировании которой участвует дисциплина, модули могут быть не равнозначны, в каком - то случае может быть важнее практическая составляющая, в каком - то теоретическая, а где - то, например, посещаемость никак не влияет на формирование какой -либо компетенции. Для этого необходимо с помощью экспертного оценивания определить весовые коэффициенты каждого модуля для каждой дисциплине, участвующего в формировании определенных компетенций. И такой расчет необходимо произвести для каждой компетенции ООП. Прежде чем рассчитывать весовые коэффициенты, необходимо определить коэффициенты авторитета (компетентности) экспертов (если их необходимо учитывать, при расчете). Значения коэффициентов компетентности Кэ экспертов вычисляется на основе методики, описанной в первой главе, и их значения лежат в пределах от 0 до 1. (Кэ 0,8-высокая компетентность, Кэ 0,4- низкая компетентность, невозможность участия в экспертизе). Далее коэффициент авторитета, с учетом нормирования рассчитывается по следующей формуле:
Расчет важности дисциплин и других видов учебной работы, участвующих в формировании компетенций
Для апробации работы автоматизированной системы и методики оценки уровня сформированности компетенций, а также методики оценивания используются данные по направлению подготовки «Информационные системы и технологии». Необходима следующая информация: «Матрица компетенций», в которой прописано, какие дисциплины, какие компетенции формируют, также описание самих компетенций и рабочих программ по всем дисциплинам и другим видам учебной деятельности, участвующих в формировании компетенции. Нужно определить состав экспертной группы (по методике, описанной в 1 главе), которая будет проводить экспертное оценивание. Для вычисления итоговых значений нужны данные по баллам всех модулей всех дисциплин и других видов учебной деятельности некоторой группы учащихся.
В приложении 1 представлены компетенции, формируемые у учащихся в процессе и по итогу обучения, описана их содержательная часть (сама профессиональная характеристика). Компетенции и их условные обозначения, которые в дальнейшем будут использоваться в работе, взяты из соответствующего учебного плана.
Расчет важности дисциплин и других видов учебной работы, участвующих в формировании компетенций В приложении 2 в виде таблицы представлена «Матрица компетенций», в которой видно, какие дисциплины и другие виды учебной деятельности, какие компетенции формируют. Матрица формируется преподавателем или преподавателями кафедры, ведущих дисциплины по данному направлению обучения.
Далее эксперты (состав которых заранее определен, в данном случае их восемь), которые являются специалистами в данной области (часть из них из образовательных учреждений, другие являются работодателями, заинтересованными в выпускниках рассматриваемого направления обучения), присваивают коэффициенты принадлежности дисциплинам в соответствии с компетенциями, которыми они формируют. В приложениях 2-9 представлены все значения коэффициентов МІ , присвоенных восьмью экспертами. В соответствии с формулой 3.6 производится расчет значений МІ , с учетом мнения всех экспертов. Данные по коэффициентам представлены в приложении 10. Затем рассчитывается коэффициенты важности дисциплин по формуле 3.21 (данные представлены в приложении 3). Таким образом, на основе алгоритма получения коэффициента принадлежности, представленного на рис. 3.6 были получены значения показателей для направления обучения «Информационные системы и технологии».
Следующим этапом (при апробации было удобнее рассчитать сначала коэффициенты важности по дисциплины, затем по модулям) является оценка важности модулей дисциплины, участвующих в формировании той или компетенций на основе алгоритма, представленного на рис. 3.5.
Пример полного расчета приведен для одной компетенции (из профессионального цикла - ПК 1). Для остальных компетенций представлены уже итоговые значения весовых коэффициентов модулей, необходимые для дальнейшего расчета. Все расчеты произведены по одному и тому же алгоритму.
В соответствии с учебным планом и методами оценки знаний кафедрой было решено ввести следующие модули дисциплин, которые как в полном объеме могут присутствовать внутри одной дисциплины, так и в ограниченном, т.е. лишь часть модулей из ниже перечисленных (см. таблица 4.1). М8 Написание и подготовка пояснительной записки (теоретический анализ, проектно – конструкторская часть, описание алгоритмов, блок – схем и т.д.) М9 Результат дипломного проектирования – готовый программный продукт ( сложность реализации, новизна, практическая ценность) М10 Подготовка презентации и выступление на защите Все модули, описанные выше, были утверждены преподавателями кафедры. В соответствии с определенным профилем и направлением обучения они могут быть другими и формироваться кафедрой в соответствии с проведением оценки уровня сформированности компетенций и задач, которые необходимо решить. Данное разделение не является объектом исследования и выполняется специалистами, соответствующей области.
Далее выполнялось ранжирование модулей каждой дисциплины для определения степени важности в формировании компетенций, в которой принимает участие дисциплина. В таблицах 4.3, 4.4, 4.5, 4.6 и 4.7 представлены результаты проведенного экспертного опроса для ПК - 1 для каждой дисциплины, кроме того в таблицу вошли рассчитанные значения суммы рангов Sj и коэффициенты значимости к. и kJo Условные обозначения дисциплин используются из приложения 1. Сначала для всех 5 модулей на основе данных, внесенных экспертами рассчитываются значения kj, по формуле 3.7. Из 5 модулей, выбраны 3 наиболее _ 1 важные, для которых к] ккг, где ккг - - и, 2. Данному условию соответствуют следующие модули: М2, М3, М4. Далее, для этих модулей рассчитываются коэффициенты важности kJo по формуле 3.8.. о наличии высокой степени согласованности мнений экспертов. Оценивается значимость коэффициента конкордации с помощью критерия Пирсона. Для числа степеней свободы /= п-1 = 5-1 = 4 и при заданном уровне значимости значение следовательно Хр Xtau говорит о том, что полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях и W = 0.9 - величина не случайная. По тому же принципу рассчитывались все необходимые коэффициенты для других дисциплин.