Содержание к диссертации
Введение
ГЛАВА 1. Анализ проблемы управления процессом электронного обучения 11
1.1. Анализ педагогических подходов к управлению автоматизированным обучением 11
1.2. Обзор подходов к формализации и количественному описанию зоны ближайшего развития обучающегося 15
1.3. Вопросы реализуемости обучения в зоне ближайшего развития применительно к электронной среде 19
1.4. Методы количественной оценки и измерения уровня подготовленности 21
1.5. Обзор систем электронного обучения и их модельного обеспечения 29
1.6. Постановка задач исследования и требования к решению 39
ГЛАВА 2. Построение формализованных моделей адаптивной системы электронного обучения 41
2.1. Формализация зоны ближайшего развития с учетом цели обучения 41
2.2. Формализация уровня подготовленности в терминах теории измерения латентных переменных 46
2.3. Включение в состав математических моделей Г. Раша переменных немонотонного характера 55
2.4. Модели учебного контента и обучающегося 70
Выводы 77
ГЛАВА 3. Разработка метода адаптивного управления образовательной траекторией 79
3.1. Общий алгоритм функционирования адаптивной системы электронного обучения на базе кибернетической педагогики 79
3.2. Разработка совокупности методов, предназначенных для настройки параметров процесса управления траекторией обучения 82
3.3. Метод управления образовательной траекторией на основе многокритериального подхода 90 Выводы 96
ГЛАВА 4. Экспериментальное исследование разработанных моделей и методов с использованием прототипа системы электронного обучения 98
4.1. Проектирование и реализация адаптивной системы электронного обучения, поддерживающей принцип развивающего обучения 98
4.2. Анализ результатов экспериментальных исследований, проведенных с прототипом системы обучения 107
4.3. Оценка повышения уровня индивидуализации процесса электронного обучения 114
Выводы 118
Заключение 120
Список литературы 122
- Вопросы реализуемости обучения в зоне ближайшего развития применительно к электронной среде
- Формализация уровня подготовленности в терминах теории измерения латентных переменных
- Разработка совокупности методов, предназначенных для настройки параметров процесса управления траекторией обучения
- Анализ результатов экспериментальных исследований, проведенных с прототипом системы обучения
Введение к работе
Актуальность темы. Современная система образования развивается в
соответствии с парадигмой непрерывного образования, или «образования через всю
жизнь». В связи с необходимостью реализации инновационного подхода к
управлению образовательным процессом возрастает важность построения
иерархических автоматизированных систем управления учебным процессом образовательных учреждений, нижний (базовый) уровень которых составляют системы электронного обучения (СЭО) конкретных предметных областей.
СЭО активно используются при освоении образовательных программ,
реализующих ФГОС ВО, переподготовке кадров, реализации программ повышения
квалификации и в процессе неформального образования. При этом вектор развития
СЭО направлен на необходимость повышения уровня индивидуализации обучения с
учетом ряда критериев (время обучения, уровень учебных достижений и др.). Одним
из факторов, определяющих уровень индивидуализации, является алгоритм обучения,
по которому формируется последовательность предъявления обучающей и
контрольно-измерительной информации, составляющая индивидуальную
образовательную траекторию (траекторию обучения). Исследователи
(П.Л. Брусиловский, И.Х. Галеев, И.П. Норенков, Н.К. Нуриев, С.Д. Старыгина, С.В. Тархов) отмечают важность разработки методологии управления процессом электронного обучения на базе адаптивного конструирования фрагментов траектории обучения. Однако при выработке управляющих воздействий слабо учитывается взаимосвязь процесса обучения с принципами естественного развития индивида, разрабатываемыми в рамках педагогической психологии. Вместе с тем, решение задач, связанных с управлением образовательными траекториями, требует обеспечения высокой способности СЭО адаптироваться к индивидуальным особенностям обучающихся. Таким образом, в настоящее время имеет место противоречие, состоящее в том что, с одной стороны существует объективная необходимость повышения уровня индивидуализации процесса электронного обучения, с другой стороны современные системы электронного обучения не учитывают многих метрик взаимодействия обучающихся с учебным контентом, вследствие этого обладают ограниченными возможностями.
Одним из путей преодоления вышеприведенного противоречия в современных условиях является разработка научно-обоснованных методов и информационно-аналитических средств управления траекторией обучения для использования в учебном процессе с применением СЭО.
В качестве теоретико-методологического основания исследования использованы
работы отечественных и зарубежных ученых, посвященные: адаптивному
электронному обучению и модельному обеспечению СЭО (П.Л. Брусиловский,
И.Х. Галеев, А.П. Карпенко, И.П. Норенков, Н.К. Нуриев, С.Д. Старыгина,
С.В. Тархов, Z. Nichols, K. Wilson, и др.), теории управления образовательными
системами (Д.А. Новиков), адаптации в сложных системах (Л.А. Растригин),
кибернетической педагогике (Р.В. Майер, К.А. Метешкин, и др.), компьютерной
дидактике (Н.Х. Розов), теории измерения латентных переменных (В.С. Аванесов,
А.А. Маслак, D. Andrich, G. Rasch и др.), развивающему обучению и обучению в зоне
ближайшего развития (Л.С. Выготский, Д.Б. Эльконин, В.В. Давыдов,
Г.А. Цукерман). Вместе с тем, методы и средства адаптации и индивидуализации процесса электронного обучения с учетом персональных особенностей обучающихся рассматривались частично.
Объектом исследования является процесс управления электронным обучением.
Предметом исследования являются модели, методы и средства управления образовательной траекторией в системах электронного обучения. Под образовательной траекторией, или траекторией обучения, понимается последовательность предъявления объектов учебного контента, включая обучающие и контрольно-измерительные материалы.
Цель диссертационной работы состоит в повышении уровня индивидуализации процесса электронного обучения. Под индивидуализацией обучения понимается такая организация учебного процесса, при котором выбор траектории и темпа обучения обусловливается индивидуальными особенностями учащихся, в частности уровнем подготовленности и социотипом.
В соответствии с целью научной задачей диссертационной работы является разработка методических и прикладных решений по управлению адаптивным формированием образовательной траектории в системах электронного обучения.
Для достижения поставленной цели решены следующие частные задачи.
-
Анализ проблем управления процессом электронного обучения.
-
Разработка средств управления образовательной траекторией, а именно:
формального описания параметров развивающего обучения;
математических моделей для системы электронного обучения;
структурно-функциональной организации системы электронного обучения.
-
Разработка метода управления индивидуальной траекторией обучения, производящего адаптивное формирование, предъявление блока материалов и контроль их усвоения на очередном шаге обучения.
-
Проведение экспериментальных исследований, подтверждающих гипотезы, выдвинутые при проектировании системы, и адекватность разработанных методов.
Методы исследования основываются на положениях теории измерения латентных переменных, теории нечетких множеств, теории управления, методах математической статистики и положениях педагогической психологии.
Научная новизна работы и положения, выносимые на защиту:
-
Математическая модель конструкта «зона ближайшего развития», основанная на объективной градуировке учебных материалов по уровню трудности. Данная модель позволяет количественно определить ширину зоны ближайшего развития в зависимости от уровня подготовленности обучающегося.
-
Модель измерения уровня текущих учебных достижений на основе методологии Г. Раша, отличающаяся, во-первых, расширенным набором наблюдаемых индикаторов учебной деятельности, в который наряду с результатами выполнения тестовых заданий включены метрики взаимодействия обучающихся с учебным контентом, во-вторых, способом обработки метрик немонотонного характера, что позволяет использовать их для измерения уровня подготовленности наряду с монотонными метриками.
-
Метод управления индивидуальной траекторией обучения, основанный на идеях кибернетического подхода к обучению Л.А. Растригина, отличающийся тем, что позволяет производить адаптивное формирование блока объектов учебного контента на каждом шаге обучения, учитывая уровень подготовленности обучающегося, его потенциальные возможности, определяемые зоной ближайшего развития, и социотип. Разработанный метод управления позволяет расширить число возможных траекторий обучения за счет гибкой логики переходов на очередной шаг обучения. При этом
переходы организуются, опираясь на индивидуальную зону ближайшего развития обучающегося, а не на субъективное пороговое значение уровня усвоения учебного материала.
4. Структурно-функциональная организация системы электронного обучения,
особенностью которой является модуль принятия решений по ветвлению траектории обучения, использующий информацию об индивидуальной зоне ближайшего развития обучающегося и предлагающий множественный выбор текущего элемента контента.
Практическая ценность работы заключается в дальнейшем развитии технологий адаптивного электронного обучения, а именно методов и алгоритмов управления индивидуальными траекториями обучения. Предложенное модельное обеспечение адаптивной системы электронного обучения предусматривает открытую архитектуру, позволяющую модифицировать систему, например, в русле компетентностно-ориентированного подхода. Разработанный метод и средства управления образовательной траекторией позволяют увеличить количество различных индивидуальных траекторий минимум в 2,7 раза.
Соответствие паспорту специальности. Согласно паспорту специальности 05.13.10 – Управление в социальных и экономических системах, содержание диссертации соответствует п. 4. «Разработка методов и алгоритмов решения задач управления и принятия решений в социальных и экономических системах» в части создания метода управления индивидуальной траекторией обучения; п. 6. «Разработка и совершенствование методов получения и обработки информации для задач управления социальными и экономическими системами» в части способа обработки набора наблюдаемых индикаторов учебной деятельности.
Личный вклад автора. В работах, выполненных в соавторстве и перечисленных в конце автореферата, лично автором разработано объектно-ориентированное представление интерактивной динамической модели обучения [1], кибернетическое описание системы электронного обучения [2], метод определения уровня текущих учебных достижений [3], структурно-функциональная модель системы электронного обучения [5], описание интегрального показателя «уровень учебных достижений» [3, 6], метод распределения элементов учебного курса [16, 17, 18], а также структура банка материалов для целей индивидуализированного обучения [19, 20].
Степень достоверности и апробация результатов работы. Достоверность и
обоснованность результатов исследования подтверждается объективностью
используемого измерительного инструмента – модели Г. Раша; корректным
использованием теории нечетких множеств; экспериментальными исследованиями
разработанных методов, согласованностью теоретических и эмпирических
результатов; рецензированием печатных работ и их обсуждением на научно-технических конференциях разного уровня.
Основные положения и результаты диссертационной работы докладывались,
обсуждались и получили положительную оценку на следующих конференциях и
конкурсах: Всероссийском конкурсе научно-исследовательских работ студентов и
аспирантов в области информатики и информационных технологий, Белгород, 2012;
XIII национальной конференции по искусственному интеллекту с международным
участием (КИИ-2012), Белгород, 2012; I Региональной научно-технической
конференции «Информационные системы и технологии» (ИСТ-2012), Курск, 2012; II
Всероссийской науч. Интернет-конференции с международным участием
«Современные системы искусственного интеллекта и их приложения в науке», Казань, 2014; XX Всероссийской (с международным участием) научно-практической конференции «Теория и практика измерения и мониторинга компетенций и других латентных переменных в образовании», Славянск-на-Кубани, 2013; XXII Всероссийской (с международным участием) научно-практической конференции «Теория и практика измерения и мониторинга компетенций и других латентных переменных в образовании», Славянск-на-Кубани, 2014.
Научно-обоснованные результаты, полученные в ходе диссертационных исследований, использованы при выполнении ряда научно-исследовательских и хоздоговорных работ:
-
Грант №4-ИГ от 17.08.2011 г. по направлениям «Реализация иных мероприятий субъектов Российской Федерации по поддержке и развитию малого предпринимательства» и «Поддержка начинающих малых инновационных компаний: - гранты на создание инновационной компании», тема «Программное обеспечение интерактивной динамической модели обучения информатике для неспециалистов».
-
НИР (по договору №1 от 31.08.2011 г.) с ЧОУ «Европейская школа корреспондентского обучения», тема «Мультимедийное интерактивное учебное пособие (курс) «Пользователь ПК по европейским стандартам (ECDL)».
-
Грант по Программе стратегического развития БГТУ им. В.Г. Шухова на 2012-2016 годы (номер регистрации НИР № Б-28/12 от 10.04.2012 г.), тема «Инновационный комплекс программно-аппаратных средств автоматизированного управления траекторией обучения».
-
Проект 14.577.21.0135 федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на тему «Разработка методов и алгоритмов, обеспечивающих количественную оценку метапредметных и метакогнитивных навыков и умений на основе применения методов искусственного интеллекта при анализе данных о поведении обучаемых».
Использование и внедрение результатов исследований. Результаты диссертационных исследований внедрены в системе дистанционного обучения БГТУ им. В.Г. Шухова и использовались при разработке электронного мультимедийного учебного пособия для Европейской школы корреспондентского обучения, о чем имеются акты. Отдельные теоретические положения диссертации используются автором при проведении лекционных и практических занятий по дисциплине «Отраслевые информационные системы» на кафедре информационных технологий в БГТУ им. В.Г. Шухова.
Публикации. По теме диссертации опубликовано 16 работ, в том числе 3 статьи в изданиях, рекомендуемых ВАК при Минобрнауки России, кроме того получено 2 свидетельства о государственной регистрации программ для ЭВМ и 3 свидетельства о государственной регистрации баз данных.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений с документами о внедрении и практическом использовании результатов диссертационных исследований, копиями свидетельств о государственной регистрации программ для ЭВМ и баз данных, фрагментами листинга программного кода. Основной текст работы содержит 137 страниц машинописного текста, 43 рисунка, 27 таблиц. Список литературы включает 132 наименования.
Вопросы реализуемости обучения в зоне ближайшего развития применительно к электронной среде
Теория о зонах ближайшего развития сформулирована в 30-х гг. XX века советским ученым в области педагогической психологии Л.С. Выготским. Термин «зона ближайшего развития» (ЗБР) является психолого-педагогическим конструктом, который определяет «область не созревших, но созревающих процессов» [17]. Другими словами, «зона ближайшего развития - это расстояние между уровнем актуального развития, определяемым с помощью задач, решаемых самостоятельно, и уровнем возможного развития, определяемым с помощью задач, решаемых под руководством…» [18].
Проблема изучения зоны ближайшего развития актуальна среди отечественных и зарубежных исследователей [8-10, 19-23]. Наибольший интерес представляют практические вопросы, связанные с выявлением и количественным оцениванием зоны ближайшего развития.
Метод диагностики ЗБР, предложенный самим Л.С. Выготским, состоит в предъявлении обучающемуся некоторой последовательности достаточно сложных для него проблемных задач. Этапы решения, выполняемые самостоятельно, соответствуют зоне актуального развития. При возникновении затруднений оказывается минимальная помощь, если ее не достаточно, даются дополнительные подсказки. Выготский отмечал, что важно довести решение предъявленных задач до конца. Объем помощи и ее характер выявляют способности обучающегося, находящиеся в зоне ближайшего развития [24].
В 60–80-х гг. XX века в ходе клинических исследований было установлено, что ширина зоны ближайшего развития прямо пропорциональна обучаемости. В контексте этих исследований был разработан ряд методик, направленных на изучение обучаемости детей. Среди авторов диагностических методик по обучаемости: Т.В. Розанова, А.Я. Иванова, Н.И. Гуткина, Алан С. Кауфман и Надин Л. Кауфман. В конце 70-х гг. А.Я. Ивановой была разработана исследовательская методика оценки зоны ближайшего развития, адаптированная для детей 7-9 лет. В соответствии с этой обучающей методикой, перед детьми ставились задачи классификации геометрических фигур и составления узоров из кубиков Коса. Для установления зоны ближайшего развития автором введены следующие критерии: восприимчивость к помощи экспериментатора, способность к логическому переносу усвоенных принципов на другие задачи, ориентировочная деятельность [11]. В методике Ивановой особое внимание отведено количеству и качеству подсказок со стороны взрослого при реализации стратегии обучения, что сближает идеи исследователя с постулатами теории Выготского. Методика ориентирована на качественный анализ полученных результатов.
Из более поздних исследований интерес представляет прием динамического оценивания D. Tzuriel s, позволяющий измерять зону ближайшего развития. Идея динамического теста состоит в следующем. Наряду с диагностикой актуальной зоны развития ребенка необходимо создавать ситуации, в которых взрослый оказывает обучающее воздействие с использованием некоторых видов помощи либо позволяет ребенку экспериментировать с материалом, вызывающим трудности. При этом способность ребенка работать с заведомо трудным материалом находится в зоне ближайшего развития. Предполагается, что после моделирования описанных ситуаций испытуемый обретает искомую способность. Метод динамического оценивания реализуется за четыре фазы [25]: 1. ориентировочная фаза, когда экспериментатор выясняет, ясна ли испытуемому постановка задачи; 2. фаза диагностики актуального уровня развития, т.е. определение способностей испытуемого в ходе самостоятельной деятельности; 3. фаза обучающего воздействия, когда экспериментатор предлагает испытуемому различные виды помощи: подсказки, разбор типовых ошибок и заблуждений, демонстрация стратегий решения задачи и т.п.; 4. пост-тест, в ходе которого оценивается успешность обучающего воздействия.
Данный метод адаптирован под оценивание уровня развития общих математических способностей у детей раннего школьного возраста. В качестве стимульного (экспериментального) материала используется куб с отверстиями разной глубины на одной из плоскостей, палочки разной длины и палочка с мерными делениями. Задача испытуемых - расставить палочки по некоторой закономерности. Динамический тест имеет несколько вариаций, отличающихся экспериментальным материалом и, соответственно, направленных на изучение сформированности различных мыслительных операций (умение выделять закономерности, умение работать по образцу и др.). Результатом является количественный балл, рассчитываемый исходя из успешности действий испытуемого, объема и видов оказанной ему помощи. Таким образом, метод измерения зоны ближайшего развития по D. Tzuriel s стоит интерпретировать как метод количественного оценивания способностей, находящихся в зоне ближайшего развития испытуемого.
Обзорно рассмотренные методы и приемы можно охарактеризовать следующим образом: - ориентированы на испытуемых в возрасте от 3-х до 18 лет; - позволяют выявить способности, находящиеся в зоне актуального развития или зоне ближайшего развития; - позволяют определить, что одни испытуемые имеют более широкую зону ближайшего развития за счет более высокой обучаемости относительно других; - не предоставляют формализованных моделей, обеспечивающих измерение непосредственно характеристик зоны ближайшего развития.
Авторы рассмотренных подходов являются специалистами в области психологии. Анализ их трудов позволяет изучить психологический аспект содержания ЗБР и выявить основания для построения строгих математических моделей психолого-педагогического конструкта «зона ближайшего развития».
Встречаются примеры, когда исследователи используют основные положения теории о зонах ближайшего развития при проектировании и разработке электронных обучающих систем. В зарубежной работе [26] учебная деятельность строится в соответствии с технологией обучения «скаффолдинг» (от англ. scaffolding - строительные леса). Термин «скаффолдинг», предложенный американскими психологами и педагогами J. Bruner, D. Wood и G. Ross [27], в дословном переводе имеет метафоричное значение, а в контексте педагогической психологии описывает процесс обучения в зоне ближайшего развития, о которой говорил Л.С. Выготский. Авторы статьи [26] указывают на необходимость достоверно оценивать уровень априорных знаний обучающихся на каждом шаге обучения. Эта количественная оценка используется для выбора пути в графе, описывающем концепты предметной области. Если уровень знаний не достиг величины экспериментально установленного порога, подается вспомогательное корректирующее воздействие для более глубокого понимания изучаемых концептов, иначе предъявляется новая порция информации. Данный подход не предлагает варианты формализации зоны ближайшего развития.
Формализация уровня подготовленности в терминах теории измерения латентных переменных
Зависимость (2.14) свидетельствует о строго монотонном характере индикаторных переменных, описывающих результаты выполнения заданий, предъявляемых в ходе тестового контроля знаний. В свою очередь, направление влияния индикаторов у2і... у2і, учитывающих поведенческие факторы, не так очевидно. Психолого-педагогическое обоснование и анализ статистических данных, накопленных в ходе мониторинга, позволяют сделать вывод о немонотонном и нестрого монотонном характере ряда индикаторов из набора поведенческих факторов. Например, ситуация «обучающий очень быстро ответил на тестовые задания», или наоборот, «обучающийся затратил максимальное время на прохождение тестового контроля», не свидетельствует в пользу высокого уровня подготовленности. Тогда всю совокупность поведенческих факторов у21... у21 можно разбить на два блока: у2і... У2к и у2,ь+і- У21 , где h - количество строго монотонных индикаторов из общего числа / поведенческих факторов [84].
Измеряемые индикаторы уи... у и, могут быть как дихотомическими, так и политомическими, поскольку для тестовых заданий возможны как правильные и неправильные варианты ответа (число градаций индикатора т = 2), так и частично правильные (число градаций индикатора т 2). В свою очередь, поведенческие факторы у21... у21 носят политомический характер. В качестве модели измерения интегрального показателя /3 на каждом шаге обучения вводится математическая модель семейства IRT - вероятностная модель Г. Раша для политомических данных [40], которой описываются результаты мониторинга измеряемых индикаторовуп... у1к,У21--. У 21 (2.15) Z где x - градация индикаторной переменной; xtj - отклик /-го обучающегося нау-й индикатор; P{xv = x}- вероятность выбора і-м обучающимся варианта х у-го индикатора; - уровень трудности индикаторной переменной; TXJ -относительный уровень трудности х-й градации у-го индикатора (приращение уровня подготовленности, необходимое для перехода от одной градации к другой); ntj - индексная переменная, принимающая все вариантыу-го индикатора.
Для дихотомических индикаторов модель (2.15) вырождается в модель Г. Раша для дихотомических данных (1.2).
В случае поведенческих факторов параметр S, модели измерений свидетельствует об уровне «трудности» у-го индикатора в том смысле, что большинство испытуемых могут иметь очень высокие, или наоборот, очень низкие значения поу-му поведенческому фактору.
Модель измерений (2.15) использует градации индикаторных переменных, поэтому исходные данные, собранные в ходе скрытого мониторинга, предварительно необходимо обработать - дискретизировать, представить в порядковой шкале. Дискретизация индикаторов строго монотонного характера у21... y2h не представляет сложностей [37, 85]: (2.17) где x – градация строго монотонной индикаторной переменной; yj – значение строго монотонной индикаторной переменной, ; yjmin – минимальное значение индикаторной переменной yj; yjmax – максимальное значение индикаторной переменной yj; step – шаг разбиения диапазона изменения индикаторной переменной yj на m уровней дискретизации.
Нетривиальной задачей является нахождение такого количества m уровней дискретизации индикаторных переменных, которое обеспечило бы приемлемую точность измерений и адекватность дискретизированных данных мониторинга модели измерения (2.15). Приемы, которые разумно использовать для исследования точности измерения латентной переменной в зависимости от количества уровней дискретизации индикаторных переменных, предложены в работах [37, 86].
Первым этапом начальной настройки адаптивной системы электронного обучения является проведение обучения множества обучающихся по предопределенным траекториям для накопления статистики об индикаторах уровня учебных достижений. Матрица Y (см. рис. 2.5) с результатами тестового контроля и мониторинга поведенческих факторов может быть использована [84]: для определения параметров дискретизации y2jmax, m, step поведенческих факторов y21, y2j, … y2l , участвующих в формулах (2.16) и (2.17); для определения вида и настройки коэффициентов функций принадлежности, описывающих немонотонные и нестрого монотонные индикаторные переменные; для градуировки материалов по уровню трудности.
Для градуировки индикаторных переменных строго монотонного характера y21… y2h, формируется структура, каждая строка которой содержит параметры дискретизации: [1] – минимальное значение индикаторной переменной (инициализируется нулевым значением в соответствии с типом данных индикатора); [2] – максимальное значение индикаторной переменной; [3] – количество уровней дискретизации; [4] – шаг разбиения диапазона изменения индикаторной переменной на уровни. Параметры, которыми изначально инициализируется структура, приведены в таблице 2.3. В процессе адаптивного обучения производится их дальнейшая настройка и уточнение (см. рис. 2.6).
Исходные параметры для дискретизации строго монотонных поведенческих индикаторов Индекс j индикатора Параметры дискретизации Пояснение [1] [2] [3] [4] 1 0 8 8 1 Параметр [2] найден по статистике 2 0 10 10 1 Параметр [2] найден по статистике 3 00:00:00 00:15:00 8 00:01:52 За параметр [2] взято ограничение продолжительности любого теста 4 0 4 4 1 За параметр [2] взят последний уровень вложенности материала 5 0 0 0 0 Индикатор y25 имеет тип Булево икодируется непосредственно в процессемониторинга значениями 0 или 1 6 00:00:00 00:10:00 8 00:01:15 Параметр [2] найден по статистике 7 0 5 5 1 Параметр [2] найден по статистике 8 1 5 4 1 Параметр [2] найден по статистике 9 0 10 5 2 Параметр [2] найден по статистике Выбор оптимального числа уровней дискретизации (параметр [3] из табл. 2.3) был произведен после разработки схем дискретизации для всех индикаторных переменных. Процедура выбора оптимального m состоит в проведении серии экспериментов (варьируя число m) с моделью измерения уровня подготовленности, описывающей показатели обученности множества испытуемых. Оптимальное количество уровней дискретизации для некоторого индикатора определяется наименьшей абсолютной ошибкой измерения уровня подготовленности. В работах [37, 86] показано, что увеличение числа градаций с 5 до 10 обеспечивает увеличение точности измерений латентной переменной в 1,5 раза. Вместе с тем, увеличивается вычислительная сложность измерений. Чрезмерное увеличение числа градаций приводит к снижению адекватности дискретизированных данных модели измерения.
Разработка совокупности методов, предназначенных для настройки параметров процесса управления траекторией обучения
По рисунку 3.1 функционирование обучающей системы происходит следующим образом [105, 106]. Измерительная система (блок 2) производит мониторинг измеряемых выходов двух типов, составляющих кортеж уи- У Ik , у21... у21 показателей учебной деятельности (см. табл. 2.1). Зафиксированные значения индикаторов поступают на вход модуля оценивания состояния обучающегося (блок 3). Оценивание состояния обучающегося предполагает решение задачи по вычислению интегрального показателя текущих учебных достижений, или уровня подготовленности Д который не подлежит прямым измерениям. Блок 3 реализует метод оценивания уровня подготовленности по результатам тестового контроля и мониторинга действий обучающегося при работе с адаптивной системой обучения (см. параграф 3.2). Система настройки параметров (блок 3а) предназначена для обработки массивов статистических данных о показателях учебной деятельности в следующих разрезах: - построение и уточнение шкалы трудности тестовых заданий; - выполнение экспериментов по подбору оптимального числа уровней дискретизации индикаторов из кортежа уц... ут,Ун--- У2і , - подбор параметров функций принадлежности для описания немонотонных показателей учебной деятельности (см. рис. 2.15); - инициализация семантических количественных связей между объектами учебного контента.
Система настройки параметров модуля оценки состояния объекта управления (обучающегося) функционирует с заданной периодичностью.
В систему настройки параметров адаптивного управляющего устройства (см. рис. 3.1, блок 4а) заложены соотношения (2.1) и (2.12) для выявления зоны ближайшего развития обучающегося. Формализованная зона ближайшего развития определяет алгоритм управления. Задача адаптивного алгоритма управления состоит в том, чтобы выработать для обучающегося индивидуальную образовательную траектории по освоению предметной области, т.е. произвести сборку траектории на основе предопределенного учебного контента. Алгоритм управления реализует подбор из базы учебных материалов очередного фрагмента и индивидуальной образовательной траектории, состоящего из объектов учебного контента с уровнем трудности, не выходящим за границы зоны ближайшего развития 4 (As + (Ois)- Адаптивное устройство (блок 4) подает управляющее воздействие и в виде блока объектов учебного контента, способствующее продвижение к цели обучения Z путем коррекции предъявляемого контента по уровню трудности, детализации и форме представления. Управляющее воздействие носит двойственный характер, имея обучающий и контролирующий эффект одновременно. Это обеспечивает существование в системе обучения канала обратной связи, корректирующей воздействие на процесс формирования индивидуальной образовательной траектории. Построение кибернетической модели системы обучения выполнено в рамках кибернетической педагогики: процесс обучения сведен к управлению развитием учебных достижений обучающегося с помощью согласованных воздействий со стороны адаптивной СЭО. Спроектированная система удовлетворяет кибернетическим принципам функционирования обучающей системы: разнообразия, целостности, обратной связи, целеполагания и целеосуществления [107].
Разработанная кибернетическая модель адаптивной системы электронного обучения является проекцией классической схемы современной автоматизированной системы управления на термины теории измерения латентных переменных, теории Л. Выготского о зонах ближайшего развития и подход по мониторингу действий обучающихся, использующий психолого-педагогическую интерпретацию поведения объектов образовательного процесса. Этим обосновывается наличие связей между блоками 3, 3а, 4, 4а на рисунке 3.1.
Кибернетическое описание обучающей системы дает возможность использовать методы и теоретические достижения кибернетики для синтеза оптимального обучения и адаптации обучающей системы в связи с изменением свойств объекта образовательного процесса [105].
Как показано на рисунке 3.1, выработке управляющего воздействия предшествует ряд этапов, прохождение которых обеспечивается следующими базовыми методами.
Построение шкалы трудности объектов учебного контента. Измерение уровня подготовленности и вычисление параметров зоны ближайшего развития основано на объективной градуировке учебных материалов по уровню трудности [108]. Модель измерений (2.15) позволяет наряду с уровнем подготовленности испытуемых вычислять уровень трудности объектов учебного контента, что обеспечивает унифицированный подход к измерению латентных переменных. В качестве исходных данных при построении шкалы трудности объектов учебного контента используется двумерная матрица Y результатов учебной деятельности. Строки матрицы соответствуют испытуемым, столбцы - тестовым заданиям и поведенческим факторам, ячейки - баллам за выполнение тестовых заданий и зафиксированные значения поведенческих факторов. При этом уместно использовать сторонние системы измерения латентных переменных, например, RUMM (Rasch Unidimensional Measurement Models) [48] или RILP-1M, RILP2 [109]. В настоящем исследовании используется метод и алгоритм измерения латентных переменных диалоговой системы RUMM 2020.
Анализ результатов экспериментальных исследований, проведенных с прототипом системы обучения
Поскольку F-статистика лежит между критическими значениями (FL=0,78 F=0,9990 Fu=1,29), то была принята нулевая гипотеза. Следовательно, оценки уровня трудности заданий, полученные единовременно, не имеют статистически значимых различий с оценками, полученными при разбиении множества индикаторов на несколько подмножеств. Полученный результат подтверждает практическую возможность использования раздельного набора тестовых заданий для измерения уровней трудности в пределах всего модуля.
Набор индикаторных переменных можно рассматривать как измерительный инструмент в случае их совместимости. Совместимость индикаторных переменных означает их соответствие модели измерений или, другими словами, то, что индикаторные переменные характеризуют одну и ту же латентную переменную [37]. В рамках настоящего исследования требовалось оценить соответствие поведенческих факторов модели измерения уровня подготовленности. Степень этого соответствия определялась на основе критерия $ с использованием программного продукта RUMM 2020. В качестве исходных данных использовалось пять двумерных матриц размерностью 200x24 с результатами мониторинга учебных достижений. Каждая матрица содержала результаты выполнения двумястами испытуемыми десяти тестовых заданий и значения четырнадцати поведенческих факторов, зафиксированные в процессе электронного обучения. В качестве измерений матриц выступали разные наборы тестовых заданий и испытуемых. Алгоритм системы RUMM 2020 кластеризовал испытуемых на три условно равные группы по полученным оценкам уровня подготовленности (на основе модели Г. Раша). Для каждой группы вычислялось среднее значение и по критерию $ определялось отклонение этих экспериментальных точек от рассчитанных по модели Раша теоретических значений. Положительное решение об исключении индикаторной переменной из набора принимается при условии, что уровень ее соответствия измеряемой латентной переменной меньше 0,05 [37]. Степени совместимости поведенческих факторов с моделью измерения уровня подготовленности, полученные на основе пяти экспериментальных выборок, приведены в таблице 4.5.
Из таблицы 4.5 видно, что на всех пяти наборах тестовых заданий и испытуемых поведенческие факторы пригодны для измерения уровня подготовленности (зафиксировано минимальное значение уровня значимости статистики tf = 0,088, которое больше критического порога 0,05).
Далее проверялась состоятельность метода определения уровня текущих учебных достижений /-го обучающегося. Для этого было сформировано пять матриц размерностью 200x24 с результатами мониторинга учебных достижений. Каждая матрица содержала результаты выполнения двумястами испытуемыми десяти тестовых заданий и значения четырнадцати поведенческих факторов, зафиксированные в процессе электронного обучения. Матрицы отличались наборами тестовых заданий. На основе системы уравнений (3.11), где (к+1) = 24, и алгоритма системы RUMM 2020 рассчитывались значения латентных переменных Д и ДК ( 1 00) соответственно. Решение системы уравнений (3.11) определялось для каждой строки исходных матриц. В системе RUMM 2020 каждая матрица обрабатывалась отдельно. В результате было получено несколько последовательностей значений латентных переменных: Д(1),.., Д(5) и ДЛ(1),.., ДК{5). Уровень усвоения дидактических единиц учебного материала, соответствующих наборам тестовых заданий, был проверен преподавателем путем устного опроса и выставления балльной оценки (ДГ(1),.., ДГ(5)). Далее определялась коррелированность оценок преподавателя со значениями латентных переменных, полученными на основе системы (3.11) и алгоритма системы RUMM 2020 (см. табл. 4.6).
Судя по таблице 4.6, между значениями латентных переменных и оценками преподавателя во всех пяти случаях имеется статистическая зависимость. При этом коррелированность оценок преподавателя со значениями, полученными при использовании метода определения уровня текущих учебных достижений i-го обучающегося (параграф 3.2), оказалась выше на 2,6 процента. Данное статистическое наблюдение говорит о достоверности данных, полученных при использовании разработанного метода.
Таким образом, статистически доказана обоснованность использования поведенческих факторов при измерении уровня подготовленности. Примем количество индивидуальных траекторий, генерируемых обучающей системой, за показатель, по которому можно судить об уровне индивидуализации процесса электронного обучения. Ключевым фактором, определяющим количество траекторий, является метод управления процессом обучения. Бинарная и линейная логика принятия решений при реализации алгоритма адаптивного обучения ограничивают вариативность формируемых образовательных траекторий. Так, в работе [2] логика переходов базируется на алгоритмической конструкции «бинарное ветвление» (см. рисунок 4.10).