Содержание к диссертации
Введение
1 Анализ методов оценивания в системах компьютерного тестирования для целей обучения 12
1.1 Компьютерное тестирование и проблемы автоматизированного оценивания знаний 12
1.1.1 Основные определения и сокращения 12
1.1.2 Место компьютерного тестирования в системах автоматизированного обучения , 14
1. 1* 3 Общие сведения о компьютерном тестировании 16
1. 1. 4 Проблемы автоматизированного оценивания знаний 18
1.2 Обзор методик и систем оценивания знаний 20
1, 2. 1 Традиционные и адаптивные модели тестирования 20
1. 2. 2 Модели тестирования, основанные на использовании методов искусственного интеллекта 22
1. 2. 3 Проблема целеполагания при тестировании 25
1. 2. 4 Применимость существующих программных реализаций для обучающего тестирования 27
- 1.3 Постановка задачи разработки обучающего компьютерного тестирования 32
1. 3. 1 Обучающее компьютерное тестирование 33
1.3.2 Системный подход к решению поставленной задачи через интеграцию обучающего теста с электронным учебным курсом 39
1. 4 Выводы по первой главе 48
2 Разработка методов обучающего компьютерного тестирования 51
2. 1 Модель процесса обучающего тестирования 51
2. 2 Уточнение модели данных в автоматизированной обучающей системе 52
2.3 Выявление факторов, влияющих на результат обучающего тестирования 55
2.4 Методические особенности определения начальных параметров обучающего теста 57
2. 5 Метод формирования тестовой выборки и её адаптация 64
2, 6 Метод оценивания результатов обучающего теста 71
2. 6. 1 в режиме итогового тестирования 75
2. 6, 2 в режиме обучающего тестирования 77
2. 7 Метод индивидуализации траектории обучения посредством обучающего тестирования 78
2.7. 1 Прямой метод индивидуализации 81
2, 7. 2 Косвенный метод индивидуализации L 84
2. 8 Выводы по второй главе 86
3 Применение экспертных систем для анализа обегающего компьютерного тестирования 88
3. 1 Экспертные системы как метод преодоления неопределённости в сложных аналитических задачах 88
3.1.1 Комплексный подход к анализу данных при обучающем тестировании 90
3. 1. 2 Механизмы снижения неопределённости входных данных для обработки в экспертных системах 92
3, 2 Усиление классифицирующей способности теста за счёт механизма нечёткой логики 98
3, 2. 1 при формировании обучающей тестовой выборки 98
3. 2. 2 при оценивании результатов теста 103
3. 3 Уточнение моделей обучающего компьютерного тестирования ПО
3. 3.1 Модель адаптации 111
3. 3. 2 Модель оценивания 115
3. 3. 3 Модель индивидуализации траектории обучения 119
3. 4 Выводы по третьей главе 120
4 Реализация системы адаптивного компьютерного тестирования, ориентированной на функцию обучения 122
4. 1 Принципы реализации технических решений 122
4. 1. 1 Система обучающего тестирования СиТест 122
4. I, 2 Система конструирования экспертных систем FLM Bnilder 126
4. 1. 3 Принцип интеграции экспертных систем с системой обучающего тестирования 132
4. 2 Внедрение методики обучающего тестирования и предварительные результаты 133
4. 2. 1 Разработка ЭУК и тестов 133
4. 2. 2 Проведение обучающего тестирования 135
4. 2. 3 Результаты обработки статистических данных 136
4, 3 Выводы по четвёртой главе 141
Заключение 142
Список использованных источников 144
- Модели тестирования, основанные на использовании методов искусственного интеллекта
- Методические особенности определения начальных параметров обучающего теста
- Механизмы снижения неопределённости входных данных для обработки в экспертных системах
- Система конструирования экспертных систем FLM Bnilder
Введение к работе
Актуальность темы. Развитие отраслей информатизации позволило
системе массового образования воспользоваться высокотехнологичными
достижениями научно-технического прогресса. Концепция массового
образования и равных возможностей требуют разработки таких механизмов
обучения, которые могут быть эффективно применены не только в системе
классического (аудиторного) образования, но и при самостоятельном
(дистанционном) обучении. Классик отечественной тестологии B.C.
Аванесов отмечает: «В условиях массового образования только адаптивное
обучение даёт возможность эффективной практической реализации
принципов индивидуализации обучения» [1, дне. Стр. 121]. В связи с этим
возникают задачи составления эффективно работающих электронных
учебных курсов и разработки соответствующих программных средств,
обеспечивающих жизненный цикл процесса образования, в контексте
парадигмы личностио-ориентированного подхода. Электронные
образовательные ресурсы объединяют учебный материал, методологические
образовательные концепции, государственные стандарты, а так же различные
тренажеры и системы компьютерного тестирования. От их слаженной работы
зависят не только отчётные показатели учебных заведений, практикующих
дистанционное обучение, но и квалификация выпускаемых специалистов,
^ Педагогическое компьютерное тестароьатіе, как инструмент оцеїтеи
уровня усвоения знания, на сегодняшний день широко применяется как б
процессе классического, так и в процессе дистанционного обучения. Над
методикой его применения для аудиторной формы занятий работали
Аванесов B.C., Архангельский СИ., Беспалько В.П., Татур А.О. и многие
другие. Преимущества тестового контроля очевидны: достигается массовость
контроля, скорость обработки данных, непредвзятость и стандартизация
процесса оценивания. Над задачей повышения эффективности применения
автоматизации при тестовом контроле учебного процесса работает достаточно много специалистов, что говорит как об актуальности темы, так и о перспективах её дальнейшего исследования. Среди основных направлений в этой области можно выделить работы Пантелеева Е.Р., Тягуновой Т.Н., Жуковой И.Г, Строганова В,Ю. и проч.
** В условиях реформирования системы образования и разработки новых стандартов обучения (переход к двухуровневой системе высшего профессионального образования), дистанционное обучение стато рассматриваться как неотъемлемая'Компонента учебного процесса в крупных и средних ВУЗах [130]. Разработаны электронные учебные курсы и обеспечивающее их программное обеспечение. При этом компьютерное тестирование всё чаще применяется для промежуточного и итогового контролен. Но на сколько его потенциал корректно использован при проведении внеаудиторного и индивидуализированного обучения? С одной стороны, существует множество претензий к качеству оценки результатов тестирования, вызванных, в частности, отличием условий классического обучения от условий дистанционного (например, работы Аванесова B.C. [1] или Рудинского И.Д. [77]). С другой стороны, не ставится различие между этими формами обучения как в методиках, так и в программных реализациях систем компьютерного тестирования. Но насколько это адекватно современным требованиям качества образования? Образовательный и контролирующий этапы в автоматизированных обучающих системах так и остались совершенно изолированными процессами, т.е. механизмы четкой обратной связи отсутствуют как класс! Обычная практика: оценивание знаний по всему учебному курсу без вектора дифференцированных оценок по разделам курса. Такое положение существенно снижает как достоверность результатов тестирований, так и возможность целенаправленного управления процессом обучения (оптимизации траектории индивидуального обучения).
Таким образом, существует проблема эффективного управления самостоятельным (дистанционном) учебным процессом, при использовании
7 электронных учебных курсов и систем компьютерного тестирования, как элементов единого образовательного процесса. Её решение позволит повысить эффективность процесса обучения, в условиях дефицита или отсутствия на местах квалифицированных педагогических кадров.
В своём диссертационном исследовании B.C. Аванесов отметил: «Обучающий пошенгщал тестовых задании является огромным, но он практически не исследован». В связи с этим возникает научная проблема, связанная с отсутствием теоретической концепции, формальных моделей, методологической и программной реализаций систем компьютерного тестирования, эффективно интегрированных с автоматизированными обучающими системами, которые бы повысили результативность процесса самостоятельного обучения за счёт оптимизации траектории индивидуального обучения.
Объектом данного исследования выбран процесс управления компьютерным тестированием и его технической реализации.
Предметом исследования выступают модели, методы и алгоритмы интеграции процессов контроля и обучения в автоматизированных образовательных системах.
Цель диссертационной работы: разработать подход к организации компьютерного тестирования при самостоятельном обучении на электронных учебных курсах (обучающее тестирование), модели построения и реализации информационной системы с возможностями выработки приближенной к оптимальной стратегии обучения»
Гипотеза исследования, заключается в том, что процесс тестирования рассматривается как инструмент нелинейной обратной связи электронного учебного курса и обучаемого. Такой подход позволит:
повысить эффективность работы^ обучаемого с электронными учебными курсами;
повысить достоверность механизма автоматизированной оценки уровня знаний обучаемого;
представить опыт работы педагогов - экспертов в виде базы
знаний в автоматизированной обучающей системе, реализующие механизмы
обучения, оценивания и адаптации,
Для достижения поставленной цели и подтверждения выдвинутой * гипотезы необходимо решить ряда задач:
провести системный анализ методов, методик, моделей и программных пакетов компьютерного тестирования, которые применяются для решения задачи оценивания знаний в процессе обучения;
обосновать необходимость выделения класса «обучающего тестирования» и выявить его сущность, содержание и особенности;
разработать концептуальную модель обучающего компьютерного тестирования, позволяющую формализовать процессы взаимодействия компьютерных тестов и электронных учебных курсов;
разработать математические, модельные и проектные подходы, позволяющие реализовать процесс обучающего тестирования;
предложить реализацию моделей оценивания, адаптации и индивидуализации в виде модулей экспертной системы;
разработать прототип программного обеспечения, позволяющий оценить эффективность обучающего тестирования;
провести экспериментальные исследования в учебном процессе и подтвердить положения гипотезы обучающего компьютерного тестирования.
Методами исследования, на которых базируется работа, являются теория систем и системного анализа, инженерия знаний, теория экспертных * (продукционных) систем, метод нечёткой логики, теория графов (семантические сети), теория вероятностей и математическая статистика, а так же тестология и тестометрия.
Научная новизна диссертационного исследования заключается в следующем:
выделен новый подход к компьютерному тестированию, названный
«обучающим» и введено соответствующее определение;
обоснованы и приведены в систему положения об обучающем компьютерном тестировании, как инструменте оптимизации траектории учебного процесса;
разработаны формальные модели процессов адаптации, оценивания и индивидуализации;
представлены перечисленные выше модели в виде баз знаний экспертной системы.
Теоретическая значимость работы заключается в следующем:
уточнён подход обучающего-тесщрования, названный обучающим,
как одно из направлений тестологии; = =~
} разработаны оригинальные механизмы адаптации тестовой
выборки, оценивания и индивидуализации;
применены методы искусственного интеллекта (семантические сети,
экспертные системы, нечёткая логика) для повышения эффективности
учебного процесса и достоверности результатов тестирования.
Практическая значимость исследования заключается в следующем:
успешно внедрена в учебный процесс Хакасского технического института — Филиала СФУ и Хакасского института бизнеса система СиТест, опирающаяся на подход обучающего тестирования (приложение Г);
повышена эффективность изучения дисциплин учащимися, осваиваемых самостоятельно.
Подтверждением д остов ерлостл я обоснованное результатов диссертационной работы служит устойчивый положительный эффект от применения методики обучающего тестирования на ряде учебных дисциплин («Имитационное моделирование экономических процессов», «Теория экономических информационных систем», «Информационные системы
vm
ї "її:
маркетинга»).
м Результаты, выносимые на защиту: Ж. ""
- ^- * понятие и концептуальная модель обучающего компьютерного тестирования;
модель автоматизированной обучающей системы, описывающей взаимодействие компонентов «электронный учебный курс» и «обучающее компьютерное тестирование»;
система комплексного анализа факторов, выраженная в моделях адаптации, оценивания и индивидуализации; *
архитектура и содержание баз знаний, содержащих опыт специалистов-педагогов по рассматриваемым в моделях областям знаний;
информационная система СиТест, основная на подходе обучающего компьютерного тестирования и методах искусствеыного интеллекта (экспертные системы с элементами нечёткой логики). *
щ Личный вклад автора в. разработку теоретического подхода обучающего тестирования, можно прировнять- к 85%, исключая- идеи руководителя и консультантов (экспертов). Авторское правота программный пакет СиТест, ядро экспертного оценивания (модуль FLM_moduhpas) и конструктора' экспертных систем (FLMBuilder) подтверждается свидетельствами на регистрацию, под номерами1 03524577.01414-01, 03524577.01145-01 99 01 и 02069740.00000-01 99 01 соответственно (пункты литературы [122], [108] и [125], а так же приложение Г).
Апробация результатов исследования' осуществлялось на следующих мероприятиях: Республиканский конкурс научно-исследовательских работ (Абакан, 2005); Всероссийская научно-практическая конференция «Информационные технологии в образовании и науке» (Москва, 2006 и
^2007); VI Международная научная конференция «Наука и образование» (Белово. 2006); V Международная научно-техническая конференция
*" «Информационно-вычислительные технологии и их приложения» (Пенза, 2006); ХПІ Международная научная конференция «Современные техника и технологии» (Томск, 2007 и 2008); К Всероссийская (с международным участием) научно - практическая конференция «Теория и практика измерения и мониторинга латентных переменных в образовании и других социально-экономических системах» (Славянск-на-Кубаниэ 2007); XIII Международная
-w
научно-практическая конференция «Современные проблемы
информатизации» (Воронеж, 2008); Международная научно-методическая
конференция «Совершенствование технологий обеспечения качества
образования» (Омск, 2008); XII Международная научно-техническая
конференция «Системный анализ в проектировании и управлении» (Санкт-
Петербург, 2008); The fourteenth International Scientific and Practical
Conference «Modern Techniques and Technologies» (Томск, 2008); XVI
Всероссийский семинар «Нейроинформатика, ее приложения и анализ
данных)) (Красноярск, 2008); XII Международная научная конференция
«Решстневские чтения» (Красноярск, 2008); Вес российская научно-
методическая конференция «Повышение качества высшего
профессионального образования» (Красноярск, 2008); VIII Международная
научно-техническая конференция «Интерактивные системы: проблемы
человско-компьютерного взаимодействия» (Ульяновск, 2009).
Использование результатов диссертации осуществляется в учебном процессе, на дисциплинах «Имитационное моделирование экономических процессов» и «Теория экономических информационных систем» при Хакасском техническом инештуте - филиале СФУ (г, Абакан, 2008-2009 гг.), «Информационные системы маркетинга» при Хакасском институте бизнеса (г. Абакан, 2007-2009 г.). Акты об использовании прилагаются.
По материалам диссертации опубликовано 28 печатных работ, из которых 26 статей (из них 3 статьи в журналах по списку ВАК), 2 свидетельства об официальной регистрации программ для ЭВМ,
Структура диссертации включает введение, 4 главы, заключение и списка использованных источников. Основное содержание работы изложено на 170 страницах текста, содержит 30 рисунков и 6 таблиц. Список используемых источников включает 142 наименования.
Модели тестирования, основанные на использовании методов искусственного интеллекта
Многие исследователи пытаются расширить функциональные возможности программ компьютерного тестирования с помощью методов искусственного интеллекта. Рассмотрим их применение для автоматизации оценивания и присущие им недостатки,
Семантические сети, как метод описания взаимодействия знаний в контролируемой предметной области, имеет следующие ограничения:
необходима специально структурированная модель дисциплины, которую только для тестов создавать не рационально;
требуется наличие качественного ЭУК, содержащего учебный материал, соответствующий образовательному стандарту;
необходима многофункциональная программная среда, позволяющая педагогу самостоятельно описывать взаимодействия элементов знаний предметной области.
В качестве примера систем, где продекларировано наличие данной технологии можно назвать работы Жукова И.Г. [35] и Пугачев А.А. [71], Грушецкий СВ. [25], Соловьева Т.В. [90], Никаев С.А. [54].
Экспертные системы,, как метод комплексного анализа разнородных факторов, имеет следующие ограничения:
необходима возможность регистрации необходимых для последутощего анализа факторов, позволяющих обоснованно оценить знания тестируемых;
необходима обобщённая логическая модель процесса тестирования;
требуется наличие согласованного мнения экспертного сообщества по вопросам методики оценивания знаний в контексте исследуемых факторов;
необходима многофункциональная программная среда, позволяющая педагогу самостоятельно корректировать базу знаний»
Научные исследования в этом направлении предпринимали РудинскиЙ И.Д- [77], Ивашина А.В. [39], Ивлева Е.В. [40], Магомедов М.А. [45], Москалева С.С. [50], Давыдова Н.А. [26], Солодов В.А. [91] не выходя за парадигму итогового тестирования. Использование экспертных систем в процессе тестирования среди коммерческих проектов нами не обнаружено.
Нечёткая логика как метод преодоления неоднозначности исследуемых показателей, имеет следующие ограничения:
требуется чёткое представление о числе состоянии фактора и точках перехода между ними;
необходима система адекватных характеристических функций;
необходима многофункциональная программная среда, позволяющая педагогу самостоятельно настраивать параметры характеристических функций, Применение нечёткой логики, как наиболее простого метода ИИ, упомянуто во многих системах КТ: Строганов В.Ю. [93], Данилова С.Д. [27], Половко A.M. [64], Попов Д,И- [65], Ивлева Е.В. [40] и другие.
Искусственные нейронные сети, как метод преодоления сложности и неоднозначности процесса оценивания, имеет следующие ограничения:
требуется набор однозначно интсрпрегируемых примеров (обучающая и эталонная выборки); принципиальная сложность адекватного обучения сети для реализации механизма оценивания в произвольной предметной области. Применение искусственных нейронных сетей, в связи с перечисленными сложностями, в работах по проектированию систем КТ фактически не встречается (исключением являются довольно спорные модели, предложенные Гагариной Л.Ґ. [22] и Савченко Е.Ю. [80]).
Использование других методов ИИ (Data Mining [54], генетические алгоритмы5 [40], многоагентные системы, иммунные системы, фреймы [IS] и пр. [73, 140]) направлено скорее на решение частных задач автоматизированного тестового контроля.
Для эффективного применения методов ИИ при оценке и адаптации КТ, рассматривать только изолированный от обучения процесс контроля не представляется рациональным. Почти вес приведённые выше программные пакеты и проекты не предусматривали взаимодействия пользователя с учебным материалом через обратные связи. В связи с этим представляется уместным пересмотреть существующий подход к КТ в контексте его интеграции в образовательный процесс.
Согласно теории системного анализа, ключом к организации любой системы должна быть цель [59]. При организации КТ обычно ставятся следующие цели: предварительный контроль, текущий контроль, тематический контроль, рубежный и итоговый контроль [37]. Все они предназначены для классификации пользователей, в зависимости от уровня их знаний. Следствием развития данного направления в современных методиках КТ являются искусственная изоляция контролирующего и обучающего воздействий, ограниченность анализируемых при оценке факторов, восприятие тестирования как самодостаточного процесса (отсутствие обратных связей). Назовём такой подход классическом (итоговым), под которым будем понимать тестирование, характеризующееся следующими признаками: активное участие преподавателя на всех этапах процесса тестирования как контролирующей и организующей стороны;
минимальная инициатива тестируемого;
приуроченность процесса тестирования к мероприятиям коллективной оценки всего контингента обучаемых;
изолированность тестовых заданий от обучающего материала, характеризующих финишный этап его изучения;
направленность всего процесса исключительно на контроль знаний с последующим выставлением оценки;
Методические особенности определения начальных параметров обучающего теста
Начнём раскрытие методики ОКТ с вопросов организации процесса тестирования, то есть с начальной характеристики параметров теста. Осуществим априорную оценку состава БТЗ и произвольной реализации ТВ.
Пусть содержимое теста (ТВ) не меняется в ходе одного сеанса тестирования и пользователю предъявляется результат контроля в виде оценки {Н\ рассчитываемой при переводе процента верных ответов (й) в одну из заранее установленных оценочных шкалЧ , где - идентификатор шкалы. Тогда исходными параметрами теста будут длина тестовой выборки в вопросах {т\ мощность БТЗ (п) и число верно решенных заданий X (X є[0;т]). Такой показатель системы КТ как мощность множества т— результат стратегии тестируемого типа «случайное угадывание» должен иметь достаточно малую вероятность положительной оценки;
ограничения на повторяемость вопросов в двух произвольных тестах, т.е. вероятность события Р(К к)? где к- некоторая допустимая граница сверху (случайное число пересечений между выборками), не должна превышать некоторого малого значения P(Y = fc). Например, вероятность того, что случайная величина совпадений Y больше четырех, не превышает значения б = 0,05, будем записывать в виде P(Y 4) 0,05;
механизм генерации случайных выборок в системе КТ должен обладать свойством адаптивности и формировать такие т -выборки вопросов из БТЗ, которые бы повышали объективность оценки и мотивировали к самообучению.\
Для учёта1 обозначенных: ограничений осуществим-оценку показателей; теста посредством дискретного статистического моделирования;[24? 131 ]:
Если даны случайная, величина X (число правильных. ответов1 на серию вопросов теста), имеющая биномиальное, распределение, р- (число альтернативных вариантов ответа в каждом задании то всегда можно рассчитать .такие показатели, как. вероятность угадывания правильного.ответа. (/ ),. математическое- ожидание - МХ))± дисперсию.- (D(X)) и среднеквадратичное отклонение ( JD(X)). На рисунке. 2:2 представлено биномиальное распределение вероятности- угадывания правильных", ответов, при фиксированных .значениях, т- и р (функция распределения-и плотность-распределения вероятности). Очевидно что значение X до определённого моментам может расцениваться как содержащее случайный результат.. Возможно, ли учесть эффект случайного прохождения теста? Для.ответа.на этот, вопрос рассмотрим процесс расчёта оценок теста,.. _,
Существует, несколько общепринятых шкал оценивания уровня знаний, Оценка.может быть представлена в трёх формах.[d.]:. . абсолютная оценка - в единицах правильных ответов (_Х);.
2. относительная оценка в процёнтах.:правильныхответов-от;общего числа вопросов(й);; .-,....шкалированная оценка - каю результат отображения, числа. правильных.ответов. (или процентов) на Р .
- Определение k[ по биномиальному распределению При этом значение 5 говорит о том, что вероятность положительного оценивания при случайном угадывании (ошибка первого рода) мала. -Примечательно, что значение h\ для тестов в большинстве случаев стремится к 60% от т: это существенная корректива, которая позволяет даже в тестах со статическим содержанием с высокой надёжностью отсекать неподготовленные группы обучаемых [58, 116, 124]. Теперь рассмотрим процесс априорной оценки мощности БТЗ. При формировании ТВ с использованием алгоритма случайного выбора вопросов из БТЗ важным параметром является вероятность неповторяемости ТЗ в различных реализациях теста. Оценка вероятности события типа «вопросы двух тестов имеют пересечение» рассчитывается как отношение сочетаний рт-к П т &т Р4]. Поэтому для того, чтобы обеспечить требуемое значение этой вероятности, следует выбрать п » т. В качестве критерия оценки теста можно использовать вероятность события P(Y k), где Y - величина, характеризующая степень пересечения двух реализаций ТВ. Поэтому введём ограничение (4), где вероятность пересечения выборок не должна быть больше заданной величины P(Y к). А. P(Y k)=l-P(Y k) (4) Оценим качество динамических тестов. Для этого введём критерий #, характеризующий соотношение объёма выборки, предъявляемого при тестировании случайным образом, и мощности БТЗ; 0 = у . Теперь при фиксированных значениях к и 0 можно оценить критерий повторяемости заданы! (5) для фиксированного значения п [116].
Механизмы снижения неопределённости входных данных для обработки в экспертных системах
Многофакториый анализ сложных управляемых систем имеет, среди прочих, проблему нсодпозначностп интерпретации значений отдельных параметром. Неоднозначность параметров наблюдается и при обработке факторов о тестировании. Например, время тестирования в 7 минут считать «быстрым» или «медленным» при длине ТВ равной 10 ТЗ? Для анализа в ЭС данная информация должна быть однозначно подана на вход, т.е. предобработана заранее. Поэтому необходимо учесть следующие виды неопределённостей [59, 102]:
стохастическую (randomness) - вероятность угадывания верных ответов (рассмотрено в разделе 2,4);
расплывчатую (fuzziness) - неоднозначность классификации вклада отдельных факторов (например, перевод балла в различные оценочные шкалы);
частотно-временную (time-and-frequeney uncertainty) - анализ динамики успеваемости обучаемого по отдельным результатам из данных статистики, хранимой в модели пользователя и другой метаинформации.
Наиболее известными методами преодоления неопределённости (расплывчатости) данных являются следующие семь подходов.
Усреднение и сглаживание, как методы математической статистика - выработка решений по принципу поиска «равновесия» мнений по совокупности наблюдений. Изолированное использование механизма усреднения при обработке данных об ОКТ влечёт большую погрешность и поэтому он должен применяться в комбинации с другими подходами (например, при выработке характеристических функций для терм-множеств). Теория вероятностей, в том числе Байесовский подход - для этой модели характерна довольно чёткое разделение пространства состояний случайной величины, что приводит к внутренней несовместимости событий и предположению о наличии «идеальных» распределений. Достоинство подхода - возможность задании априорных вероятностей; недостаток — наличие адекватного числа событий, подтверждающих один из исходов [24, 75]. Для ОКТ данный метод важен в случаях, когда требуется проанализировать динамику обучения (временной ряд с результатами тестирований) или распределение верных/неверных и пропущенных ответов в ТВ. - - \ Кластеризация, в том числе с помощью нейронных сетей - данный метод предполагает наличие множества образцов и эталонов, используя которые можно выявить скрытые зависимости и классифицировать объект [4, 75]. В подходе, основанном на ОКТ, данный метод применён не был, т.к. в процессе исследования для всей системы не удалось получить зталонньїе множества для произвольных предметной области и контингента учащихся, а для классификации отдельных факторов достаточно более простых подходов. Теория Демпстера-Шефера - эта теория позволяет осуществлят проверку на совместимость и согласованность между отдельными допущениями (реакциями показателя) без указания априорных или условных вероятностей. С одной стороны, появляется возможность получения коэффициента доверия для задачи классификации из субъективных свидетельств о связанных с ней проблемах, а с другой стороны -использование правила объединения свидетельств, если они основаны на независимых испытаниях [30]. т.е. экспертом не заданы показатели возможности и уверенности для каждого ТЗ, Для ОКТ данный подход не применён, т.к. уменьшение неопределённости значения для одного исходного фактора не требует регистрации разнородных косвенных проявлений этого события (отдельного расчета мер правдоподобия и , доверия). Теория Криса Нейяора - в этом подходе вводятся оценки каждого из свидетельств значения исследуемого фактора, и в первую очередь отрабатывается та гипотеза, для которой цена оказывается наибольшей (известна только возможность события, заданная экспертом) [39]. Данный метод таюке оказался не востребован при реализации ОКТ, т.к. объект классификации предполагал многократную регистрацию своего состояния посредством различных событий с заранее известными оценками.
Теория Шортпифа и Бюьюквивна - основная идея метода заключается в том, чтобы данные о состоянии показателя собираются итерационно и обладают как оценкой подтверждающей её отдельное значение, так и оценкой отрицающей его (известна только уверенность в адекватности значения события, заданная экспертом). Для решения задач ОКТ этот метод не был использован, т.к. пет смысла многократно регистрировать исходные величины, однозначно представленные количественными значениями",
Теория нечёткой логики Л. Заде (НЛ) — подход, предполагающий --классификацию значения исследуемого параметра с помощью определения лингвистических переменных и функций принадлежности к ним [36].Он позволяет учесть разногласия мнений экспертного сообщества, выраженных как в количественных- гак м із качественных значениях. Так как этот метод иуде г принят в данном исследовании как базовый по предобработке нечётких данных для ЭС, то рассмотрим его подробнее, а начнём с основополагающих понятии. IJJF
Терм (лингвистическая переменная) - это переменная, значение которой определяется набором вербальных (качественных) характеристик некоторого свойства исследуемой величины. Например, динамику обучения, выраженную в виде коэффициента скорости изменения оценок, можно описать набором термов {«нулевая», «медленная», «средняя», «быстрая»}.
Нечеткое множество (fuzzy set) - множество значений исследуемой величины, которые можно отнести к отдельному терму с определённым Примечательно то, что в работе Ивашиной А.В. [39] для решения задач профориентации учащихся с использованием КТ были успешно применены все три теории и вполне уместно тіроигнорирован метод классической нечёткой логики Л. Заде. коэффициентом уверенности, принадлежащему интервалу от 1 до 0. Например, для терма-оценки «отличное значение балла равное 82% верных ответов коэффициент уверенности 6\дет равен 0,65, а для 98% - I, При этом терм «удовлетворительно» для обоих значений балла будет иметь уверенность 0. Нечеткие множества можно разделить на нормальные и субнормальные23.
Под понятием терм-миооїсество будем понимать такую совокупность нечётких множеств, которая исчерпывающе описывает возможные состояния исследуемой лингвистической переменной для конкретной задачи. Например, характеристика трудности ТВ может быть представлена в виде терм-множества, объединяющего термы «лёгкая», «средней трудности», «высокой трудности», «повышенной трудности». Терм-множества можно разделить па упорядоченные и неупорядоченные [81].
Характеристическая функция (функция принадлежности, membership function) -функция, характеризующая нечёткое множество и принимающая для каждой альтернативы значение из интервала [0;1], выражающее степень принадлежности данного элемента этому расплывчатому множеству [59].
Коэффициент доверия (правдоподобия или уверенности, С/) значение, задаваемое априори экспертом при описании характеристической функции или правила в базе знаний относительно уровня их субъективной достоверности [36, 53, 95].
Система конструирования экспертных систем FLM Bnilder
Разработка инструментов для реализации интеллектуальных возможностей программного обеспечения всегда была сложной и трудоемкой задачей- Любые методы искусственного интеллекта (генетическне алгоритмы, экспертные системы, нейронные сети и пр.) л требуют высокой квалификации программиста и многократно усложняют проект- По этим причинам в проектах широкого профиля современные , методы иителлектуализадии применяются достаточно редко, С другой стороны, инженер по знаниям (ИЗ34), как правило, не является программистом [21]. При разработке ЭС существует следующая проблема: после концептуализации и формализации базы знаний и модели для прикладной задачи не удаётся быстро перейти к кодированию на выбранном языке программирования, т. к. программисту (команде программистов) требуется время на консультации с ИЗ относительно особенностей реализации интеллектуальных механизмов. К сожалению, многие современные среды не поддерживают такого разделения, особенно в контексте интеграции интеллектуальной части во внешний программный проект. Применение таких программных пакетов, как FuzzyCaic, MatLab, FSTDS, AnyLogic и проч. [11, 95], затруднительно, в виду их сложности и отсутствия инструментов выгрузки моделей для- интеграции в других проектах3 . Не малую роль при выборе программного решения играет и стоимость лицензии. Использование же специальных языков нечёткого программирования (FUZZY, FLOU, Prolog [29, 73]) не представляется рациональным: для этого администратору АОС на базе каждого учебного заведения, где внедряется система, придётся осваивать новый язык моделирования, что для исследуемой предметной области излишне.
Было принято решение об осуществлении разработки собственной среды для создания экспертных систем с нечёткой логикой. Для этого сформулируем требования к блоку, обеспечивающего интеллектуальный анализ:
наличие интерфейса для конструирования экспертных, систем посредством формирования базы знаний в виде набора правил логического вывода, исключая любое программирвание;
осуществление моделирования и имитации в созданной экспертной системе в рамках одного программного продукта;
минимизация действий пользователя при создании моделей экспертных систем;
поддержка возможности настройки экспертной системы после её интеграции в АОС без перекомпиляции всего проекта.
Для осуществления этих требований предложим стратегию разделения инструментария программиста и ИЗ для независимого выполнения каждым своей работы. Программист пишет код на нужном ему машинном языке, а ИЗ составляет модель и формирует базу знаний в приложении, использующем исключительно визуальный подход. При этом необходим промежуточный формат хранения данных, который можно впоследствии интегрировать с будущим программным модулем без дополнительных вмешательств со стороны программиста. Таким образом, этапы формализации и реализации ЭС можно в значительной степени осуществлять одновременно. Представим эту работу в виде следующей последовательности:
1. Осущесгвив идентификацию проблемы и получив информацию от экспертов, ИЗ определяет основную структуру будущей интеллектуальной системы.
2. Программист начинает реализовывать прототип будущей программы в одной из традиционных сред разработки.
3. На начальном этапе формализации ИЗ и программист выявляют «технические» требования к исполняемому модулю. В частности они договариваются о том, какие входы-и выходы будет иметь ЭС, при помощи каких интерфейсов это будет реализовываться.
4. ИЗ использует специальную программную среду - конструктор, позволяющую составить структуру ЭС, базу знаний и определить механизм вывода данных. При этом программа должна выгружать модель ЭС во внешний файл.
5. При разработке приложения программист интегрирует компоненты (модули, библиотеки), позволяющие подключать модель ЭС из внешнего файла. Для этого ему необходимо правильно подать нужные данные (параметры) на вход внешней модели и получить результаты её работы по заранее оговоренным при проектировании каналам вывода. Важно, что разработчику не требуется создавать саму модель и механизмы её работы — он занят исключительно своим делом (рисунок 4.2).
6. По завершении разработки прототипа ЭС, пользователь общается с интерфейсом программы, предложенным программистом. Связь программы с внешней ЭС происходит за счёт интеграции специализированных библиотек (модулей).
