Содержание к диссертации
Введение
Глава 1 Исследование и анализ методов представления и контроля знаний в автоматизированных системах управления образовательного назначения 13
1.1 Применение автоматизированных обучающих систем в образовании 14
1.2 Роль и место экспертных систем в образовании 27
1.3 Применение алгоритмов функционирования искусственных нейронных сетей в автоматизированных системах образовательного назначения 34
1.4 Способы хранения, методы использования и извлечения знаний; 47
1.5 Выводы 53
Глава 2 Теоретическое обоснование моделей представления и контроля знаний и реализация автоматизированной системы контроля знаний . 54
2.1 Разработка модели контроля знаний с использованием синонимических рядов 55
2-2 Базы данных и базы знаний в автоматизированных системах контроля, знаний 65
2.3 Общетеоретическая модель представления и контроля знаний- 69
2.4 Модель обработки текстового ответа с применением синонимических рядов 85
2.5 Разработка аналитической модели,расчета показателя синонимической близости эталонного определения и ответа 95
2.6 Разработка автоматизированной системы контроля знаний на основе разработанных моделей 98
2.7 Выводы 101
Глава 3 Практическая реализация автоматизированной системы контроля знаний на основе предложенных моделей 102
3.1. Практические испытания разработанной автоматизированной системы контроля знаний 103
3.2 Анализ трудоемкости наполнения базы знаний и показателя эффективности разработанной автоматизированной системы 108
3.3 Результаты исследований и опытной эксплуатации 111
3.4. Оценка качества аналитического аппарата разработанной системы 124
3-5 Выводы 139
Заключение 140
- Применение автоматизированных обучающих систем в образовании
- Роль и место экспертных систем в образовании
- Разработка модели контроля знаний с использованием синонимических рядов
- Практические испытания разработанной автоматизированной системы контроля знаний
Введение к работе
На рубеже ХХ-ХХІ веков на уровне Правительства России были приняты такие важные документы, как «Национальная доктрина образования», Федеральный закон «Об. утверждении > Федеральной программы развития. образования», целевая Федеральная программа «Развитие единой образовательной; среды на 2001-2005 годы». Эти документы являются основой государственной системы политики России в области образования. Одной из приоритетных задач, реализуемых каждой из перечисленных Федеральных программ, является гармоничное развитие жизнеспособной личности, ее творческих способностей и самоидентификации на основе мотивации необходимости непрерывного образования,
В государственном документе "Основные положения концепции очередного этапа реформирования системы образования", в частности, сформулированы: ближайшие задачи:
"В области информатизации образования:
обеспечить развитие телекоммуникационных сетей! образования и науки;.
осуществить поддержку перспективных информационных технологий, создания и актуализации банков и баз данных".
Кроме того, появилась законодательная база для развитиядистанционного обучения.
Автором ранее был опубликован ряд работ [69, 73], в которых одной из сред функционирования^ информационных систем,, в частности, обучающих программ. (в том числе и Web-ориентированных), были названы кампусные сети, традиционно создававшиеся при, высших образовательных учреждениях-. В последнее время большее значение приобретают корпоративные сети, причем,, принцип организации доступа к циркулирующей в них информации соизмерим с принципами кампусных сетей, но корпоративные сети имеют большую степень, защиты от проникновения из глобальных информационных сетей.
Корпоративные информационные системы создаются в сети Интернет и
других сетях с важным отличием: они формируют единую информационную
среду для поддержки всех деловых процессов корпорации: (отрасли, объединения:
предприятий и учреждений, совокупности подразделений и филиалов учреждения
л и.тл;), В системе образования корпоративное построение можеттакже относиться
какко всей системе образования страны или региона, так и к отдельным звеньям образовательных учреждений и структур (ВУЗам; академгородкам)^ Но*при,этом: прослеживается неизбежная тенденция укрупнения и интеграциикорпоративных систем-4 образования* в метасистемы; единую государственную систему образования и; в* единое мировое: информационное пространство;. Отчасти; это объясняется; открытостью и гуманитарным- характером самого* процесса образования. Но еще: в большей* степени' это- диктуется? перерастанием, информатизации образования; в информационное мировое сообщество- Наиболее заметно эти. процессы^ проявляются, и* реализуются^ в мировой^ глобальной сети Интернет, при поддержке которой: формируется; единая, информационная среда, всего жизнеобеспечения общества и его образовательных технологий. Таким-образом, в системе образования, происходит интегрирование корпоративных и: всеобщих информационных систем.
С позиций образовательных технологий уместно структурировать, все многообразие информационных ресурсов следующим образом:.
* каталоги многих мировых библиотек;
- базыданных, содержащие результаты реальных исследований;
* подготовленные: специальным^ образом^ электронные модульные
учебники, пособия, справочники;
* электронные: библиотеки и архивы1 и иное сопровождение учебногог
процесса в различных областях знаний;;
доступ-к учебному программному обеспечению и документации из
огромных файловых архивов (в ряде случаев бесплатно) и другие..
В наиболее выраженном виде все перечисленные дидактические возможности и- достоинства компьютерных телекоммуникаций, реализуются^
5 посредством информационных систем в образовании (дидактических систем, обучающих систем,- информационных и обучающих систем), объединяющих совокупности, программно-аппаратных компьютерно-сетевых, информационных, методических и организационных средств в целях реализации функции обучения - автоматизированных обучающих систем.
Сегодня имеется большое: число ставших уже: привычными автоматизированных средств обучения, работающих с базами данных, обслуживающих гипертекстовую, аудио, видео, мультимедийную, информацию, которые могли бы стать технологической основой создаваемых информационных систем;
Как видно из: приведенных обзоров высоких технологий > и прессы, общая: тенденция развития обучающих систем заключается в построении своеобразного глобального «банка знаний» - электронных библиотек, хранилищ, данных - для целей- общего среднего, специального и высшего образования в- России; Естественно, параллельно идут работы и по усовершенствованию механизмов = доступа и извлечения знаний;
Подавляющие большинство алгоритмов обработки текстовой информации, основано на так называемой "векторной модели, текста", предложенной Дяс, Солтоном (Salton G;)^ в 1975 году. Работа Солтона; представляет собой теоретическую основу современных: информационно-поисковых систем^ в их классической реализации. В таких системах должна: поддерживаться некоторая совокупность-словарей терминов (ключевых слов),, а сам текст представляться-в виде двоичных векторов. Способность классифицировать' бинарные вектора, которую предоставляют нейронные сети, хорошо сочетается с классической моделью Солтона.
Особое место в автоматизированных системах обучения занимают системы, контроля* знаний, тестирующие системы, в первую очередь реализующие основополагающий принцип автоматизации — обратную связь, т.е, воздействие реактивной составляющей выхода системы, обучения (в данном случае качества
знаний обучаемых) на ее же вход (базу знаний) с целью выработки наилучшего воздействия (методологической составляющей) на процесс обучения.
Разработке одного из вариантов тестирующей системы как части автоматизированной обучающей системы и посвящена настоящая работа.
Накопленные к настоящему времени колоссальные объемы информации и современный уровень проникновения автоматизированных систем в сферу управления и образования определяют актуальность и значимость исследований в области автоматизации процессов контроля знаний в образовании- Под термином "знания" будем понимать совокупность терминов и определений (формулировок) предметной области, сформированную в сознании человека.
Ставшие классическими модели. представления и контроля знаний: одиночного выбора, множественного выбора, упорядочивание и; др, ориентированы на автоматизированную обработку данных в ЭВМ, но слабо учитывают возможность угадывания; правильного ответа. Модели заданий, открытого типа позволяют значительно снизить вероятность угадывания ответа в процессе контроля знаний. Однако в настоящее время это направление исследований- проработано достаточно слабо, о чем свидетельствуют существенные ограничения, накладываемые моделями контроля знанийна форму заданий открытого типа- Поэтому следует, признать актуальной проблему автоматизации контроля знаний посредством заданий открытого типа.
В настоящее время задания открытого типа являются составной частью большинства автоматизированных систем контроля знаний (АСКЗ). Однако ;во? всех этих системах оценка правильности текстового ответа основашг на методе абсолютного совпадения ответа с одним из эталонных вариантов текста- При этом в ряде систем (таких как. TeachLab^ PROUST) ответ может засчитываться как правильный либо частично правильный, в других (например^ CALAT, LISP-Tutor, ЦКТ, AGT) ответ считается правильным, при совпадении-хотя бы, с одним из эталонов, хранящихся в базе данных системы. Предложение считается в этих системах единым целым, неделимым и неизменяемым эталоном ответа.
Существующие модели контроля знаний ограничивают возможности
автоматизированных систем контроля знаний, так как не позволяют
автоматизировать процесс контроля знаний терминологии предметной области
путем анализа ответов на задания, требующие ввести с клавиатуры определение
» (формулировку) того или иного термина- Например, в существующих АСКЗ легко
* реализовать анализ ответа на задание открытого типа следующего вида: "Введите
термин, которому соответствует определение «Данные, предназначенные для управления конкретными компонентами системы обработки информации в целях реализации определенного алгоритма»" (стандартизованное определение термина «Программа», предметная область «Информатика»), В то же время в широко известных АСКЗ не реализован автоматизированный анализ текстового ответа на обратное задание открытого типа: "Введите определение термина «Программа»".
В связи с этим снижается эффективность автоматизированного контроля; знаний с применением информационных систем
Таким образом, необходимо автоматизировать процесс контроля знаний терминологии предметной области путем разработки моделей анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина.
Разработанные и широко применяемые в настоящее время і модели анализа ответов на: задания открытого типа обладают как достоинствами, так и недостатками.
К достоинствам относятся:
отсутствие у учащихся возможности угадать правильный ответ;.
задания открытого типа удобно использовать при проверке *4 номенклатуры понятий и учебной эрудиции учащихся;
Все существующие системы контроля знаний обладают общими недостатками:
ответ анализируется либо по совпадению; ключевых слов, либо по полному совпадению ответа с эталоном;
не исключена возможность неоднозначно сформулированных заданий;
« отсутствует возможность анализа ответов на задания открытого типа, требующие ввести с клавиатуры определение (формулировку) того или иного термина предметной области.
Характерной чертой естественных языков является синонимия1 понятий (терминов). Поэтому для реализации АСКЗ, имеющей возможность анализа-ответов на задания открытого типа, важное значение имеет учет синонимии понятий, а следовательно, актуальны вопросы учета синонимии терминов при анализе ответов на задания открытого типа.
В связи с эти актуальным на сегодняшний день является диссертационное исследование, направленное на разработку моделей анализа ответов на задания открытого типа^ требующие ввести с клавиатуры определение (формулировку) того или иного термина предметной области,
В настоящее время все большее значение приобретают модели количественной; оценки естественно-языковой информации: по- различным критериям. Большое значение для автоматизированных систем управления, образовательного назначения (АСУОН) имеют модели оценки ответов, представленных в виде: свободного текста произвольной длины. В диссертационной работе предлагается использовать модель вычисления показателя синонимической близости двух текстовых выражений, основанную на учете коэффициентов синонимии терминов предметной области,_
Основное- противоречие состоит в необходимости^ автоматизировать ^ процесс контроля знаний терминологии предметной области путем анализа, ответов на задания, требующие ввести определение того или. иного термина, с одной стороны, и отсутствии разработанных моделей такого анализа, с другой стороны.
Цель диссертации. - разработка моделей анализа ответов на: задания открытого типа, требующие ввести определение того или1 иного термина, позволяющих повысить эффективность. контроля знаний терминологии предметной области.
Для достижения поставленной цели необходимо решить следующие задачи.
1. Разработать общетеоретическую модель представления: и контроля знаний.
2,Разработать модель обработки текстового ответа при?контроле знаний на основе словаря синонимов.
3.Разработать аналитическую модель расчета показателя синонимической близости двух текстовых выражений на естественном языке.
4. Разработать АСКЗ для автоматизации процесса контроля знаний терминологии на основе предложенных моделей.
Объектом исследования являются автоматизированные системы управления образовательного-назначения, предназначенные для контроля знаний в рамках учебного курса по информатике.
Предметом исследования являются модели контроля знаний,с применением синонимических рядов в АСУОН,
В. процессе: исследования ^ использовались модели; и методы1 теории множеств,,комбинаторики, математической статистики, семантического анализа текста и построения синонимических, рядов, методы объектно-ориентированного программирования и; разработки автоматизированных систем (системного анализа). Проведенные диссертационные исследования основаны на научных1 трудах таких известных ученых в областях автоматизации обработки информации, информатизации образования и контроля знаний как А.И, Галушкин, Р, Левин, П. Брусиловский, B.JL Дунин-Барковский, С.А. Шуйский, И, Сегалович, B.C. Аванесов, И.В. Роберт, О.А. Козлов.
Научная новизна:
К Разработана общетеоретическая модель представления и контроля знаний на основе синонимических рядов терминов предметной области, которая в отличие от. существующих моделей позволяет установить соответствие между тестовыми ответами и эталонным определением одного термина предметной области, представленными в виде текста произвольной длины с использованием слов-синонимов.
2, Разработана модель обработки ответа обучаемого на задание открытого типа с применением синонимических рядов, которая позволяет связать эталонные определения и ответы в пространстве терминов предметной области через поверхность синонимов и дает возможность анализировать ответ тестируемого, данный в виде свободного текста произвольной длины.
3 - Разработана аналитическая > модель вычисления показателя синонимической близости эталонного определения и ответа, отличающаяся использованием коэффициентов синонимии терминов, что дает возможность поэлементного анализа ответов на задания открытого типа,
4, Разработана автоматизированная система контроля* знаний, отличающаяся, совместным использованием технологий: экспертных систем и информационного поиска, что^ дает возможность автоматизировать процесс контроля знаний^ терминологии предметной области, реализовав анализ ответов на задания открытого типа, требующие ввести определение того или иного термина*
Основные положения, выносимые на защиту:
Общетеоретическая модель представления и контроля знаний терминологии предметной области.
Модели обработки текстового ответа с применением синонимических рядов,
Автоматизированная система контроля знаний, в которой* реализована возможность анализа ответов на; задания открытого типа; требующие ввести определение термина на естественном языке, позволяющая обеспечить вычисление показателя синонимической близости эталонного определения' и-ответа на естественном языке.
Теоретическая ценность: предложена общетеоретическая: модель контроля знаний- Она позволила установить соответствие1 между -терминами эталонного определения и ответа при помощи синонимических рядов.
Разработана модель обработки ответа обучаемого на задание открытого типа, которая позволила обосновать использование числовых показателей
синонимии терминов для вычисления показателя синонимической близости эталонного определения и тестового ответа при реализации прикладного программного обеспечения автоматизированной системы контроля знаний.
Разработана аналитическая модель вычисления показателя синонимической, близости эталонного определения и тестового ответа: Она. позволила провести расчет показателя взаимного синонимического соответствия двух текстовых выражений.
Практическая ценность работы; разработанный на основе предлагаемых моделей программный, продукт позволил автоматизировать процесс контроля знаний терминологии предметной' области путем анализа ответов на задания открытого типа, требующие ввести определение того или иного' термина: Применение синонимических рядов, по результатам опроса преподавателей-экспертов, позволило повысить эффективность тестирования с применением, автоматизированных систем контроля знаний на -10-15%.
Научные результаты и положения диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах:
на.отчетном семинаре Института^ информатизации образованиям РАО о результатах комплексной программы «Информатизация образования» (г. Москва;. 2000 г,};
на * VII Международной научно-практической: конференции «Современные информационные технологии» (Пенза, 2000г.);
на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования» (Санкт-Петербург, 2004г.);
на Международной конференции «Компьютерная лингвистика и интеллектуальные технологии» ДИАЛОГ-2004 (Москва, 2004 г.);
Разработанный* пакет прикладных программ был представлен на Международном конкурсе-конференции «Технологии Microsoft в теории и практике программирования», проходившем в 2004 г, в Санкт-Петербурге, где был особо отмечен фирмой Microsoft в секции «Приложения и; инструменты» и
12 удостоен третьего места, что подтверждено дипломом фирмы Microsoft (Приложение Г),
Результаты диссертационного исследования использованы при решении практической задачи- проведении тестирования студентов Пензенского государственного педагогического университета им. В.1\ Белинского на знание терминологии предметной области «Информатика», что подтверждено актом внедрения. Результаты исследования также использованы при разработке системы "Автоматизированная система контроля знаний" для обеспечения контроля качества учебного процесса в Научно-учебном центре Калужского филиала ОАО "Центртелеком", что подтверждено актом внедрения. Создан и внедрен пакет прикладных программ для проведения тестирования, обработки данных тестирования и организации семантических баз знаний — синонимических рядов и числовых показателей синонимии для части терминов конкретной предметной области.
Применение автоматизированных обучающих систем в образовании
Обучение как регулируемый процесс представляет собой управляемый: перенос знаний от обучающего (преподавателя, консультанта, эксперта) к обучаемому (ученику, студенту, слушателю). В условиях организации учебного процесса с использованием технических средств обучения, в частности, компьютерных информационных технологий, неизбежно возникает ряд теоретических и практических вопросов,. касающихся адекватности этих технологий обучения, а также контроля знаний и навыков.
Естественным решением этих вопросов является - конструирование автоматизированной обучающей системы, (АОС), обладающей, объемом- и. качеством знаний, соизмеримыми со. знаниями? преподавателя, иными словами, системы достаточно интеллектуальной, способной оказывать на обучаемого адекватное обучающее воздействие. Кроме того, АОС должны обладать свойством инвариантности по отношению к знаниям, закладываемым в- базы знаний, В них также должно присутствовать свойство адаптивности; Такие системы получили название интеллектуальных обучающих систем (ИОС).
Адаптивно-обучающая технология [50] развивается в рамках современного подхода к. проблеме-обучения, который был предложен Гордоном Паском и развит профессором JLA, Растригиным. Отношения .между учеником и учителем рассматриваются как отношенияг между объектом управления: и управляющим устройством, что позволяет использовать методы теории управления. Так как построение точной модели сложного о&ьекта практически невозможно, в каждом конкретном случае строится приближенная модель и ее параметры адаптируются для обеспечения адекватности реальному объекту.
Проектирование интеллектуальных обучающих систем с самого начала страдало от того факта, что методология создания основного программного обеспечения не разрабатывалась специально - для- обучения и; не обладала всеми. необходимыми: атрибутами для, поддержки интеллектуального обучения. Традиционная, разработка ИОС обыкновенно основывалась на парадигме экспертных-систем (ЭС), однако все более популярной среди разработчиков становится парадигма нечеткой логики.
Построению интеллектуальных обучающих систем посвящено множество работ. Предлагаемые их авторами подходы четко показывают уровень развития теоретических исследований и;1 их практической . реализации, в тот или иной период времени,
В 70-х — начале 80-х годов исследования в области ИОС ограничивались попытками обучить очень детально узкому предмету. Подход, лежащий.в основе интеллектуального компьютерного обучения, традиционно основан.на.имитации учителя, уделяющего индивидуальное внимание; каждому обучаемому и обучающему очень узкой теме; Большинство студентов, обучаются, другим образом. От преподавателя, ориентирующего свой урок на среднего обучаемого» они. получают намного «менее детализированную» информацию. Если у обучаемого возникают трудности; преподаватель бегло анализирует проблему и вкратце объясняет обучаемому путь решения.
Однако в настоящее время в области компьютерного и программированного обучения начала складываться новая тенденция. С появлением мультимедиа и глобальных сетей (Интернет) стало очевидно, что-компыотеры способны обучать, большому объему первоочередных, поучительных знаний, представляя их в привлекательной форме, мотивирующей процесс обучения.
Контрольное тестирование и.устный опрос являются одними из наиболее широко используемых и хорошо- разработанных; средств проверки знаний в высшем образовании. Классический тест представляет собой последовательность достаточно простых вопросов. На каждый вопрос имеется простой ответ, который может быть формально г проверен и оценен как правильный;, неправильный или частично правильный (например, неполный). Вопросы обычно классифицируются по типам соответственно типу ожидаемого ответа. Классические типы тестовых, заданий делятся на вопросы типа одиночный выбор [много вариантов/один ответ], вопросы типа множественный выбор много вариантов/много ответоври вопросы открытого типа с текстовым или числовым ответом. Другие типы; тестовых заданий включают вопросы на соответствие» вопросы на правильную последовательность, вопросы на указывание (ответ - одна или несколько областей на рисунке), а также графические вопросы (ответ - простой граф)- Кроме этого, каждая предметная область может иметь некоторые специфические типы вопросов.
Тестирующие и опрашивающие компоненты были первыми интерактивными компонентами, примененными в Web-основашюм обучении (WBE - web-based education), и в настоящее время они являются наиболее разработанными. Существующие тестирующие системы отличаются по многим аспектам, касающимся выполнения контрольных тестов и опросов Сравнительные характеристики некоторых широко известных автоматизированных систем контроля знаний приведены в таблице 1Л,
Предварительный анализ характеристик, проведенный по показателю «Типы, вопросов, применяемых в тестирующей системе», показывает, что не все системы способны проводить тестирование с применением вопросов открытого типа. Такой возможностью не обладают, например, системы WITS (Okazaki, Watanabe & Kondo, 1997), ELM-ART-II (Webeiy Specht, 1997), InterBook (Brusilovsky & Schwarz, 1997).
Роль и место экспертных систем в образовании
Вошедшее в моду в середине 80-х годов понятие «экспертная система» так и не было до конца сформулировано и теоретически обосновано. Суета каждодневной погони за неведомыми доселе чудесами компьютеризации не позволила ни одному из выдающихся теоретиков-информационщиков довести дело до логического конца- формального описания общих принципов, свойств и методов построения экспертных систем,. Дело ограничивалось лишь разработкой и применением систем, обладающих, экспертными знаниями, для: решения частных задач.
Экспертная система - expert system - особый класс систем искусственного интеллекта, включающий знания об определённой слабо структурированной и трудно: формализуемой узкой предметной области [50] Экспертная система способна предлагать и объяснять разумные решения. Ее основным - назначением является: интерпретация данных, диагностика состояния, мониторинг, прогнозирование, планирование и обучение,.Все эти задачи по существу сводятся к распознаванию образов, (Нехаев С-А,, Андреев ИЛ., Кривошеий Н-В., Яскевич Я.С «Словарь прикладной-интернетики», Сетевой: холдинг WEB PLAN Group, http://www, webplan.ru).
В понятие экспертных систем человек вкладывает либо слишком широкий круг задач либо слишком узкий: Экспертная система лишь средство для; автоматизации поиска наилучших решений на основе знаний эксперта, представленных в базе знаний.
По мнению, Р Левина и др, [47], «экспертная- система должна быть, ориентирована на строго конкретную предметную область, иначе она будет бесполезна», что подразумевает наличие в экспертной системе базы: знаний, ограниченного объема. Разрастание, увеличение баз знаний: до гигантских масштабов,, попытка создать некое подобие «универсальной, всезнающей» экспертной системы в принципе нецелесообразна ввиду человеческого стереотипа специализации деятельности.
Один из методов представления знаний в экспертных системах основан на концепции базы знаний представляющей собой специальным, образом организованное хранилище данных, отражающих количественные и/или качественные сведения об объектах, явлениях, процессах; их связях и отношениях. Такие сведения, полученные путем анкетирования т,н; «экспертов» -людей, по; мнению создателей либо эксплуататоров: той или иной «экспертной; системы» считающихся лучшими специалистами в: своей области знаний, деятельности.
Для организации баз знаний-важное значение имеют, модели представлениям знаний.. В качестве моделей/ знаний; используются логические модели семантические сети, продукции и т.д.
В соответствии3 с моделью знаний экспертной системы на основе знаний-человека-«эксперта» строится база знаний. Одним:- из недостатков любой: экспертиойсистемыявляется то; что эта система наследует качество знаний (как достоинства,.так ИІ недостатки), экспертов, участвующих В: формировании базы знаний.
К сожалению, экспертные системы требуют постоянного обновления для того, чтобы постоянно быть актуальными, В то время как экспертные системы предлагают хорошую возможность для просмотра данных в хранилищах - «базах знаний»,, требуемые обновления; могут либоF игнорироваться,, либо выполняться, вручную администратором-специалистом по знаниям. Как минимум, это приведет к экспертной системе с недостаточными (ослабленными) возможностями- Отсюда следует вывод о необходимости постоянного поддержания баз знаний экспертной системы. в актуальном состоянии, что требует определенных эксплуатационных затрат - профессиональных: трудовых (со стороны людей-экспертов. и технических администраторов системы) и финансовых,(со стороны менеджмента системы).
Таким- образом, экспертная система, являясь компонентой, составное частью систем искусственного интеллекта; (ИИ),, представляет человеку лишь средство для опосредованного использования через базы знаний; других людей «экспертов» для- организации и выполнения своей профессиональной деятельности.
Необходимость реализации экспертных систем в нейросетевом логическом базисе возникает при значительном увеличении числа правил и выводов. К таким отраслям знаний и относится, в частности, обучение и контроль обученности. В нашем случае экспертная система потребует привлечения в качестве экспертов преподавателей определенных дисциплин курсов: наук для наполнения; баз знаний определенными сведениями по- изучаемым темам, формирования экспертных оценок (в том числе и вероятностных) для шкалирования некоторых показателей вопросов {например, сложность) и ответов (например, корректность), являющихся информационным содержанием тестирующей системы.
Автором настоящей работы был проведен поиск и анализ существующих в открытых источниках сведений об экспертных системах, так или иначе связанных со сферой его профессиональных интересов. Обзор некоторых таких, средств представлен ниже,
В работе [47] авторами приводится описание экспертной системы анализа обучения,, которая используется для выявления- трудностей,, препятствующих, усвоению материала. По мнению авторов, общепринятым методом; исследований являются использование стандартных тестов и сбор данных: Тесты.применяются в основном для: оценки в общеобразовательных дисциплинах,. например чтении, правописании, или арифметике; Кроме того, они дают, возможность оценить словарный запас и умение точно выражать свои мысли. В процессе тестирования собирается: информация, относящаяся как к дошкольному, так и к школьному периоду. Собранная информация включает сведения о школьной, и домашней среде и служит, для оценки психологических и социальных аспектов процесса обучения. Исследователь анализирует результаты тестов,.выполняет необходимые вычисления, выявляет ключевые трудности восприятия материала, обобщает данные, касающиеся социальных и психологических аспектов, и дает оценку способностей ребенка к обучению Экспертная система, охватывающая весь круг проблем; возникающих, при обучении, должна работать аналогично. В данной, работе на конкретных примерах описано создание экспертной, системы анализа; обучения (САО)л Система выполняет полнышцикл исследований; обеспечивая глубокий и точный анализ-Конечно, оценки, которые дает человек, до известной степени субъективны. Люди часто, рассматривают лишь, небольшое число фактов и делают поспешные: выводы- Система же, подобная САО; может, "руководить" исследователем, не позволяя пропускать существенные факты и заставляя его более; объективно выполнять логические выводы.
Разработка модели контроля знаний с использованием синонимических рядов
Кривая обученности Данный подход неоднократно применялся ведущими специалистами в области теории обучающих систем [25, 47]," и поэтому в данной" работе его обоснование подробно не рассматривается. Для целей данного исследования интересен только факт разделения процесса обучения на определенные этапы, характеризующиеся, с формальной точки зрения, различной скоростью обучения (приобретения профессиональных навыков). I этап можно условно назвать "этапом ознакомления". Он характеризуется, как правило, невысоким уровнем начальных знаний и низкой скоростью освоения учебного материала. II этап назовем этапом "прогрессивного обучения", характеризуемым высокой стабильной скоростью освоения учебного материала для большинства обучаемых. III этап - этап "насыщения". Для этого этапа характерно снижение скорости освоения материала- Это происходит по ряду причин: A) повышение сложности учебного материала, и, как следствие, увеличение времени для его освоения; Б) индивидуально-психологические возможности обучаемого; B) усталость обучаемого IV этап - "выход на плато обученности". Характеризуется; практически нулевым приростом навыков, однако, в пределе, стремящемся к максимальному показателю обученности. На этом этапе закрепляются навыки, приобретенные в процессе обучения Следуя приведенной схеме, в начале курса обучения на основе рекомендаций Министерства Образования преподавателем составляется план проведения занятий в соответствии с отведенным количеством часов для лекций, лабораторных и практических работ. Этот план не изменяется до поступления новой директивы, и занятия проводятся в соответствии, с ним без отклонений ежегодно по одной схеме В этой схеме выделяются три этапа:
1. Получение теоретических знаний на основе лекций, учебных пособий, стендов и макетов; 2. Получение практических навыков в ходе работы с действующими макетами на практических и лабораторных занятиях; 3, Контроль и проверка полученных знаний и навыков. Этап включает; в себя контрольные работы, вопросники по теоретической части курса, тесты на применение практических и теоретических навыков и в завершение курса - зачет или экзамен. Необходимо отметить, что, следуя приведенной методике обучения,. методические материалы формируются лишь.один;раз в начале курса обучения и в процессе обучения не корректируются.
Сложность процесса обучения, в целом заставляет преподавателей чередовать этапы теоретической подготовки, практических занятий; и промежуточной проверки знаний;
Результаты, полученные на этапе промежуточной проверки знаний; как правило, служат для оценки усвоения пройденного материала каждым обучаемым, в группе, что может быть использовано для оперативной корректировки методики; обучения.
Известно также, что любая современная автоматизированная обучающая система основывается на использовании принципов искусственного интеллекта и, базы, знаний, В базе знаний; в соответствии с принятой в ней. методологией классификации, располагаются \ соответствующим образом упорядоченные экспертные сведения об объектах познания, реально образующие совокупность знаний по определенным предметным областям. Применительно к нашей: тестирующей; системе экспертная база знаний будет состоять из тезауруса (толкового словаря) предметной области «Информатика», составленного на основании отбора экспертных формулировок конкретных терминов.
Специфика подготовкиспециалиста любого профиля деятельности требует создания определенной модели обучения; Модель обучения, как правило, представляет собой совокупность, модели? обучаемого, модели (базы знаний) предметной области (ПО) и модели концепции (содержания) - обучения. Рассматривая такие области знаний, как математика, информатика, физика и другие естественнонаучные дисциплины, мы сталкиваемся с четко определенными понятиями; и правилами ПО, которые характеризуются: высокой степенью формализации; Подобные области знаний описывают набором определений,, понятий и правил, устанавливающих взаимосвязи, между ними. Основываясь, на, исследовании, приведенном в главе її настоящей работы, .будем; исходить.из;предположения; что знания уже представлены в виде семантически упорядоченных наборов данных..
Основной- особенностью интеллектуальных, систем обучения является их адаптивность,, т.е. оптимизация; процесса обучения,. На сегодняшний день, не существует универсальной методики обучения,.поэтому преподаватель выбирает наиболее приемлемый способ обучения исходя из:собственного опыта, что.не всегда бывает оптимально,. Здесь в качестве критерия эффективности рассматривается полнота и прочность усвоенных обучаемым знаний, уровень изучения теоретического материала, корректность усвоениям обучаемым основополагающих понятий: (терминов,, определений) изучаемой предметнойі области.
Практические испытания разработанной автоматизированной системы контроля знаний
Предлагаемая, схема тестирующей системы соответствует общепринятым принципам информационного поиска и обработки текстовых данных, основанным-на векторной: модели текста Солтона, механизме стемминга (русскоязычная версия?алгоритма Портера), смысловой конкатенации термов, ранжировании мер близости \ по классам принадлежности понятий предметной области (в упрощенном виде -кластеризации).
Система контроля корректности текста является составной частью экспертной тестирующей системы, входящей в состав экспертной обучающей системы, ив свою очередь, состоит из. нескольких, модулей, каждый, из которых включает набор взаимосвязанных процедур, объединенных по принципу общего функционального назначения;
Модуль «Конвертор №1» выполняет функцию формализации входного текста; т.е. приводит его виду, удобному длядальнейшей обработки (выделение основ слов, отбрасывание стоп-слов и т.д.).
Модуль «Конвертор №2» выполняет функцию формализации текста эталонной формулировки и функционально схож с конвертором №1 Далее, текст, полученный на: выходах конвертора №1 и? конвертора №2, поступает в модуль «Семантический компаратор», который производит сравнение эталонной и фактической -. формулировок и выдает количественные характеристики, их взаимного соответствия. Выходные данные семантического компаратора могут быть использованы для оценивания ответа обучаемого и формирования методических воздействий.
Следующим зшюм работы тесшрующей системы является выделение основ слов. Общеупотребительным термином для данной операци и является слово «стеммннг» Stemming), фактически описывающее собой процедуру кусечепия» слов до размеров отдельных словоформ, еще обладающих свойством смыслового содержания (семантики) Семантическая чувствительность метода (операции стемминга) определяется используемым набором словоформ, т,н. словарем основ (основным словарем), В данном плане также должны быть использованы уже имеющиеся разработки (см. например ЫtplI/вm wЬШЛщшmsлжg/тu mnhiem-Фl) Кроме того, одновременно с оїїершшей етемминга проводится: еще одна дополнительная операция - жсключенне стон-сло т.е общеупотребительных слов, предлогов спецсимволов, знаков, в общем случай не влияющих ш семантику текста, выражения (на релевантность преобразования, симметричность отображения в смысле отображения полного текста фразы во множество конкатенируемых термов). Инъектмвное отображение, наследование свойств исходного множества.
В настоящее время также известны несколько источников, имеющих т.н, «списки стоп-слов» конкретно для русского языка. Это позволяет, также как в случае с первичным грамматическим анализом текста, исключить необходимость индивидуальной разработкитаких списков и основных словарей..В общем случае, большинство специалистов в области обработки текстовой информации (особенно в поисковых системах Интернет) употребляет термин «стемминг», имея в виду обе указанные выше операции:, выделение основ слов и отбрасывание: стоп-слов.
Имеющиеся русскоязычные версии алгоритма Портера (стемминг), разработанные применительно к поисковым сервисам Интернет, в нашем случае позволяют упростить реализацию системы (с необходимыми качествами) на уровне разработки прикладного продукта, оставив лишь необходимость изготовления; программного интерфейсаЕ для передачи/получения данных от одного модуля к другому.
Таким образом, данная фаза обработки текста завершается формированием последовательности термов сохраняющей семантику исходного текста В данном случае сохранение семантики в результате преобразований гарантируется применением механизмов и средств (в т.ч. программных), заведомо обладающих, свойствами и параметрами, обеспечивающимивысокий уровень достоверности, и гарантирующих тождественность преобразований в смысле сохранения семантики. Это подтверждается многолетней постоянной эксплуатацией поисковых сервисов Интернет, также основанных на используемых автором; настоящей работы принципах обработки текстов; векторной? модели текста Солтона, алгоритме Портера (стемминг), конкатенации термов и ранжировании векторных, расстояний. Остается только заметить, что с течением времени-качество работы и возможности поиска таких систем только увеличиваются, что связано как с возможным введением новых методов реализации поисковых машин на основе нейросетевой технологии, так и с ростом и усовершенствованием (на основе статистической обработки больших индексных массивов) накопленных баз знаний непосредственно в процессе их эксплуатации.
