Содержание к диссертации
Введение
I. Тестовый контроль знаний и проблема понимания естественного языка. Тестовые задания открытого типа . 9
1.1. Общие положения тестового контроля знаний. Современная классификация тестов. Тестовые задания открытого типа . 9
1.2. Системная организация естественного языка. Вопросы формального понимания естественного языка. 17
Заключение. 29
II. Модель знаний таксономического характера и методология их оценки на основе тестовых заданий открытого типа . 31
2.1. Модель эталонных знаний таксономического характера . 31
2.2. Гипотетическая модель субъективных знаний таксономического характера. 41
2.3. Модели иерархического списка для представления знаний таксономического характера при проведения тестирования на основе заданий открытого типа. 43
2.4. Алгоритм перехода от естественно-языкового представления знаний таксономического характера в виде иерархического списка к гипотетической модели. 49
2.4.1. Алгоритм перехода от фразовой к лексической модели иерархического списка 50
2.4.2. Алгоритм перехода от лексической к семантической модели иерархического списка 54
2.4.3. Алгоритм перехода от семантической модели иерархического списка к гипотетической модели знаний таксономического характера 63
2.5. Методика оценки субъективных знаний таксономического характера. 73
Заключение. 90
III. Анализ и структура информационной системы оценки знаний таксономического характера на основе применения тестовых заданий открытого типа . 93
3.1. Концептуальная схема системы оценки знаний . 93
3.2. Проект информационной системы 96
3.2.1. Модель данных информационной системы. 97
3.2.2. Модель логической структуры информационной системы. 101 Заключение. 123
IV. Программная реализация и применение информационной системы оценки знаний таксономического характера на основе применения тестовых заданий открытого типа . 124
4.1. Программная реализация информационной системы . 124
4.2. Применение информационной системы. 132
Заключение. 138
Основные результаты 139
Список литературы 141
Приложение 1 153
Приложение 2 157
Приложение 3 176
- Общие положения тестового контроля знаний. Современная классификация тестов. Тестовые задания открытого типа
- Модель эталонных знаний таксономического характера
- Концептуальная схема системы оценки знаний
- Программная реализация информационной системы
Введение к работе
В различных отраслях промышленности, науки и техники существует стремление к обобщению, упорядочиванию, систематизации и классификации знаний, так как знания именно в систематизированном виде наиболее доступны для понимания и передачи от человека к человеку. С этой точки зрения систематизацию знаний, как научное явление, можно рассматривать как один из фундаментальных процессов в науке. При этом для наиболее наглядного представления знаний в систематизированном виде часто используются таксономические структуры, то есть структуры однотипных элементов предметной области, в которых предусмотрена иерархия групповых соотношений, установленных по разным параметрам, так что эта группировка однозначно указывает размещение групп относительно друг друга и положение каждого элемента в системе. Таксономические структуры позволяют представить комплексно, в сжатом и достаточно наглядном виде многие упорядоченные структуры взаимосвязанных элементов: различные классификации, составные части конструкций машин и механизмов и т.п. Часто они образуют как бы основу теоретических знаний по дисциплине или специальности, знание которой для специалистов соответствующего профиля является обязательным. В этом случае, при осуществлении контроля знаний по некоторому теоретическому курсу, контроль качества усвоения указанных выше знаний становится первостепенным по своей важности.
В настоящее время основой контроля качества профессиональных знаний специалистов является тестовый контроль знаний. Анализ современного состояния в этой области показывает, что наиболее распространенным типом тестовых заданий, применяемых для тестового контроля профессиональных знаний, являются задания закрытого типа, которые предполагают выбор испытуемым одного или нескольких ответов из предварительно разработанного списка их возможных вариантов. Их широкое применение в первую очередь обуслов-
лено удобством обработки результатов тестирования. Но задания закрытого типа имеют и существенный недостаток, снижающий уровень объективности результатов тестирования, связанный с наличием подсказки в виде меню возможных вариантов ответа. Это так называемая проблема угадывания правильных ответов, которая, несмотря на имеющиеся некоторые разработки по методикам ее учета, в настоящее время не имеет кардинального решения.
Указанного принципиального недостатка лишены тестовые задания открытого типа, которые предполагают формулирование ответа испытуемым, обычно в форме пропущенного выражения или слова,. при отсутствии меню возможных вариантов ответа. Применение тестовых заданий открытого типа с максимально свободной формой изложения ответа без ограничений на его форму сдерживается сложностью проблемы машинного понимания естественного языка и проблемы оценки полученных ответов.
В связи с этим представляется актуальным поиск и создание таких форм тестовых заданий открытого типа с ограничениями на структуру естественноязыкового ответа, которые с одной стороны максимально упрощают алгоритм машинного понимания ответа, а с другой стороны предоставляют испытуемому максимальную степень свободы изложения своих знаний по конкретному профессиональному вопросу, а также разработка для них соответствующих методов оценки, не просто учитывающих правильность или неправильность формулировки ответа, а определяющих численный показатель качества ответа. Представляется актуальным решение указанной выше задачи для такого важного типа знаний, каковыми являются знания таксономического характера.
Целью данной работы является создание информационной системы оценки теоретических знаний таксономического характера у специалистов различных отраслей промышленного производства, основанной на применении тестовых заданий открытого типа с формой ответа на задание на основе структуры иерархического списка. Для достижения поставленной цели в диссертации были сформулированы и решены следующие задачи:
Предложена формальная модель эталонных знаний таксономического характера и формальная модель субъективных знаний.,
Предложена формальная модель иерархического списка как средства представления субъективных знаний таксономического характера в естественноязыковой форме.
Разработан алгоритм выявления субъективных знаний таксономического характера на основе анализа естественно-языкового ответа на вопрос по таксономии, представленного в форме иерархического списка.
Предложен комплекс показателей качества субъективных знаний таксономического характера в сравнении с эталонными знаниями, который учитывает как объем, так и качество таксономической структуры. На его основе предложена обобщенная оценка качества знаний данного типа.
Разработан алгоритм вычисления показателей качества субъективных знаний таксономического характера и обобщенной оценки качества знаний.
Разработана концептуальная схема системы оценки знаний данного типа. Проведен системный анализ информационных процессов системы оценки профессиональных знаний таксономического характера, на основе которого создана модель данных и модель логической структуры системы.
На основе модели данных и модели логической структуры системы создана экспериментальная программная оболочка для оценки качества субъективных знаний данного типа.
Диссертация состоит из введения, 4 глав, основных результатов, списка использованной литературы 110 наименований, 3 приложений и 2 актов, подтверждающего внедрение результатов работы.
Методы исследования базируются на комплексном применении положений теории множеств, моделей представления знаний, теории графов, комбинаторики и методологии структурного системного проектирования, основанной на CASE-технологии.
Научная новизна диссертационной работы характеризуется следующими
основными результатами:
Предложена и обоснована теоретико-множественная модель эталонных знаний таксономического характера и модель субъективных знаний;
Предложена и обоснована теоретико-множественная модель иерархического списка как средства представления субъективных знаний таксономического характера в естественно-языковой форме;
Разработан алгоритм выявления знаний таксономического характера субъекта на основе анализа его естественно-языкового ответа на вопрос по таксономии, представленного в форме иерархического списка;
Предложен комплекс показателей качества субъективных знаний таксономического характера в сравнении с эталонными знаниями, а также обобщенная оценка качества знаний данного типа;
Разработан алгоритм вычисления показателей качества субъективных знаний таксономического характера и обобщенной оценки качества знаний данного типа;
Разработана информационная система оценки профессиональных знаний таксономического характера.
Практическая ценность заключается в использовании системы моделирования и оценки знаний таксономического характера на основе использования тестовых заданий открытого типа в качестве средства автоматизации и повышения объективности оценки знаний таксономического характера специалистов в различных отраслях промышленности, а также в системе профессионально ориентированного образования для оценки соответствующих знаний учащихся. Полученные результаты могут быть распространены для оценки соответствующих знаний специалистов в других областях науки и техники.
Реализация результатов работы:
Система применяется на самарском швейном предприятии «Гармония» и в Самарском Государственном медицинском университете на кафедре «Педагогика, психология и психолингвистика».
На защиту в диссертационной работе выдвигаются:
Модель эталонных знаний таксономического характера и модель субъективных знаний.
Модель иерархического списка как средства представления знаний таксономического характера в естественно-языковой форме.
Комплекс показателей качества субъективных знаний таксономического характера в сравнении с эталонными знаниями и обобщенная оценка качества знаний данного типа.
Концептуальная схема информационной системы оценки знаний таксономического характера
Общие положения тестового контроля знаний. Современная классификация тестов. Тестовые задания открытого типа
В 70-е годы наметилась тенденция к поиску путей повышения объективности контроля и оценки знаний, что выразилось в дискуссии, развернувшейся на страницах научных изданий и в прессе [6,.7, 43, 47, 74, 78, 109]. Четко выявилось желание максимально освободить оценку от влияния личности преподавателя, его настроения, эффекта ответа предыдущего студента и других субъективных моментов. В качестве своего крайнего выражения это желание было сформулировано в мысли о том, что такая объективизация возможна на основе внедрения математического аппарата в процесс измерения успешности обучения. Этому способствовал и объективный процесс математизации всех областей науки, охвативший и педагогику.
При этом выявилась сложность измеряемых явлений, стало понятно, что требуется тщательное изучение содержания процессов усвоения, его этапов, механизмов, форм проявления в результирующей действительности и т.д. Без этого предлагаемые количественные оценки являются неадекватными [4, 7, 74], Наиболее приемлемой формой автоматизированного объективного контроля знаний были признаны тесты, применение которых имеет следующие положительные результаты: объективность оценки знаний, независящей от симпатий и антипатий преподавателя; оперативность контроля знаний; широкий охват проверяемого материала; снижение психо-эмоциональной нагрузки преподавателей и студентов; возможность применения тестов на всех этапах процесса обучения (входной контроль и самоконтроль, тематический, рубежный и итоговый контроль знаний), тесты дисциплинируют студентов, заставляют обращать внимание на детали изучаемой темы [31-33, 37, 38, 72].
В основе тестирования лежит классическая теория погрешности измерений, которая заимствована из физики. Считается, что тест такой же измерительный прибор, как вольтметр, термометр или барометр, и результаты, которые он показывает, зависят от знаний испытуемого, а также от самой процедуры измерения («качества» прибора, действий экспериментатора, внешних помех и т.д.). Знания имеют «истинный» показатель, а показания по тесту отклоняются от истинного на величину случайной погрешности [23].
В рамках классической теории тестов идея повышения точности измерений в существенной мере связана с понятием надежности. Источниками неудовлетворительной надежности теста являются: отсутствие инструкций к тестовым заданиям, ошибка тестируемого в форме задания, плохо сформулированные и громоздкие задания, малое число тестовых заданий, слишком большое число заданий, отсутствие общих правил оценивания [90].
Проблемы качества тестов как инструмента измерения, надежности и объективности тестовых оценок напрямую связаны также с вопросами валиди-зации тестов, достаточно широко освещенными в научной литературе [50, 57, 94, 98]. Валидность является одной из основных характеристик тестовой продукции. Суть понятия сводится к следующей общей концепции: «Валидность теста может быть определена как точность, с которой он меряет то, что он должен мерить, или как степень его годности для определенного измерения» [94]. Поскольку эффективность измерения может быть оценена только исходя из его цели, то валидность цели определяется тем, насколько он годен для поставленной цели. Так как валидность непосредственно связана с целью измерения, то она должна закладываться уже на этапе планирования и создания теста. На современном этапе развития тестологии выделяют три основных вида валидно-сти: содержательная, критериальная и конструктная. Под содержательной ва-лидностью для педагогических тестов обычно понимается степень, с которой тест охватывает по объему тот учебный материал, для проверки усвоения которого он создан. Она устанавливается на основе экспертных методов для деятельности, близкой или совпадающей с реальной. В работах [34, 94, 98] рассматриваются методы обеспечения содержательной валидности тестов. Критериальная валидность теста показывает, насколько точно результаты, полученные по данному тесту, могут быть использованы для определения существующего состояния или для прогноза эффективности деятельности испытуемого в той или иной области. В отличие от других видов теста, критериальная валидность выражается в количественном показателе. Для ее определения вычисляется коэффициент корреляции между тестовыми баллами и результатами прямых или косвенных измерений тех же свойств или характеристик испытуемых, которые проверяются тестом, по какому-либо внешнему по отношению к тесту критерию той же выборки. Конструктная (концептуальная) валидность определяется в тех случаях, когда представление об измеряемом феномене (конструкте) существует только в сознании разработчика теста, который может только строить гипотезу о существовании данного конструкта, его формах и характере проявления. Определяется конструктная валидность путем доказательства правильности теоретических концепций, положенных в основу теста [54].
В настоящее время в тестировании выделяют два основных подхода, основанных на различиях подходов к анализу результатов тестирования — тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные) [1, 2, 50]. При нормативно-ориентированной ориентации теста вывод завершается рейтингом испы 12 туемого: задания - ответы - выводы о знаниях испытуемого - рейтинг испы туемого. Оценка в рамках этого подхода дается на основе предварительно по лученных статистически обоснованных норм при предварительном тестирова нии группы испытуемых, репрезентативной для некоторой общности. При кри териально-ориентированном тестировании вывод строится согласно логической цепочке: задания - ответы - выводы о соответствии испытуемого заданному критерию. Данный подход дает возможность определить, что каждый испытуемый может сделать с точки зрения конкретной задачи, не соотнося его действия с действиями других членов группы испытуемых [97, 98]. Критерий определяется как по номенклатуре, так и по критическому уровню его значения.
Модель эталонных знаний таксономического характера
В данной главе анализируются знания таксономического характера, предлагается и обосновывается модель эталонных знаний таксономического характера (ЭЗТХ), модель субъективных знаний таксономического характера (СЗТХ), модель иерархического списка как средства представления СЗТХ в ЕЯ форме при проведении тестирования на основе заданий открытого типа, алгоритм перехода от ЕЯ представления СЗТХ в виде иерархического списка к модели СЗТХ, предлагается комплекс показателей качества СЗТХ и обобщенная оценка качества знаний данного типа, а также алгоритм их расчета.
Задачу формирования эталонной структуры, моделирующей некоторый фрагмента действительности или предметной области (ПО) традиционно разбивают на два этапа: этап концептуального или семантического моделирования ПО и этап моделирования собственно базы данных [85]. На первом этапе осуществляется переход от неформализованного описания ПО с учетом потребностей конечного пользователя к их формальному выражению, например на языке теории множеств. На втором этапе на основе формального описания ПО создается формальная модель базы данных в терминах одной из трех основных типов моделей данных: иерархической, сетевой или реляционной. На основе последнего представления создается программная реализация базы данных.
В данной работе на первом этапе строится модель ЭЗТХ некоторой ПО, под которой будем понимать концептуальную модель, описывающую одну или более независимых друг от друга таксономических структур на множестве понятий данной ПО с учетом принципов или критериев их таксономического деления на нижестоящие понятия. Под термином «понятия» далее в работе понимаются все те элементы объективной реальности указанной ПО (материальные объекты, их свойства, состояния и т.п.), которые участвуют в таксономиях и при этом имеют свое отражение в профессиональном языке ПО. Совокупность понятий ПО и критериев их таксономического деления будем называть семантиками ПО. Чаще всего принципы таксономического деления понятий ПО также имеют свое отражение в профессиональном языке ПО, за некоторым исключением, когда данные принципы понятны для специалистов ПО как бы без слов, по умолчанию, или же вся таксономия строится по единому принципу деления понятий. Такие «понятные без слов» принципы деления также учтем при построении модели ЭЗТХ.
В простейшем случае для формализации представления таксономии, выполненной по единому принципу таксономического деления понятий, в ПО выделяется некоторое множество А всех понятий, участвующих в таксономии. Далее на множестве А выделяется вершина таксономической структуры, и определяется отношение строгого порядка типа «часть-целое», «род-вид», «родитель-ребенок». То есть задается некоторый элемент атахеА и вводится отношение строгого порядка F, такое, что если выполняется а{Рщ, и а єА, то aj «подчинен» а; в смысле выбранного принципа таксономического деления понятий. При этом все понятия множества А подчинены элементу ащах, то есть для всех понятий агатах выполняется amaxFaj. Редукция отношения F [89] — отношение Fr=F\F - позволяет рассматривать отношение «непосредственного подчинения» одного элемента другому.
В реальности таксономические конструкции могут иметь более сложную структуру. В них могут встречаться структурные элементы, в которых один элемент множества понятий ПО делится на другие элементы разными способами и, зачастую, по разным критериям деления.
Концептуальная схема системы оценки знаний
Структуры знаний таксономического характера по каждому из классов эквивалентности понятий ПО и разрешенные комбинации из разных классов эквивалентности формируются на базе множества семантик ПО. Шаблоны распознавания семантик ПО задаются на основе тезауруса системы.
Лексика ответа может быть распознана в соответствии с лексической моделью иерархического списка Сіл (2.11) применением алгоритма распознавания лексики ПО к субъективной таксономии в ЕЯ форме иерархического списка с использованием информации о лексике из тезауруса системы (см. п.2.4.1).
Семантические единицы ответа могут быть распознана в соответствии с семантической моделью иерархического списка Qc (2.12) путем применения алгоритма распознавания семантики ПО к иерархическому списку, представленному моделью Сіл на основе знаний о семантике ПО и ЕЯ шаблонов распознавания семантик ПО с учетом ограничений, накладываемых блоком разрешенных комбинаций из разных классов эквивалентности (см. п.2.4.2).
На основе иерархического списка в форме семантической модели Ос формируются гипотетические субъективные таксономические структуры по каждому из классов эквивалентности понятий ПО, которые затем уточняются путем сравнением с эталонными таксономиями по соответствующим: классам эквивалентности ПО, на основании чего по каждому из классов эквивалентности формируются уточненные субъективные таксономические структуры.
Далее каждая из субъективных таксономии оценивается по пяти основным показателям качества и на основании заданных эталонных уровней определяется оценка качества СЗТХ по каждому из соответствующих классов эквивалентности. На основании полученных оценок и заданных эталонных уровней знаний таксономического характера на множестве кортежей понятий из разных классов эквивалентности понятий ПО вычисляется обобщенная оценка знаний таксономического характера 2 (2.47) субъекта. На основе полученной оценки делается вывод о соответствии уровня знаний квалификации субъекта.
При анализе и проектировании информационной системы (ИС) оценки знаний таксономического характера на основе применения тестовых заданий открытого типа была использована методология CASE-технологии [17, 29, 45, 86]. CASE-технология представляет собой методологию проектирования ИС, позволяющих в наглядной форме моделировать предметную область, анализировать эту модель и разрабатывать программные приложения в соответствии и информационными потребностями конечного пользователя. Большинство CASE - средств базируются на методологиях структурного анализа и проектирования ИС, использующих для описания внешних требований, связей между частями системы, динамики поведения системы и архитектуры программных средств спецификации в виде диаграмм или текстов.
Сущность структурного подхода к разработке ИС заключается в ее де композиции на функциональные подсистемы, которые в свою очередь делятся на подфункции и так далее. При этом автоматизируемая система сохраняет це # лостное представление, в котором все составляющие компоненты взаимосвяза ны. В основе наиболее распространенных методологий структурного подхода лежат ряд общих принципов: решение сложных задач путем их разбиения на множество меньших независимых более легких задач, организация составных частей задачи в иерархические древовидные структуры с добавлением новых деталей на каждом уровне, выделение существенных аспектов системы и отвлечение от несущественных. В структурном анализе используются в основном две группы средств, т описывающих функции, выполняемы системой и отношения между данными. Диаграммы потоков данных (DFD) и диаграммы сущность-связь (ERD), нота 97 ция которых была впервые введена П.Ченом - наиболее часто используемые виды моделей.
Программная реализация информационной системы
В этом же окне указывается формулировка вопроса и начала ответа. Окно «Ввод/редактирование знаний» (рис.4.-1} содержит список классов эквиванентности семантик ПО из которого эксперт может выбрать одно, структуру таксономии которого собирается просматривать или редактировать и условие для уточнения списка корневых, семантик, начиная с которого будет «разворачиваться» структура таксономии. Уточнять список корневых семантик можно определением условий для их системных номеров или заданием маски ЮІ названий. Маска названия семантик: представляет собой строку текста с допустимым включениями вспомогательных символов: «%» - любое количество любых символов и i j любой одиночный символ.
Кнопка «Показать» данного окна открывает окно редактирования подграфа таксономической структуры понятий выбранного класса эквивалент-кости (рис. 4.7), конструкция которого описана в п.3.3. Вся структура таксономических связей представлена ЇЇ виде дерева с вершиной - именем выбранного для редактирования класса жвк-валентности и узлами дерева трех типов: - узлами, соответствующим семантикам ПО, - узлами, соответствующими классам эквивалентности семантик ПО, - узлами, соответствующими отношениям между семантиками ПО. После открытия окна редактирования эксперт видит имя выбранного класса эквивалентности и список выбранных семантик, с учетом заданных на них ограничений по системному номеру и (или) названию. Кнопки управления окна редактирования позволяют производить все необходимые действия над структурой таксономических связей между семантиками ПО: - просматривать ранее сформированную таксономическую структуру, перемещаясь по дереву таксономии, сворачивая и разворачивая его узлы, подобно перемещениям по дереву каталогов программы «Проводник» операционной системы Windows, - добавлять в нее новые семантики, - переименовывать, удалять ранее созданные семантики, - создавать новые таксономические связи между семантиками, - удалять ранее созданные связи между семантиками, - открывать окно редактирования фраз-идентификаторов для выбранной семантики. Если текущий выбранный узел подграфа таксономии соответствует семантике (рис.4.8), то в правом нижнем окне редактора таксономической структуры открывается редактор, позволяющий просмотреть и (или) изменить условное наименования семантики. Для семантик, не относящимся к критериям, можно также определить (изменить) уровень их важности с точки зрения ПО. Эксперт также имеет возможность удалить текущую семантику (кнопка «Удалить») и создать новую семантику, одного уровня иерархии с текущей (кнопка «Новая»).
Если текущий выбранный узел подграфа таксономии соответствует отношению между семантиками (рис 4.9), то в правом нижнем окне редактора таксономической структуры открывается редактор, позволяющей просматривать и изменять список семантик, для которых выполняется отношение, соответствующее текущему узлу, между семантикой, соответствующей родительскому узлу относительно выбранного и каждой т семантик списка. Эксперт имеет возможность: создавать новую семантику, для которой выполняется названное выше условие (кнопка «Новая»), установить связь с ранее созданной семантикой, указав ее ушжалыгый системный номер (кнопка «Связать»), - установить связь с ранее созданными семантиками, список системных, номеров которых храниться в буфере системных номеров (кнопка «Вставить»), разорвать связь с семантикой указанной в списке семантик (кнопка «Разорвать»).
Для сохранения системных номеров семантик в буфере системных номеров в правом верхнем углу окна редактора таксономии предусмотрен список семантик, находящихся на одном уровне иерархии с семантикой, соответствующей выбранному узлу дерева (рис.4.8). Отмеченные галочками семантики" данного списка можно сохранить а буфере системных номеров (кнопка «Копировать»),
Для текущего выбранного узла подграфа таксономии соответствующего семантике доступен редактор шаблонов фраз для распознавания семантик (кнопка «Фразы»),
Основным элементом редактор шаблонов фраз (рис.4.10) является дерево шаблонов фраз, предназначенное для просмотра списка шаблонов фраз для распознавания семантик и быстрого перемещения к шаблону, который необходимо изменить.
Кнопка «Новая фразам добавляет на дерево шаблонов фраз новую пустую фразу ( рис.4.11) и одновременно открывает тезаурус системы (вкладка «Лексемы»), добавлением записей из котрого формируется новый шаблон фразы (кнопка «Добавить лексему»). Напомним, что каждая запись представляет собой совокупность неизменяемой основы слова и минимального и максимального количества символов аффиксов всех возможных орфографических форм слова с указанной неизменяемой частью. Убрать записи., составляющие фразу можно кнопкой «Удалить лексему». Тезаурус также доступен для добавления, изменения и удаления записей.
