Содержание к диссертации
Введение
1. Обзор и анализ средств контроля знаний 11
1.1. Виды и функции контроля знаний 11
1.2. Тестирование как форма контроля знаний 14
1.3. Теоретические основы тестирования 18
1.4. Критерии оценки компьютерных систем тестирования 29
1.5. Обзор компьютерных систем тестирования 38
Выводы 49
2. Модели и алгоритмы проведения тестирования 51
2.1 Модели в тестировании 51
2.2 Алгоритмы проведения тестирования 59
2.3 Применение алгоритмов тестирования при проведении междисциплинарного экзамена 67
2.4 ТЗ на программирование для алгоритмических языков 73
Выводы 78
3. Разработка состава и структуры программного обеспечения компьютерной системы тестирования 80
3.1 Формирования требований к КСТ 80
3.2 Разработка структуры и выбор средств реализации КСТ 86
3.3 Разработка семантической модели БД тестовых материалов 97
Выводы: 108
4. Описание разработанного ПО КСТ 110
4.1 Реализация подсистемы подготовки тестов 110
4.2 Реализация подсистемы тестирования 117
4.3 Реализация подсистемы анализа результатов тестирования 126
Выводы 129
Заключение 130
Литература 132
Приложения 145
- Критерии оценки компьютерных систем тестирования
- Применение алгоритмов тестирования при проведении междисциплинарного экзамена
- Разработка семантической модели БД тестовых материалов
- Реализация подсистемы анализа результатов тестирования
Введение к работе
Актуальность темы. На современном этапе развития образования в
России все больше внимания уделяется внедрению эффективных форм
контроля знаний. Одной из таких форм является проведение тестирования.
Это наиболее стандартизованный и объективный метод контроля и
оценивания знаний, умений и навыков испытуемого, который лишен таких
традиционных недостатков других методов контроля знаний, как
неоднородность требований, субъективность экзаменаторов,
неопределенность системы оценок и т. п. Наиболее эффективным является проведение тестирования с помощью компьютерных систем тестирования (КСТ). Основными преимуществами КСТ являются:
применение современных методов оценки знаний;
оперативность обработки результатов тестирования;
возможность реализации обучающей функции;
индивидуализация процесса усвоения знаний учащимися;
освобождение преподавателя от выполнения рутинных работ. Проведенный анализ существующих КСТ показал, что они в большинстве
случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных КСТ не поддерживает адаптивные методы проведения тестов, слабо развита политомическая оценка выполнения тестовых заданий.
Актуальность темы диссертационной работы определяется необходимостью разработки КСТ, устраняющей недостатки рассмотренных систем, обеспечивающей реализацию адаптивных методов тестирования, опирающейся при разработке тестов на теоретические основы как классической, так и современной теории тестирования.
Целью диссертационной работы является повышение эффективности контроля знаний с помощью КСТ, что позволяет своевременно получать информацию о качестве учебного процесса, необходимую для принятия
управленческих решений. Для достижения цели необходимо решить следующие задачи:
анализ существующих КСТ и выявление их достоинств и недостатков;
анализ существующих моделей и алгоритмов проведения тестирования;
поиск путей повышения качества тестирования с помощью использования КСТ;
разработка моделей и алгоритмов, повышающих эффективность использования КСТ;
разработка КСТ. Определение её структуры и функционального назначения её модулей. Выбор процесса разработки и технологий реализации;
апробация разработанной системы в конкретной предметной области.
Методы исследования. При решении поставленных задач использовались методы тестологии, математической статистики, теории графов, объектно-ориентированного анализа и проектирования, теории баз данных.
Научная новизна. К наиболее существенным научным результатам, отличным от ранее известных, относятся:
фреймовая модель тестового задания, расширяющая классическое и современное ее представление за счет включения метаинформации о семантике задания;
модель хранилища тестовых заданий, позволяющая учитывать отношения включения и пересечения между тестовыми заданиями;
гетерогенный адаптивный алгоритм тестирования, позволяющий повысить эффективность тестирования путем минимизации количества тестовых заданий;
метод политомической оценки, использующий новую формулу для учета в КСТ частично правильных ответов, что дает возможность повысить точность измерения знаний при тестировании;
предложен новый тип тестового задания (ТЗ) - задание на программирование, позволяющий в тестовой форме проверить знания языков программирования и реализацию алгоритмов.
Практическая ценность. Разработанные в диссертации модели и алгоритм проведения тестирования позволяют повысить его эффективность, перевести его на качественно более высокий уровень, когда появляется возможность индивидуализировать подход к каждому учащемуся на основании выявленной структуры знаний, организовать контроль и повысить точность измерений уровня знаний за счет политомической оценки тестовых заданий. Предложенный новый тип тестового задания значительно расширяет возможность применения тестов при определении уровня знаний по предметам, связанным с алгоритмическими языками.
Разработана программная реализация компьютерной системы тестирования, имеющая в своем составе подсистему формирования тестовых материалов, подсистему тестирования, подсистему анализа результатов тестирования и подсистему администрирования пользователей. Программное обеспечение (ПО) серверной части написано на языке Java, что обеспечивает развертывание системы практически на всех распространенных операционных системах, имеющих виртуальную Java-машину. ПО, обеспечивающее автономную поддержку подготовки тестов и тестирования, функционирует на платформе Win32 (Windows 95/98/Me/NT/2000/XP/2003).
На основании исследований доказана эффективность применения КСТ в
учебном процессе. Данная система внедрена в Пензенском государственном
университете (г. Пенза), Российском государственном университете
инновационных технологий и предпринимательства
(г. Москва), Всемирном технологическом университете (г. Москва).
Основные положения, выносимые на защиту:
модель тестового задания, расширяющая классическое и современное ее представление;
модель хранилища тестовых заданий, учитывающая связи между ними, что позволяет повысить эффективность тестирования;
гетерогенный адаптивный алгоритм для контроля знаний, основанный на предложенной модели хранилища тестовых заданий;
метод политомической оценки ответов на тестовые задания, позволяющий повысить точность измерения уровня знаний;
новый тип тестового задания - задание на программирование, расширяющее область применения тестовых заданий.
Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: I Всероссийская научная конференция молодых ученых и аспирантов «Новые информационные технологии: разработка и аспекты применения» (Таганрог, 1998), VII Международная конференция «Дистанционное образование: открытые и виртуальные среды» (Москва, 1999), VIII Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1999), ИДИ международные научно-технические конференции «Информационные технологии и системы в образовании, науке, бизнесе» (Пенза, 2000, 2002), V Международная научно-техническая конференция «Комплексное обеспечение показателей качества транспортных и технологических машин» (Пенза, 2001), VI,VII,IX Международные научно-методические конференции «Университетское образование» (Пенза, 2002, 2003, 2005), X Симпозиум «Квалиметрия в образовании: методология и практика» (Москва, 2002), Международная конференция «Новые технологии в образовании - 2» (Черногория, 2002), ИДИ научно-методические конференции профессорско-преподавательского состава, сотрудников и студентов «Инновации в науке, образовании и
бизнесе» (Пенза, 2004, 2005), XIV Всероссийская научно-методическая конференция «Проблемы качества образования в свете болонских соглашений» (Уфа-Москва, 2004), конференция Proceedings of К2 summit «К2 knowledge sharing and looking at the future event» (Amsterdam, 2004), Всероссийская научно-методическая конференция «Открытое образование и информационные технологии» (Пенза, 2005), Международная научно-практическая конференция «Интеллектуальные технологии в образовании, экономике и управлении» (Воронеж, 2005), III Международная научно-методическая конференция «Новые образовательные технологии в вузе» (Екатеринбург, 2005), научно-технические конференции профессорско-преподавательского состава Пензенского государственного университета (2000-2006).
Публикации. По материалам диссертации опубликовано 27 печатных работ.
Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 118 наименований, приложения, содержащего акты внедрения и примеры работы системы. Основная часть работы изложена на 132 машинописных страницах, содержит 25 рисунков и 8 таблиц.
Основное содержание работы
Во введении обоснована актуальность темы диссертации, сформулированы цели и задачи исследования, отражена научная новизна и приведены основные практические результаты работы.
В первой главе рассматриваются виды и функции контроля знаний. Отмечается, что в современных условиях одной из наиболее эффективных форм контроля знаний является тестирование, что обусловлено его преимуществами, такими как, объективность результатов и высокая скорость контроля. Тестирование, как форма контроля знаний, наиболее эффективно
реализуется в виде программных систем, позволяющих освободить педагогический персонал от рутинной работы, а также автоматизировать подготовку тестов, проводить массовое тестирование, внедрить передовые методологии тестирования, требующие существенных вычислительных затрат. Формулируются и группируются критерии необходимые при сравнительном анализе различных КСТ, выборе КСТ для использования в учебном процессе, а также для анализа разработчиками направлений совершенствования их КСТ. В связи с проведенным анализом одной из задач видится разработка КСТ устраняющей выявленные недостатки рассмотренных систем (отсутствие средств поддержки адаптивного тестирования, отсутствие средств анализа качества тестовых материалов и т.д.), обеспечивающей реализацию адаптивных методов тестирования, поддержку гетерогенных тестов, в основе разработки тестов опирающуюся на теоретические основы тестирования.
Во второй главе анализируются существующие модели и алгоритмы проведения тестирования. Особый интерес представляет использование существующих алгоритмов при проведении междисциплинарных тестов. Анализ существующих алгоритмов показал, что для проведения междисциплинарного экзамена традиционные алгоритмы проведения тестирования малопригодны, так как качество получаемых результатов слишком низкое, а временные затраты слишком велики. Определяется набор ограничений и требований, предъявляемый к алгоритму тестирования при проведении междисциплинарного экзамена. Предлагается модель ТЗ и модель банка ТЗ для проведения междисциплинарного экзамена. Предлагается адаптивный гетерогенный алгоритм для проведения междисциплинарного экзамена, отличающийся от традиционных алгоритмов более высокой точностью при меньших временных затратах на проведение тестирования. Описывается алгоритм автоматизации подготовки теста по междисциплинарному экзамену основанный на сопоставлении метаописаний ТЗ с помощью нечеткого поиска. Предлагается новый тип ТЗ открытой
формы позволяющий автоматизировать проверку знаний по дисциплинам, изучающим императивные и функциональные языки за счет автоматизируемой проверки созданных тестируемым программ.
Третья глава посвящена описанию выбора процесса разработки, выявлению функциональных и нефункциональных требований к системе. Описан процесс разработки структуры системы и выбора средств ее реализации, также спроектирована инфологическая модель хранения тестовых материалов.
В четвертой главе описывается программная реализация подсистем. Обсуждаются вопросы, посвященные методологическим и прагматическим аспектам применения разработанной системы.
Критерии оценки компьютерных систем тестирования
При наличии большого количества КСТ и постоянном появлении новых систем необходимо определиться с основными критериями, которым должны отвечать такие системы. КСТ целесообразно разделить по функциональным признакам на 4 подсистемы [32]: подсистема подготовки тестов; подсистема проведения тестирования; подсистема анализа характеристик теста и результатов тестирования; подсистема администрирования пользователей системы. Предварительный анализ показывает, что весь набор критериев может также быть сведен в следующие четыре основные группы [22]: критерии, относящиеся к созданию тестовых материалов; критерии, относящиеся к проведению тестирования; критерии, относящиеся к обработке результатов тестирования; критерии, относящиеся к административным функциям. К основным критериям по созданию тестовых материалов можно отнести: 1. количество поддерживаемых КСТ форм тестовых заданий; Поддержка большого количества форм ТЗ обеспечивает больше возможностей по представлению проверяемой предметной области, что позволяет повысить эффект использования КСТ при самообучении и проверке знаний. 2. хранение метаданных ТЗ; К метаданным ТЗ относятся следующие атрибуты: автор, версия, дата создания, дата последней модификации ТЗ, кем последний раз редактировалось ТЗ. Поддержка КСТ метаданных ТЗ позволяет облегчить процесс управления ими. 3. возможность вставки графических иллюстраций в ТЗ; Использование графических иллюстраций, прежде всего, открывает возможности по увеличению ТЗ по предметам, активно использующим изображения, таких как география, медицина и т.д. Кроме, того иллюстрации в формулировке ТЗ и ответов повышают их наглядность, что положительно сказывается на скорости восприятия учащимися смысла задания. 4. возможность вставки звука в ТЗ; Использование звука в формулировке ТЗ и ответов на него, позволяет увеличить количество ТЗ по дисциплинам, связанным с языковыми предметами и создавать ТЗ ранее не доступные для традиционного бланкового тестирования. 5. возможность вставки в ТЗ видео материалов; Использование при создании ТЗ видео материалов позволяет отобразить в задании динамические процессы или максимально приблизить его к проверке реальной ситуации. К недостаткам использования видео материалов можно отнести возрастающий объем ТЗ, что затрудняет проведение Internet тестирования для пользователей работающих с каналами малой пропускной способностью. 6. поддержка встраивания OLE объектов [89] в формулировку ТЗ; Технология OLE была создана фирмой Microsoft [40] для создания сводных документов содержащих информацию, обрабатываемую различными приложениями. Поддержка встраивания OLE объектов в тело вопроса и ответов определяется, прежде всего, технологией используемой для реализации программы подготовки тестов. В КСТ использующих технологии клиент-сервер, в котором в качестве клиента выступает браузер, а в качестве сервера - связка из WWW-сервера и сервера приложений, вставка OLE-объектов не реализуема.
Отсутствие этой возможности в подсистеме подготовки тестов КСТ построенной на Web-интерфейсе приводит к возрастанию рутинных операций при подготовке тестов по естественнонаучным предметам. В качестве примера можно привести тесты по математике, где в ТЗ интенсивно используются формулы, вставка которых в виде OLE-объектов в тест позволяет избежать рутинной работы. Реализация подсистемы подготовки тестов в виде отдельного приложения допускает реализацию вставки OLE-объектов как в формулировку ТЗ, так и в предлагаемые варианты ответов. 7. поддержка политомической оценки ТЗ; Возможность политомической оценки определенных форм ТЗ увеличивает точность измерения знаний по предметной области за счет учета частично правильных ответов тестируемого. 8. возможность печати ТЗ; 9. возможность создания обратной связи при ответе на ТЗ / раздел теста; Под обратной связью подразумевается информация, предоставляемая тестируемому о результате прохождения тестового задания или раздела теста. В большинстве случаев возможность создания обратной связи при ответе на тестовое задание/раздел теста используется при проведении обучающего тестирования. Результат обратной связи может содержать ссылки на ресурсы, объясняющие материал, проверяемый ТЗ в случае неверного или частично правильного ответа на тестовое задание или отчет по результатам пройденного раздела теста. 10. возможность предварительного просмотра тестового задания / теста разработчиком; 11. ограничение времени на тест / ТЗ; Данная возможность позволяет провести тестирование в необходимых временных рамках. Это может потребоваться как для проведения скоростных тестов [5], так и для исключения затягивания процесса тестируемыми. В случае ограничения времени на ТЗ, ограничением времени проведения тестирования является сумма ограничений времени по каждому ТЗ. 12. возможность преобразования тестовых данных в формат IMS QTI [49] и обратно;
Применение алгоритмов тестирования при проведении междисциплинарного экзамена
Целью проведения междисциплинарного экзамена является оценка подготовки обучаемых по нескольким дисциплинам. Применение традиционных алгоритмов тестирования сдерживается тем, что суммарное количество ТЗ необходимых для оценки тестируемых зависит от количества дисциплин входящих в экзамен и обычно достаточно велико. Это приводит к большим затратам времени на проведение тестирования и потере точности в оценке из-за возрастающей утомляемости участников тестирования по мере приближения к концу теста. Таким образом, результаты тестирования по дисциплинам, оцениваемым в последнюю очередь, не будут в большинстве случаев отражать объективную оценку тестируемого. Снижение количества ТЗ по каждой дисциплине приводит к потере точности теста. Таким образом, оценка с помощью традиционных алгоритмов тестирования большого по объему и разнородного материала ведет к некорректным результатам и представляет актуальную проблему на сегодняшний день. Автором предлагается следующий подход к решению данной проблемы. Необходимо построить модель гетерогенного теста представляющую собой ориентированный взвешенный граф G = (V,E), где V - множество вершин, представляющие ТЗ, Е - множество ребер, представляющие собой степень связи между заданиями. Вес ребра Р указывает степень связи между ТЗ. Степень связи между ТЗ определяют эксперты в проверяемых междисциплинарным тестом предметных областях. Под степенью связи понимается сходство проверяемых в ТЗ знаний. Степень связи может принимать значение в интервале от (0...1]. Если вес ребра равен единице будем считать, что ТЗ к которому направлена связь, проверяет все знания и умения, требуемые для правильного выполнения ТЗ от которого направлена связь и имеет место отношение включения. Если вес ребра меньше единицы имеет место отношение пересечения. Графическое изображение модели гетерогенного теста представлено на рис. 2.7.
Для обеспечения выявления зависимостей необходимо на этапе создания ТЗ формировать метаинформацию о нем. К ней можно отнести необходимые знания для правильного ответа на ТЗ. Для упрощения процедуры выявления зависимостей по созданной метаинформации предлагается производить поиск ТЗ имеющих пересекающиеся множества ключевых слов с помощью алгоритма нечеткого поиска Левенштейна[53].
Результатом работы алгоритма нечеткого поиска будет граф тематически связанных между собой ТЗ, окончательная структура которого будет формироваться на основании мнения экспертов в предметной области. Вершинам с наибольшей локальной степенью будут соответствовать ТЗ требующие для правильного ответа знаний нескольких дисциплин. Отношения могут быть следующих видов: включения (ТЗ включает проверку знаний и умений по ТЗ к которому направлена связь) и пересечения (ТЗ включает проверку части знаний и умений по ТЗ к которому направлена связь).
На основе предлагаемой модели хранилища тестовых заданий строится адаптивный алгоритм для проведения тестирования, отличающийся от традиционных алгоритмов более высокой точностью при меньших временных затратах на проведение тестирования. С помощью такой модели хранилища тестовых заданий алгоритм гетерогенного адаптивного тестирования позволяет не только осуществлять подбор сложности следующего тестового задания, но и учитывать семантическую составляющую теста, что способствует повышению эффективности за счет сокращения количества тестовых заданий при итоговой оценке знаний по нескольким дисциплинам. Рассмотрим алгоритм по шагам: Рассмотрим алгоритм по шагам: Шаг 1. Ввод множества всех 13-А. Шаг 2. Ввод взвешенной матрицы смежности семантических связей между ТЗ- М. Шаг 3. Проверка критерия остановки тестирования. Тестирование заканчивается - к шагу 18. Тестирование продолжается - к шагу 4. Шаг 4. Выбор дисциплины. Шаг 5. Выбор уровня сложности первого ТЗ по дисциплине. Шаг 6. Формирование множества ТЗ по выбранной дисциплине из А - Q. Шаг 7. Оценка критерия остановки выдачи заданий по дисциплине. Тестирование заканчивается - к шагу 3. Тестирование продолжается - к шагу 8. Шаг 8. Задание тестируемому ТЗ из множества Q с выбранным уровнем сложности. Шаг 9. Задание выполнено верно? Да - к шагу 10. Нет - 16. Шаг 10. Формирование по М множества путей L к вершине V, определяющей заданное ТЗ. Шаг 11. Формирование множества путей К из L, имеющих вес каждого ребра, входящего в путь, равным единице. Шаг 12. Формирование множества вершин, входящих во множество путей K-R. Шаг 13. Обновление множества Л. A =A\R. Шаг 14. Обновление множества Л. A=A\V. Шаг 15. Обновление множества Q.Q = Q\R. Шаг 16. Обновление множества Q.Q = Q\V. Шаг 17. Подбор следующего задания на основании ответа на заданное ТЗ. К шагу 7. Шаг 18. Конец. На первом шаге вводится множество всех доступных ТЗ по всем дисциплинам, на втором - взвешенная матрица связности, отражающая семантические связи между ТЗ. На третьем шаге проверяется критерий, останавливающий тестирование. В качестве критерия может использоваться ограничение времени тестирования или набранного балла. Выбор дисциплины, по которой происходит тестирование, осуществляется на четвертом шаге. Она может выбираться случайным образом либо из заданной создателем теста последовательности. Пятый шаг определяет сложность первого ТЗ по выбранной дисциплине: 1)на основе результата предыдущего тестирования испытуемого по данной дисциплине; 2) на основе выбора самого тестируемого; 3) на основе расчета средней сложности. На шестом шаге формируется множество всех ТЗ, входящих в выбранную дисциплину. Седьмой шаг проверяет критерий остановки выдачи заданий по выбранной дисциплине на основании потраченного времени или набранного балла. Шаги с 10 по 14 направлены на минимизацию количества заданий, за счет удаления в случае правильного ответа на текущее ТЗ связанных с ним ТЗ, имеющих вес связи 1. Для выбора следующего ТЗ предлагается анализировать соотношение верно и неверно выполненных ТЗ этого уровня сложности. Такая стратегия позволяет минимизировать количество тестовых заданий. Рассмотрим пример гетерогенного тестирования по междисциплинарному экзамену по специальности САПР: 1. алгоритм выбрал ТЗ по дисциплине "Лингвистическое обеспечение" - "Сопоставьте выражения языка (разных языков) и грамматики."; В случае правильного ответа на данное ТЗ из рассмотрения алгоритма исключаются задания связанные с проверкой знаний конструкций языков. 2. алгоритм выбрал ТЗ по дисциплине "Схемотехника"; "Минимизировать схему" В случае правильного ответа на данное ТЗ из рассмотрения алгоритма исключаются задания связанные с проверкой знаний по дисциплине "Дискретная математика" на минимизацию булевых функций 3. алгоритм выбрал ТЗ по дисциплине "Моделирование". "Напишите программу, моделирующую случайную величину." (ТЗ на программирование - проверочный модуль проверяет получившееся результаты и оценивает их распределение) В случае правильного ответа на данное ТЗ из рассмотрения алгоритма исключаются задания связанные с проверкой знаний по дисциплине "Теория вероятности" на заданное распределение, задания связанные с проверкой используемых в моделирующей программе конструкций заданного языка.
Разработка семантической модели БД тестовых материалов
Широкое распространение реляционных СУБД и их использование в самых разнообразных приложениях показывает, что реляционная модель данных достаточна для моделирования многих предметных областей. Однако проектирование реляционной базы данных в терминах отношений представляет собой очень сложный и неудобный для проектировщика процесс. Потребности проектировщиков баз данных в более удобных и мощных средствах моделирования предметной области привели к возникновению семантических моделей данных. Наиболее популярная семантическая модель "Сущность-Связь" (Entity-Relation) предложена Ченом в 1976 г. [100]. Сущность - это реальный или представляемый о бъект, информация о котором должна сохраняться и быть доступна. В диаграммах ER-модели сущность представляется в виде прямоугольника, содержащего имя сущности. При этом имя сущности - это имя типа, а не некоторого конкретного экземпляра этого типа. Связь - это графически изображаемая ассоциация, устанавливаемая между двумя сущностями. Эта ассоциация всегда является бинарной и может существовать между двумя разными сущностями или между сущностью и ей же самой (рекурсивная связь). В любой связи выделяются два конца (в соответствии с существующей парой связываемых сущностей), на каждом из которых указывается имя конца связи, степень конца связи (сколько экземпляров данной сущности связывается), обязательность связи (т.е. любой ли экземпляр данной сущности должен участвовать в данной связи). В качестве нотации для изображения модели "Сущность-Связь" воспользуемся спецификацией IDF1X [51]. Разработанная семантическая модель представлена на рис. 3.5.
Описание теста Идентификатор теста Материал теста Идентификатор теста (FK) Идентификатор ТЗ СО) (FK) Идентификатор раздела (О) (FK) Атрибуты сущности "Тестовое задание": идентификатор ТЗ. Уникальный идентификатор тестового задания; идентификатор раздела. Уникальный идентификатор раздела, которому принадлежит ТЗ; дата создания; дата модификации; версия; комментарии; цель; заголовок. Используется при отображении списка тестовых заданий списком при подготовке теста; тип; формулировка в RTF формате; формулировка в HTML формате; подсказка; ограничение по времени; перемешивать ответы. Используется в тестовых заданий закрытой формы для указания перемешивать ли предлагаемые тестируемому ответы; сложность. Может представлять сложность, как в понятии классической теории тестов, так и в ТМПТ; материал ответной реакции. Содержит текст для вывода после ответа тестируемого; идентификатор автора. Уникальный идентификатор автора создавшего данное ТЗ; тип оценки. Дихотомическая или политомическая оценка результата выполнения тестового задания; идентификатор обучающего материала. Атрибуты сущности "Раздел": идентификатор раздела. Уникальный идентификатор раздела; дата создания; дата модификации; версия; комментарии; название; ограничение по времени. Ограничивает время на прохождение ТЗ содержащихся в разделе. Если данное поле не заполняется вручную, оно рассчитывается как сумма ограничений на ТЗ, которые содержаться в данном разделе; возможность пропуска ТЗ; возможность откладывания ТЗ; права на изменение параметров. Кто имеет право на внесение изменений в характеристики и содержание данного раздела; статус. Показывает текущее состояние раздела, находится ли он в разработке или готов к включению в тест; алгоритм тестирования. Содержит признак по которому для данного раздела применяется соответствующий алгоритм выдачи ТЗ; идентификатор автора. Уникальный идентификатор автора создавшего данное ТЗ. Атрибуты сущности "Ответы": формулировка в RTF формате; формулировка в HTML формате; признак правильности; балл. Устанавливается при политомической оценки тестового задания вручную; идентификатор ТЗ. Уникальный идентификатор тестового задания, к которому принадлежит ответ.
Реализация подсистемы анализа результатов тестирования
Программа-сервер отвечает за хранение тестов, управление прохождением тестирования, взаимодействие с клиентами, накопление результатов тестирования, настройки тестирования (аналогичные вышеперечисленным). Системные требования: компьютер Pentium 166 и выше, 32МБ ОЗУ и выше, операционная система Windows NT/2000/XP. Разрешение монитора 800x600 и выше. На рис. 4.6. представлен пример работы сервера. В ходе тестирования на мониторе сервера отображаются сетевые имена и IP-адреса компьютеров, на которых проводится тестирование, общее количество вопросов, количество полученных ответов, Программа-клиент осуществляет вывод тестовых заданий на экран пользователя и передает ответы пользователя серверу. Режим работы определяется настройками, заданными в программе-сервере. Системные требования аналогичны требованиям системы автономного тестирования. Подсистема анализа результатов тестирования служит обычно для предоставления преподавателю или администратору результатов тестирования и может выводить краткие или детальные (с указание всех заданных вопросов и полученных на них ответов, а также баллов за вопрос) протоколы тестирования по каждому из испытуемых с указанием итогового балла, оценки, времени тестирования. Подсистема предоставляет следующие основные возможности [10, 24,30,27]. создание кратких отчетов.
Они содержат обобщенную информацию о тестируемом и его результатах. создание протоколов тестирования. В этом случае помимо информации о тестируемом, показывается, как он отвечал на тот или иной вопрос, с указанием набранного балла за вопрос, пропущенных и отложенных вопросов. создание сводной таблицы, в которой для каждого испытуемого указывается состояние теста, набранный балл, оценка, которую поставила система тестирования, время тестирования и количество пропущенных вопросов. Пример создания краткого отчета по сеансу тестирования и протокола тестирования одного испытуемого представлены на рис.4.7. и рис. 4.8. соответственно. Разработанная КСТ предназначена для итогового и рубежного контроля знаний и широко используется в дистанционном обучении и традиционном учебном процессе ряда вузов [27,31,14]. Одним из ярких примеров системы использования в традиционном учебном процессе является ее применение для проведение итогового междисциплинарного экзамена по специальностям «Системы автоматизированного проектирования» и «Математическое обеспечение и администрирование информационных систем» [13]. По имеющемуся опыту эксплуатации подсистема сетевого тестирования применяется, как правило, в традиционном учебном процессе при организации контроля знаний в аудиториях учебных заведений, а также при удаленном Интернет-тестировании. Программа автономного тестирования используется при поставке учебных материалов на CD-ROM для самоконтроля знаний студентов. Помимо этого, для обучающихся с
