Введение к работе
Актуальность работы
В настоящее время одним из основных требований, предъявляемых к программному обеспечению и техническим объектам, является надежность (отказоустойчивость), т.е. способность объекта сохранять свою функциональность под влиянием широкого спектра воздействий. Тестирование является одним из основных этапов проектирования и разработки систем, при этом с ростом сложности систем растут расходы на проведение этой операции, часто превышающие прочие производственные затраты. Тестирование широко применяется и в педагогической практике и выполняет в процессе обучения функцию контроля знаний.
Основная проблема разработки моделей и алгоритмов тестирования заключается в том, что исследуемые системы могут динамически изменяться, поэтому статический тест не учитывает в полной мере динамику изменения системы. Таким образом, необходимо проектирование динамических (адаптивных) тестов, позволяющих в процессе тестирования изменять состав теста на основе полученных результатов измерений.
Научной проработки этой проблемы касались специалисты в области тестирования технических устройств (Яблонский СВ., ТоценкоВ.Г., ЧженГ., Малышенко Ю.В. и др.); тестирования программного обеспечения (Майерс Г., Дастин Э., Канер С, ЛипаевВ.В., Кларк Э.М. и др.); контроля знаний и разработки педагогических тестов (АванесовВ.С, Нейман Ю.М., РудинскийИ.Д., Симанков B.C., Луценко Е.В. и др.). Существуют публикации в периодической печати, материалы научно-практических конференций и семинаров, посвященные проблеме тестирования в отдельных предметных областях, однако единой концепции тестирования не существует. Таким образом, проблема разработки моделей и алгоритмов адаптивного тестирования в настоящее время является актуальной.
Объект и предмет исследования
Объектом исследования являются системы тестирования. Предмет исследования и разработки - модели и алгоритмы адаптивного тестирования систем в заданных условиях. Проблемная ситуация: существующие информационно-управляющие системы используют случайные и статические стратегии тестирования, при динамически изменяющихся тестируемых объектах или представлениях
тестирующего об этих объектах это приводит к неадекватным результатам или необходимости увеличения длительности тестирования. Проблема состоит в формализации процесса тестирования и создании моделей и алгоритмов адаптивного тестирования систем.
Цель и задачи исследования
Целью работы является разработка моделей и алгоритмов адаптивного тестирования и программная реализация системы интеллектуального тестирования на основе разработанных алгоритмов.
Для достижения цели в работе решены следующие задачи:
анализ современных подходов к тестированию в различных предметных областях;
разработка стохастической и аппроксимационной моделей адаптивного тестирования;
создание алгоритмов адаптивного тестирования согласно стохастической и аппроксимационной моделям для решения задач наискорейшего поиска ошибки и определения наилучшего приближения соответственно;
верификация алгоритмов в инструментальных средах математического моделирования;
разработка и опытная эксплуатация программно-аналитического комплекса интеллектуального тестирования (ПАК ИТ) на основе предложенных алгоритмов.
Методы исследования
Для решения задач использована теория адаптивного управления,
теоретико-графовые и теоретико-вероятностные методы,
аппроксимационные методы вычислительной математики, методы матричного анализа и математической статистики. Теоретические положения подтверждены результатами моделирования в инструментальных средах математического моделирования. Методы модульного программирования использованы при создании ПАК ИТ.
Научная новизна
Диссертация содержит научно-обоснованные модели адаптивного тестирования, алгоритмы, основанные на разработанных моделях, а также пример программной реализации алгоритмов. В процессе исследований получены следующие новые научные результаты:
1. На основе проведенного анализа подходов к тестированию определены критерии адаптивного тестирования и требования к
математической модели.
Предложена стохастическая модель адаптивного тестирования для решения задачи наискорейшего поиска ошибки.
Предложена аппроксимационная модель адаптивного тестирования для определения наилучшего приближения.
Доказано, что метод выбора последовательности запросов при тестировании не зависит от непрерывности или дискретности входных/выходных параметров.
Разработаны алгоритмы адаптивного тестирования на основе стохастической и аппроксимационной моделей тестирования для задачи наискорейшего поиска ошибки и определения наилучшего приближения.
Осуществлена программная реализация алгоритмов адаптивного тестирования в виде программно-аналитического комплекса интеллектуального тестирования. Получено свидетельство об официальной регистрации программы для ЭВМ №2007611826 «Программно-аналитический комплекс интеллектуального тестирования «Logos» (ПАКИТ «Logos»)».
Практическая значимость работы заключается в том, что основные положения, выводы и рекомендации диссертации ориентированы на широкое применение разработанных моделей и алгоритмов адаптивного тестирования. Проведенные исследования и полученные результаты составляют теоретическую основу моделирования и создания программно-аналитических комплексов интеллектуального тестирования в следующих предметных областях: разработка программного обеспечения, тестирование технического обеспечения, педагогическое тестирование. Результаты исследования доведены до конкретных моделей, алгоритмов, и программных средств.
Самостоятельное практическое значение имеют:
стохастическая и аппроксимационная модели адаптивного тестирования для решения задач наискорейшего поиска ошибки и определения наилучшего приближения соответственно;
алгоритмы адаптивного тестирования на основе разработанных моделей;
программная реализация алгоритмов адаптивного тестирования.
Разработанное программное обеспечение обеспечивает увеличение точности оценки уровня знаний при фиксированном количестве запросов, а также уменьшение количества тестовых запросов без потери точности тестирования.
Достоверность полученных результатов
Достоверность разработанных моделей и алгоритмов
адаптивного тестирования подтверждена использованием
общепринятых математических методов, результатами численных экспериментов, практической реализацией, подтвержденной актами.
Личный вклад автора
Основные результаты диссертационной работы получены автором лично.
Исследованы современные подходы к тестированию, определены критерии адаптивного тестирования и требования к математической модели.
Разработаны стохастическая и аппроксимационная модели и алгоритмы адаптивного тестирования для задач наискорейшего поиска ошибки и определения наилучшего приближения соответственно.
Проведена верификация алгоритмов в существующих инструментальных средах математического моделирования.
Осуществлена программная реализация разработанных алгоритмов, разработка и внедрение программно-аналитического комплекса интеллектуального тестирования.
Реализация и внедрение результатов работы
Диссертационная работа выполнялась в соответствии с планом научно-технических исследований кафедры ИПОВС МИЭТ и является составной частью следующих научно-исследовательских работ, проводимых в рамках Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг.:
«Разработка моделей и алгоритмов тестирования знаний с динамической логической структурой»;
«Исследование интеллектуальных алгоритмов определения уровня усвоения учебного материала и разработка концептуальных теоретических основ построения интегрированных систем адаптивного тестирования».
Разработанный в рамках исследования ПАК ИТ «Logos» отмечен медалью на Всероссийской выставке научно-технического творчества молодежи «НТТМ-2007» (г. Москва, ВВЦ, 27.06.07) и внедрен в ФГОУ ВПО «Калининградский государственный технический университет» для автоматизированного контроля знаний. Разработанные модели и алгоритмы внедрены в ОАО «ПроРеск Сервис» для тестирования программного обеспечения интегрированной информационной системы
«Mercury-GT». Результаты диссертационной работы используются также в учебном процессе кафедры ИПОВС МИЭТ в курсах «Интеллектуальные информационные системы», «Компьютерные технологии в науке и образовании», «Системный анализ и моделирование процессов и систем». Внедрение подтверждено актами. На защиту выносятся следующие положения:
Использование стохастической модели адаптивного тестирования позволяет сформировать обоснованный критерий выбора тестовых запросов для задачи наискорейшего поиска ошибки.
Применение аппроксимационнои модели адаптивного тестирования позволяет сформировать обоснованный критерий выбора тестовых запросов для задачи определения наилучшего приближения.
Разработанные алгоритмы на основе предложенных моделей адаптивного тестирования позволяют реализовать выбор запросов по сформированным критериям, что позволяет учитывать динамические свойства тестируемой системы.
Применение алгоритмов позволяет увеличить быстродействие поиска ошибки более чем в 2 раза; увеличить точность приближения при фиксированном количестве запросов на 3 - 58 % в зависимости от их количества; уменьшить количество тестовых запросов при фиксированной точности тестирования в среднем на 20%.
Программная реализация разработанных алгоритмов может быть использована в интеллектуальных системах контроля знаний.
Апробация работы
Основные положения, выводы и предложения,
сформулированные в диссертации, представлены на 15 научных конференциях, из них 7 международных и 8 всероссийских.
Публикации
По теме диссертации опубликовано 20 печатных работ, в том числе 5 статей (одна в журнале, рекомендованном ВАК), 15 тезисов и докладов. Без соавторов опубликовано 7 работ. Список опубликованных работ приведен в конце автореферата.
Структура и объем работы
Диссертация состоит из введения, четырех глав, заключения, списка литературы из 110 наименований и четырех приложений. Диссертация включает 119 страниц основного текста, 59 рисунков, 3 таблицы, 69 страниц приложений. Приложения содержат акты о внедрении и использовании результатов, копию свидетельства о регистрации, листинги программ.
