Содержание к диссертации
Введение
1 Теоретическое обоснование выбора математических моделей для оценки результатов обучения и постановка задач исследования 20
1.1 Краткий обзор состояния диагностики результатов обучения в профессиональном образовании 20
1.2 Анализ основных подходов к оценке результатов обучения 31
1.3 Критерии и показатели качества диагностических средств 33
1.3.1 Надёжность гомогенного теста 35
1.3.2 Валидность теста 40
1.3.3 Разрешающая способность теста 42
1.4 Расчёт параметров, характеризующих результаты обучения, на основе классической теории тестирования 43
1.5 Теоретические обоснование возможности использования дихотомической модели Раша для оценки результатов обучения 48
1.6 Свойства дихотомической модели Раша 53
1.7 Теоретическое обоснование возможности использования моделей Раша
для политомической индикаторной переменной 56
1.8 Представление и интерпретация данных обработки 60
1.8.1 Интерпретация на основе классической теории тестирования 60
1.8.2 Интерпретация данных на основе теории латентных переменных 62
1.8.3 Оценка адекватности результатов тестирования дихотомической модели Раша 65
1.8.4 Построение гистограмм и информационных функций заданий 67
Выводы к главе 1 68
2 Разработка алгоритмов и комплексов программ для расчета параметров, характеризующих результаты обучения и качество диагностических средств .. 73
2.1 Математическое обоснование алгоритма расчета латентных параметров на основе дихотомической индикаторной переменной 73
2.1.1 Решение нелинейных уравнений методом секущих 76
2.1.2 Решение нелинейных уравнений методом Ньютона 79
2.2 Алгоритмы расчета оценок максимального правдоподобия латентных параметров основной модели Раша.. 80
2.3 Математическое обоснование расчета латентных параметров политомической модели Раша для рейтинговой шкалы 82
2.3.1 Получение итерационных выражений на основе метода секущих 89
2.3.2 Итерационные процедуры на основе использования метода Ньютона 91
2.4 Алгоритмы расчета оценок максимального правдоподобия латентных параметров модели рейтинговой шкалы 91
2.5 Математическое обоснование расчета латентных параметров политомической модели частичного доверия 96
3 2.5.1 Итерационные процедуры на основе метода секущих 101
2.5.2 Получение итерационных выражений с помощью метода Ньютона 102
2.6 Алгоритмы расчета оценок максимального правдоподобия латентных параметров модели частичного доверия 103
2.7 Программный комплекс RILP-1M 105
2.8 Программный комплекс RILP-2 111
2.9 Оценка достоверности результатов расчета латентных параметров программным комплексом RILP -1М 115
2.10 Оценка достоверности результатов расчета латентных параметров программным комплексом RILP-2 118
2.10.1 Оценка достоверности данных, полученных с использованием модели Раша для рейтинговой шкалы 119
2.10.2 Оценка достоверности данных, полученных на основе алгоритма для модели частичного доверия 121
Выводы к главе 2 124
3 Теоретическое исследование свойств оценок латентных параметров дихотомической модели Раша 126
3.1 Исследование существования и единственности оценок максимального правдоподобия латентных параметров дихотомической модели Раша 126
3.1.1 Постановка задачи 126
3.1.2 Допустимая дихотомическая матрица результатов тестирования 127
3.1.3 Теоретическое обоснование существования и единственности оценок латентных параметров дихотомической модели Раша 128
3.2 Расчет доли допустимых дихотомических матриц результатов тестирования... 134
3.3 Результаты вычислительного экперимента по расчёту доли допустимых дихотомических матриц результатов тестирования 137
3.4 Исследование состоятельности оценок латентных параметров основной модели Раша при ограниченном числе заданий теста 138
3.5 Экспериментальное подтверждение состоятельности оценок трудности заданий теста при их фиксированном количестве 144
3.6 Исследование поведения оценок латентных параметров модели Раша при неограниченном увеличении объёма выборки и числа заданий теста 149
3.7 Экспериментальные исследования состоятельности оценок латентных параметров при неограниченном увеличении числа заданий теста 156
3.8 Сходимость итерационных оценок, рассчитанных методом Ньютона 159
3.9 Распределение значений латентных параметров дихотомической модели Раша 162
Выводы к главе 3 166
4 Расчёт оценок латентных параметров модели Раша на основе моделирования дихотомических матриц ответов 168
4.1 Краткий обзор современных методов обработки выборок ограниченного объема 168
4.2 Метод складного ножа и его использование для калибровки тестовых заданий 171
4.3 Бутстреп-метод и его применение для калибровки заданий теста 173
4.4 Теоретический анализ значений бутстреп-оценок 174
4.5 Теоретический анализ значений оценок, рассчитанных с использованием метода складного ножа 177
4.6 Результаты экспериментальных исследований оценок, рассчитанных методами бутстреп и складного ножа 179
4.7 Модель генеральной дихотомической матрицы результатов тестирования 182
4.7.1 Актуальность создания модели генеральной дихотомической матрицы ответов 182
4.7.2 Методика формирования модели генеральной дихотомической матрицы результатов тестирования 185
4.7.3 Проведение вычислительного эксперимента по формированию квазигенеральной дихотомической матрицы ответов 190
4.8 Алгоритм формирования модели дихотомической матрицы ответов 196
4.9 Исследование погрешности калибровки тестовых заданий на основе моделирования нормативных дихотомических матриц ответов 199
4.9.1 Методика формирования моделей нормативных дихотомических матриц ответов разных размеров 199
4.9.2 Проведение вычислительного эксперимента и анализ результатов исследования погрешностей калибровки тестовых заданий 201
Выводы к главе 4 204
5 Разработка инструментария и моделей мониторинга результатов обучения и оценки качества диагностических средств 207
5.1 Метод оценки уровня сформированности компетенций обучаемого 207
5.2 Метод калибровки заданий теста на основе моделирования нормативных дихотомических матриц ответов 209
5.3 Метод расчета квазигенеральных оценок латентных параметров на основе моделирования нормативных дихотомических матриц ответов 211
5.4 Оценка эффективности методов калибровки заданий и расчёта квазигенеральных оценок латентных параметров при эмпирическом законе распределения 216
5.5 Методика экспертизы качества педагогического теста 224
5.6 Основные положения методологии оценки результатов компетентностно-ориентированного обучения 229
5.7 Модель мониторинга уровня подготовки обучаемых и оценки качества диагностических средств 230
5.8 Модель автоматизированной системы оценки уровня подготовки выпускников образовательных учреждений 235
Выводы к главе 5 239
Применение результатов диссертационного исследования для независимой оценки результатов обучения 241
6.1 Оценка качества диагностических средств и уровня сформированности когнитивного компонента компетенции 241
6.2 Оценка уровня сформированности личностного компонента компетенции с помощью опросника Т. Лири 252
6.2.1 Исследование качества опросника Т. Лири для оценки межличностных отношений 252
6.2.2 Оценка компетенций студентов с помощью опросника Т. Лири 259
6.3 Оценки уровня сформированности личностного компонента компетенции с помощью опросника Л. П. Калининского 263
6.3.1 Исследование качества опросника Л. П. Калининского «Профиль личностных свойств» 263
6.3.2 Оценка личностных качеств обучаемых с помощью опросника Л. П. Калининского 270
6.4 Оценка качества выпускной квалификационной работы и интегративно- деятельностного компонента компетенции 274
Выводы к главе 6 282
Заключение 284
Список литературы
- Теоретические обоснование возможности использования дихотомической модели Раша для оценки результатов обучения
- Итерационные процедуры на основе метода секущих
- Исследование состоятельности оценок латентных параметров основной модели Раша при ограниченном числе заданий теста
- Результаты экспериментальных исследований оценок, рассчитанных методами бутстреп и складного ножа
Введение к работе
Актуальность темы исследования. В современных условиях быстрого обновления техники и технологий, увеличения риска возникновения техногенных катастроф возросла роль человеческого фактора во многих сферах деятельности, и как следствие, возросли требования к надёжности оценивания уровня профессиональной подготовки кадров. Особенно это касается оборонных предприятий и взрывоопасных производств, железнодорожного, водного и воздушного транспорта, учреждений и подразделений Министерства по чрезвычайным ситуациям, Министерств обороны и внутренних дел. Уровень профессиональной подготовки специалистов и персонала служб можно оценить, прежде всего, на основе результатов их обучения в системе непрерывного образования: в ссузе, вузе, по программам повышения квалификации и переподготовки, в учебных центрах различных министерств и ведомств. Неадекватная оценка профессиональной подготовки специалиста может приводить к ошибкам в управлении персоналом, при принятии управленческих решений, большим материальным убыткам и даже к человеческим жертвам. В связи с этим особую актуальность приобретает решение проблем снижения погрешности автоматизированной оценки результатов обучения, которая обеспечивается автоматизированной системой независимой оценки (АСНО).
Эффективная работа АСНО невозможна без использования математического моделирования и надёжных инструментальных средств диагностики результатов обучения. Их состав и предъявляемые требования во многом определяются используемыми подходами к оценке качества подготовки обучаемых. Специалистам и персоналу различных служб часто приходится работать в условиях быстро изменяющейся обстановки, требующей умения оперативно менять способы действия в незнакомой ситуации и находить наилучший. Поэтому для обучения и переподготовки кадров преимущественно используется компетентностный подход, согласно которому о результатах обучения судят по наличию у обучаемых компетенций, соответствующих их профессиональной деятельности. В связи с этим актуальным становится решение проблемы формализации процедуры оценивания уровня сформированности компетенций слушателей и студентов, теоретического обоснования и реализации используемых для этого моделей и инструментария, разработки программно-алгоритмических средств обработки результатов диагностики обучения (входных данных (ВД)), а также оценки качества диагностических средств (ДС) и текущего уровня подготовки обучаемых. Современные подходы к оценке учебных достижений слушателей и студентов базируются на использовании классической теории тестирования и теории латентных переменных, математический аппарат и основы которых были созданы известными зарубежными и отечественными учёными. Под термином «Латентная переменная (параметр)» принято понимать теоретический конструкт, который характеризует некое скрытое свойство или качество (например, уровень подготовки обучаемого, трудность тестового задания), которые непосредственно измерены быть не могут. Достоинствами классической теории тестирования являются обеспечение получения информации о показателях качества ДС, наглядность выполняемых расчётов и про-
стая интерпретация данных обработки. Основной недостаток - зависимость результатов оценивания параметров обучаемых от трудности заданий ДС. Применение теории латентных переменных, базирующейся на моделях Раша, обеспечивает возможность независимости оценки вычисляемых значений латентного параметра «уровень подготовки» обучаемых вг от значений «трудности заданий» р ДС. Это
способствует повышению объективности получаемых оценок уровня подготовки обучаемых. По этой причине в диссертационной работе сделан акцент на применение именно теории латентных переменных.
Создание математического аппарата классической теории тестирования и теории латентных переменных обеспечило разработку программно-алгоритмических средств обработки результатов диагностики, оценки качества ДС и уровня подготовки обучаемых. Зарубежными учёными Е.В. Andersen, D. Andrich, A. Birnbaum, L.L.Gunman, J. M. Linacre, F.M. Lord, G.N. Masters, B.D. Wright и учёными России (B.C. Аванесов, А.А. Маслак, В.Г. Наводнов, М.Б. Че-лышкова и др.) были созданы программные средства, реализующие возможности и теории латентных переменных, и классической теории тестирования. С их помощью можно решить многие задачи, связанные с оценкой результатов обучения. Вместе с тем, практика работы с существующим программным обеспечением (ПО) показала, что ему присущи достаточно серьёзные недостатки, связанные с наличием нерешённых проблем в самой теории латентных переменных. В частности, не обоснованы условия существования и единственности получаемых оценок латентных параметров моделей Раша, их сходимость и качество, например, состоятельность. Без решения этих проблем нельзя считать оценки латентных параметров надёжными, а полученные с их помощью оценки результатов обучения объективными.
Одной из важных для отечественного образования и не решённых в рамках теории латентных переменных задач является моделирование и параметризация диагностических тестов, в частности калибровка (определение трудности) тестовых заданий по выборкам ограниченного объёма (40-50 человек). Из-за малого объёма выборки погрешности и интервалы оценивания латентного параметра «трудность задания», рассчитываемые на основе стандартных методик параметрической статистики, могут в несколько раз превышать значения самих оценок. Одним из возможных способов решения задачи является применение методов имитационного моделирования. Однако реализация данного подхода затруднена из-за отсутствия теоретико-методологических основ создания моделей нормативных дихотомических матриц ответов заданного размера, позволяющих снизить влияние случайных факторов на параметризацию диагностических средств. Второй возможный способ решения задачи заключается в использовании непараметрических методов математической статистики, но их применение требует теоретического обоснования и экспериментальной проверки.
К перечню нерешённых задач в области разработки теоретико-методологической базы вычисления оценок латентных параметров модели Раша следует отнести и проблему математического обоснования их вычислительных процедур, хотя сами итерационные выражения для расчёта оценок в литературных источниках приводятся. Алгоритмы нахождения оценок латентных парамет-
ров на основе упомянутых процедур являются, как правило, коммерческой тайной и недоступны. По этой причине разработка отечественных программных средств невозможна без построения итерационных вычислительных алгоритмов, позволяющих создать программное обеспечение, которое обеспечивает обработку новых результатов обучения и не уступает по своим функциональным возможностям лучшим зарубежным аналогам.
В соответствии с изложенным проблема исследования определяется необходимостью устранения противоречий между требованиями(ем):
-
Автоматизации, независимости и низкой погрешности оценивания уровня подготовки обучаемых по выборкам ограниченного объёма и отсутствием теоретических основ создания необходимых для этого математических моделей, программно-алгоритмических и методических средств. Оценивания уровня сформированное общекультурных и профессиональных компетенций (ОК и ПК) обучаемых и отсутствием теоретической и методологической базы для построения моделей АСНО новых результатов обучения - компетенций;
-
Наличия качественных средств диагностики уровня сформированности компетенций и отсутствием теоретической и методической базы, обеспечивающей повышение точности расчёта характеристик и показателей качества диагностических средств по выборкам ограниченного объёма.
Актуальность диссертационного исследования обусловлена сформулированными неотложными потребностями обучения и отсутствием реальных возможностей их обеспечения.
Работа выполнена в рамках гранта по аналитической ведомственной целевой программе (АВЦП) «Развитие научного потенциала высшей школы (2009-2011 г.г.)» (РН 3.4.1/3224 и 3.4.1/10601) Минобрнауки РФ; утверждённых научных направлений «Научно-методическое обеспечение инновационного развития высшей школы» ФГБОУ ВПО «ЮРГТУ (НИИ)» и «Методы, технические и программные средства измерения латентных переменных в области образования, социальных и экономических системах» ФГБОУ ВПО «ЮРГУЭС»; ЕЗН Минобрнауки РФ «Разработка методов и программных средств для расчёта латентных переменных по экспериментальным выборкам малого объёма» (ЮРГУЭС-4.08Ф, №ГР 01.200.802798).
Целью диссертационной работы является обеспечение автоматизированной независимой оценки результатов компетентностно-ориентированного обучения на основе развития теории латентных переменных, разработки и обоснования математических моделей, создания программно-инструментальных средств.
Для достижения указанной цели были поставлены следующие задачи исследования:
- теоретически обосновать процедуры расчёта латентных параметров обуча
емых и средств диагностики, а также разработать необходимые для этого алго
ритмы и комплексы программ;
- обосновать условия существования и единственности оценок латентных
параметров обучаемых и средств диагностики, исследовать состоятельность оце
нок, рассчитанных по дихотомической матрице ответов ограниченного размера;
разработать методы, обеспечивающие снижение погрешности расчёта оценок латентных параметров обучаемых и средств диагностики на основе компьютерного моделирования матрицы ответов ограниченного размера;
экспериментально и теоретически исследовать применимость непараметрических методов математической статистики для повышения точности калибровки заданий диагностических средств по дихотомическим матрицам ответов ограниченного размера; разработать необходимые для этого алгоритмы и программное обеспечение;
разработать модель дихотомической матрицы ответов, применение которой позволит снизить влияние искажающих факторов на результаты исследования латентных параметров и характеристик диагностических средств;
разработать методологические основы оценки уровня сформированности компетенций обучаемых и модель мониторинга, позволяющую объективно отслеживать результаты обучения и показатели качества диагностических средств;
разработать модель системы оценки уровня подготовки выпускников учреждений по обучению, повышению квалификации и переподготовке кадров, обеспечивающую объективную оценку их профессиональной подготовки и соответствие её требованиям стандарта;
- провести вычислительные эксперименты, подтверждающие эффектив
ность новых вычислительных алгоритмов и справедливость полученных теорети
ческих результатов.
Объектом исследования является процесс независимой оценки результатов обучения при подготовке, повышении квалификации и переподготовке кадров в учреждениях различных министерств и ведомств.
Предмет исследования: теоретические основы, математические модели, вычислительные алгоритмы, комплексы программ систем автоматизированной оценки результатов обучения.
Методы исследования. Теоретическую основу исследования составляют: теория латентных переменных, теория вероятностей и математической статистики. Для решения поставленных задач применялись методы: вычислительной математики, имитационного моделирования, математического анализа, теории множеств и матричной алгебры, теоретического и экспериментального исследования.
На защиту выносятся:
обоснование условий существования и единственности оценок максимального правдоподобия латентных параметров основной модели Раша и разработанный на их основе алгоритм проверки дихотомической матрицы ответов на соответствие этим условиям;
теоретическое и экспериментальное обоснование состоятельности оценок максимального правдоподобия латентных параметров основной модели Раша, рассчитанных по допустимым квазинормативным дихотомическим матрицам ответов ограниченного размера;
метод расчета квазигенеральных оценок латентных параметров «уровень подготовки» обучаемого и «трудность задания» ДС путём моделирования допустимой нормативной дихотомической матрицы ответов с ограниченным числом
строк и столбцов нормативными матрицами с их существенно большим количеством;
метод калибровки заданий теста путём моделирования допустимой квазинормативной дихотомической матрицы ответов ограниченного размера аналогичными матрицами с существенно большим количеством строк и с равными значениями столбцовых сумм, позволяющий получить квазигенеральные оценки трудности заданий;
модель нормативной дихотомической матрицы ответов, методика и алгоритм её формирования;
модель мониторинга уровня компетенций обучаемых и оценки качества средств диагностики;
модель системы независимой оценки уровня подготовки выпускников учреждений, осуществляющих обучение, повышение квалификации и переподготовку кадров, по уровню сформированности их компетенций.
алгоритмы и комплексы программ для расчёта параметров и характеристик обучаемых и средств диагностики.
Научная новизна исследования:
-
Впервые получены условия допустимости, которым должны удовлетворять дихотомические матрицы результатов тестирования, используемые для расчёта оценок максимального правдоподобия латентных параметров основной модели Раша, выполнение которых обеспечивает существование и единственность оценок. Предложены алгоритм проверки дихотомической матрицы ответов на соответствие её условиям допустимости и алгоритм расчёта доли таких матриц ответов заданного размера. Показано, что доля допустимых дихотомических матриц ответов зависит от соотношения числа их строк и столбцов;
-
Впервые показано, что оценки максимального правдоподобия латентных параметров основной модели Раша, рассчитанные по квазинормативным допустимым матрицам ответов ограниченного размера (N,L>50) являются состоятельными. Установлено, что при одновременном увеличении числа и строк, и столбцов матрицы ответов обеспечивается состоятельность оценок параметров и «уровень подготовки» обучаемого, и «уровень трудности» задания. Если увеличивается только число строк матрицы, а количество столбцов фиксировано и все столбцовые суммы одинаковы, состоятельны только оценки параметра «уровень трудности» задания, а оценки параметра «уровень подготовки» обучаемого, стремятся по вероятности к первоначальным значениям. Установлены минимально достаточные размеры нормативной допустимой матрицы ответов, по которой могут быть рассчитаны генеральные оценки латентных параметров вг и /?;;
-
Предложена новая модель нормативной дихотомической матрицы ответов, методика и алгоритм её формирования по заданным законам распределения латентных параметров вг , /?;, отличающаяся от экспериментальных матриц ответов высокой адекватностью модели Раша и высокими показателями качества соответствующего ей виртуального диагностического средства. Предложена методика экспертизы качества диагностических средств по нормативным дихотомиче-
ским матрицам ответов ограниченного размера, отличающаяся от известных меньшей погрешностью калибровки заданий этих средств;
-
Теоретически и экспериментально обоснован новый метод калибровки заданий теста путём моделирования допустимой квазинормативной дихотомической матрицы ответов ограниченного размера NHxLH аналогичными матрицами с существенно большим числом строк и с одинаковыми значениями столбцовых сумм, позволяющий получить квазигенеральные оценки трудности заданий;
-
Предложен новый метод расчета квазигенеральных оценок латентных параметров в*0 и р*0 путём моделирования допустимой нормативной дихотомической матрицы ответов ограниченного размера NHxLH нормативными матрицами с существенно большим числом строк и столбцов;
-
На основе предложенной методологии оценки сформированности компетенции по значениям его личностного, когнитивного и интегративно-деятельностного компонентов впервые разработана модель мониторинга, позволяющая объективно отслеживать уровень сформированности компетенций обучаемых и проводить экспертизу качества диагностических средств. Разработана новая модель АСНО уровня подготовки выпускников учреждений по обучению, повышению квалификации и переподготовке кадров, обеспечивающая объективную оценку соответствия его требованиям соответствующих стандартов;
-
Предложены новые вычислительные алгоритмы для обработки результатов диагностики обучения и проверки их качества, отличающиеся от известных надёжной сходимостью итерационных оценок к оцениваемому параметру и позволяющие создать ПО для объективной формализованной оценки параметров и характеристик обучаемых и средств диагностики.
Теоретическая значимость:
полученные в диссертационной работе научные результаты по исследованию существования и единственности оценок максимального правдоподобия латентных параметров основной модели Раша, состоятельности этих оценок, рассчитанных по допустимой квазинормативной матрице ответов ограниченного размера, вносят вклад в дальнейшее развитие теории латентных переменных;
получили своё дальнейшее развитие и совершенствование теория построения программно-алгоритмических средств обработки результатов диагностики обучения (входных данных) и оценки качества диагностических средств за счёт математического обоснования и реализации новых алгоритмов расчёта оценок латентных параметров моделей Раша, разработки компьютерных моделей нормативных дихотомических матриц ответов, методики и алгоритма их формирования, создания новых компьютерных алгоритмов и программного обеспечения, реализованных в программных комплексах RILP-1M, RILP-2, RILP-multi;
- созданы теоретико-методологические основы мониторинга результатов
компетентностно-ориентированного обучения и оценки качества диагностических
средств по матрицам ответов ограниченного размера, моделирования автоматизи
рованных систем независимой оценки уровня подготовки выпускников учрежде
ний, осуществляющих обучение, повышение квалификации и переподготовку
кадров в рамках реализации компетентностного подхода.
Практическая значимость результатов работы:
-
Разработаны программные комплексы RILP-1M и RILP-2 который обеспечивает обработку результатов диагностики обучения, представленных квазинормативной матрицей ответов, надёжную оценку качества диагностических материалов и получение независимых оценок уровня подготовки обучаемых;
-
Использование методов калибровки тестовых заданий и расчёта квазигенеральных оценок латентных параметров путём моделирования допустимой квазинормативной матрицы ответов ограниченного размера позволяет с доверительной вероятностью 0,95 существенно снизить погрешности расчёта параметров (не менее чем в 2 раза при выборочной дисперсии уровня подготовки обучаемых, не превышающей 0,58 логит );
-
Замена реальной допустимой нормативной дихотомической матрицы ответов её моделью с высокими показателями качества при параметризации средств диагностики обучения обеспечивает снижение влияния искажающих факторов на результаты параметризации, за счёт чего достигается повышение точности оценивания результатов обучения. С помощью моделирования нормативных дихотомических матриц ответов установлено, что погрешность калибровки тестовых заданий трудностью \/з\ > 0,18 логит не превышает 6 % при объёме выборки N=200 и
3 % при N=300;
-
Методологические основы оценки уровня сформированности компетенций обучаемых и методика экспертизы качества диагностических средств обеспечивают надёжное количественное оценивание результатов компетентностно-ориентированного обучения и эффективное управление его процессом;
-
Модель мониторинга уровня сформированности компетенций обучаемых позволяет объективно отслеживать уровень их подготовки в процессе обучения и получать информацию о качестве диагностических средств. Использование модели обеспечит создание в короткие сроки качественных средств диагностики, пригодных для проведения итоговой государственной аттестации выпускников;
-
Модель системы оценки уровня подготовки выпускников учреждений по обучению, повышению квалификации и переподготовке кадров, базирующаяся на методологии оценки компетенций обучаемых, позволяет получить объективную информацию о владении выпускников компетенциями и о соответствии их уровня требованиям соответствующих стандартов.
Все перечисленные в пп. 1-6 результаты позволят обеспечить высокую надёжность независимой оценки уровня подготовки обучаемых.
Достоверность и обоснованность полученных научных результатов подтверждена соответствием фундаментальным положениям математического анализа, теории вероятностей и математической статистики; корректностью применения математического аппарата; строгим доказательством сформулированных утверждений; их обоснованной математической трактовкой и непротиворечивостью известным (опубликованным) данным; соответствием (с точностью до 2 %) ожидаемых данных эмпирическим; результатами вычислительных экспериментов; устойчивой повторяемостью результатов; представительным количеством использованных источников информации; сочетанием количественного и каче-
ственного анализа; положительной оценкой на международных и всероссийских конференциях, полученной в результате критического обсуждения. Выводы, полученные с помощью разработанных моделей и методов, находятся в логическом соответствии с основными положениями теории латентных переменных.
Реализация результатов работы. Результаты диссертационной работы внедрены и используются в следующих организациях:
Государственное бюджетное учреждение Ростовской области «Ростовский областной центр обработки информации в сфере образования» - программный продукт RILP-1M, методика обработки результатов диагностики и расчёта характеристик и латентных параметров обучаемых и средств диагностики;
ФГБОУ ВПО «Донской государственный технический университет» - программный комплекс RILP-1M, теоретическая модель мониторинга сформированности компетенций обучаемых и оценки качества диагностических средств, метод расчета уровня сформированности компетенций обучаемого и методология их независимой оценки, методика экспертизы качества диагностических средств;
ФГБОУ ВПО «Ростовский государственный строительный университет» -метод и методология независимой оценки уровня сформированности общекультурных компетенций студентов, модель мониторинга сформированности компетенций обучаемых и оценки качества диагностических средств, программный комплекс RILP-1M;
ФГБОУ ВПО «Южно-Российский государственный университет экономики и сервиса» - программные комплексы RILP-1M, RILP- multi, программы для построения психограмм и моделирования дихотомических матриц ответов, методы и методики расчёта характеристик и параметров обучаемых и средств диагностики процесса обучения, методология оценки уровня сформированности компетенций и модель его мониторинга;
ОАО «Системный оператор единой энергетической системы» - программный комплекс RILP-1M, теоретическая модель мониторинга независимой оценки уровня сформированности компетенций обучаемых, методика экспертизы качества диагностических средств по дихотомическим матрицам ответов ограниченного размера;
- ФГОУ «Академия дополнительного профессионального образования
«Учебный центр подготовки руководителей»» - методология оценки уровня
сформированности компетенций студентов (использована в докладе автора дис
сертации на семинаре проректоров по учебной работе вузов России и положи
тельно оценена участниками семинара (отзыв от 29.10.2011)).
Внедрение результатов работы подтверждено соответствующими актами.
Результаты диссертационного исследования использованы в учебных пособиях с грифом УМО «Методологические основы разработки и оценки качества педагогических измерительных материалов (на примере дисциплины «Основы теории цепей»)» и «Теория линейных электрических цепей в тестах» для обучения студентов ВПО направления подготовки 210300 «Радиотехника» по указанной дисциплине.
Основные результаты исследования получены при выполнении НИР «Разработка оценочных и диагностических средств для независимой оценки качества
образования в многоуровневых университетских комплексах» в рамках АВЦП «Развитие научного потенциала высшей школы (2009-2011 г.г.)» (РН 3.4.1/3224 и 3.4.1/10601) Минобрнауки РФ и НИР «Разработка методов и программных средств для расчёта латентных переменных по экспериментальным выборкам малого объёма» по ЕЗН Минобрнауки РФ (ЮРГУЭС-4.08Ф, № ГР 01.200.802798). НИР выполнены в ФГБОУ ВПО «ЮРГУЭС» под научным руководством автора настоящего диссертационного исследования.
Программное обеспечение для ЭВМ, реализующее новые методы и алгоритмы расчёта характеристик ДС и параметров обучаемых, зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ).
Апробация. Основные положения и научные результаты исследований докладывались и получили одобрение на: ежегодных Международных форумах и конференциях «Современное образование: содержание, технологии, качество» (г. Санкт-Петербург, СПбГЭТУ «ЛЭТИ», 2010-2013); ежегодных Международных научно-методических конференциях НИТЭ (Астрахан. гос. техн. ун-т, 1998, 2000); Международных и Всероссийских научных конференциях в г. Таганроге «Системы и модели в информационном мире», «Методы и алгоритмы принятия эффективных решений» и др. (ТТИ ЮФУ, 2008-2011); Международной научно-практической конференции «Информатизация образования-2011» в г. Ельце (гос. ун-т им. И.А. Бунина, 2011); Международном семинаре «Физико-математическое моделирование систем» (г. Воронеж, 2011); Всероссийской и Международной научно-методической конференции «Пути совершенствования подготовки специалистов для текстильной промышленности» в МГТУ им. А.Н. Косыгина (1995, 2002); ежегодных Всероссийских научно-методических конференциях «Развитие тестовых технологий в России» (г. Москва, ФЦТ, 1999-2007); Всероссийских научно-методических семинарах «Автоматизированные системы управления учебным процессом в ВУЗе: опыт, проблемы, возможности» (г. Шахты, 2003, 2008); Всероссийской научно-методической конференции «Фундаментализация высшего технического образования» (г. Новочеркасск, НГТУ, 2000); ежегодных Всероссийских научно-практических конференциях в г. Славянске-на-Кубани «Теория и практика измерения латентных переменных в образовании и других социально-экономических системах» (2007-2010); ежегодных Всероссийских научно-практических конференциях в г. Красноярске «Тестирование в сфере образования: проблемы и перспективы развития» (СГТУ, 2009, 2010, 2013); Всероссийской научно-технической конференции «Приоритетные направления развития науки и технологий» (г. Тула, 2011).
Публикации. Результаты диссертации изложены в монографии, 52 печатных работах, в том числе в 23 статьях, опубликованных в ведущих рецензируемых научных журналах, рекомендованных ВАК, в 11 свидетельствах о регистрации программ для ЭВМ, в 18 статьях сборников материалов Международных и Всероссийских конференций, симпозиумов и семинаров.
Структура работы. Диссертация состоит из введения, шести глав, заключения, списка использованных источников из 261 наименования и двенадцати
приложений. В работе содержится 54 таблицы и 64 рисунка. Общий объём работы -371 страница.
Теоретические обоснование возможности использования дихотомической модели Раша для оценки результатов обучения
Современное состояние профессионального обучения характеризуется достаточно высоким уровнем информатизации, связанной, прежде всего, с его компьютеризацией и интернетизацией, созданием новых образовательных технологий, в которых основной акцент делается на самостоятельную работу обучаемых [120], интеграцией разных уровней профессионального образования на основе принципа преемственности их содержания [43]. В результате этого расширился спектр траекторий обучения потребителей образовательных услуг (студентов вузов и ссузов, персонала различных фирм и предприятий, слушателей учреждений дополнительного образования и курсов переподготовки), что позволило сократить общие сроки получения ими профессионального образования разных уровней. Вместе с тем, возросли требования к качеству обучения [205] и, как следствие, к организации самостоятельной работы обучаемых, к снижению погрешностей оценки уровня их подготовки, особенно при переподготовке и повышении квалификации. Такая оценка должна быть независимой и объективной, что обеспечивается применением автоматизированной системы независимой оценки результатов обучения [183-185], использующей наджные и качественные инструментальные средства: -диагностические материалы (тестовые задания (индикаторы), педагогические и диагностические тесты), обеспечивающие получение результатов диагностики обучения (входных данных); - программно-алгоритмическое обеспечение и математические модели, с помощью которых осуществляется обработка входных данных, проверка качества диагностических средств и расчт параметров обучаемых; - методическое обеспечение для анализа, интерпретации результатов обработки и оценивания уровня подготовки студентов, слушателей, персонала.
Состав и требования к перечисленным инструментальным средствам во многом определяются используемыми подходами к оценке качества подготовки обучаемых. До 1 сентября 2011 года системы оценки результатов обучения и используемые в них методология и инструментарий были ориентированы на проверку знаний, умений и навыков. С их помощью можно было выявить наличие некоторой совокупности распределнных по отдельным дисциплинам знаний, которые не могли дать полного представления о личностных качествах и умениях обучаемого, характеризующих его способности к нестандартному решению проблем в реальных профессиональных ситуациях.
В основу образовательных стандартов нового поколения [206] положен ком-петентностный подход к оценке качества подготовки обучаемого, когда проверяются, прежде всего, не его знания, а готовность применять их на практике и продуктивно действовать в нестандартной ситуации, способность создавать требуемый способ действия. Поэтому под качеством подготовки понимается степень готовности обучаемого продемонстрировать соответствующие компетенции.
Пути создания методологической базы, моделей и инструментария для оценивания новых результатов профессионального обучения невозможно уяснить без анализа понятия, содержания и структуры компетенции, научных истоков отечественного компетентностно-ориентированного обучения.
Содержание понятий «компетенция» и «компетентность» в общем случае многопланово. Если рассматривать данные категории в контексте профессионального обучения, то содержание их можно определить следующим образом.
«Компетенция - совокупность взаимосвязанных качеств личности (знаний, умений, навыков, способов деятельности), задаваемых по отношению к определенному кругу предметов и процессов, и необходимых для качественной продуктивной деятельности по отношению к ним [112; 113; 128; 213]. Она определяет способность человека применять имеющиеся знания на практике в нестандартной ситуации, акцентируя внимание на деятельностном ее аспекте. От сформирован 22 ности компетенций зависит способность человека продуктивно действовать в ситуации отсутствия конкретного умения [202]. В рамках ФГОС ВПО термин «Компетенция» трактуется как «некоторое отчужднное наперд заданное требование к образовательной подготовке выпускника, единица учебной программы, составляющая «анатомию» компетентности» [27].
Исходя из изложенного, под термином «Компетенция» будем понимать отдельное личностное качество обучаемого, на основе которого реализуется опре-делнная составляющая его профессиональной деятельности. Степень выраженности этого качества у обучаемого на разных этапах обучения определяет его уровень владения компетенцией или уровень сформированности компетенции. Компет ентност ь – обладание соответствующей компетенцией, включающей личностное отношение человека к ней и предмету деятельности. По сути дела, компетенция – некоторое отчужденное, наперд заданное требование (норма) к образовательной подготовке ученика, а компетентность – «уже состоявшееся его личностное качество (совокупность качеств) и минимальный опыт по отношению к деятельности в заданной сфере» [128, с.54].
Из анализа и обобщения результатов работ отечественных учных следует, что в качестве «генетического прообраза» современных представлений компе-тентностного подхода в отечественной педагогике являются идеи развивающего и личностно-ориентированного обучения [18; 29; 169; 213; 214]. Поэтому уровень овладения компетенцией необходимо оценивать на основе показателей личностно - профессионального развития студента по направлениям, определяемым структурой компетенции.
Итерационные процедуры на основе метода секущих
Для оценки уровня подготовки тестируемого наряду с дихотомической переменной используется также политомическая индикаторная переменная, когда результат выполнения задания диагностического средства представляется в виде целого числа от 0 до т{. Примером является оценка результатов выполнения тестовых заданий на соответствие, на установление правильной последовательности действий, заданий с несколькими верными ответами, а также оценка результатов социологических и психодиагностических исследований (опрос, анкетирование и т.д.). Такие задания получили название политомических. В отличие от дихотомического политомическое задание теста содержит несколько шагов (градаций, категорий ответа), преодоление каждого из которых оценивается единицей, а непреодоление нулм. Результат выполнения /-го задания участником тестирования п есть целое число xni = х, которое может принимать значения в диапазоне 0 до т{. Каждый у-й порог задания характеризуется определнной трудностью ц- и расположен в определнном месте на оси латентной переменной в. Все задание в целом характеризуется трудностью Pi и также занимает определнное положение на оси в.
Результаты выполнения политомических заданий можно представить в виде трхмерной матрицы, строки которой (ось х) представляют собой политомические профили ответов каждого тестируемого на все задания, столбцы (ось у) - политомические профили ответов тестируемых на каждое задание, а строки в пределах каждого столбца (ось z) - дихотомические профили выполнения шагов конкретного задания [87; 93]. Выполнение каждого шага можно рассматривать как дихотомический латентный отклик в подпространстве Гутмана : а политомическую оценку всего задания - в виде суммы таких откликов.
Используя упорядоченную пространственную матрицу результатов тестирования (матрицу Гутмана), найдм математическое выражение для политомиче-ской модели Раша. В случае двух шагов (яїг-=2) три возможных варианта откликов Yтк для п-го участника тестирования будут выглядеть следующим образом: где справа от каждого варианта указано значение х. Вероятность того, что при ответе на задание / будет выполнен только его первый шаг (отклик примет значение Ymk =1), может быть описана полученной ранее моделью Раша для дихотомической переменной (выражение 1.37):
Вероятность успешного выполнения первого шага двухшагового /-го задания тестируемым с номером п в соответствии с формулой Байеса будет равна вероятности выполнения первого и второго шагов задания /; Q„i, Qn2 - вероятности невыполнения первого и второго шагов задания /. Перемножение вероятностей в числителе соответствует вероятности успешного выполнения первого шага задания и невыполнения второго шага. Произведения вероятностей в знаменателе соответствуют трм вариантам откликов в подпространстве латентных откликов Гутмана, указанным выше. Поделив числитель и знаменатель выражения (1.41) на Qn2 {Qn2 0), получим
Обобщая полученную формулу на произвольное число mt шагов задания /, найдм выражение для вероятности Рпіх(вп xni, Sy) выполнения z-го задания п-м участником тестирования с результатом xni, представляющую собой политомиче-скую модель Раша [219]: где х - градация индикаторной переменной; хпі - результат выполнения п-м участником /-го задания; Р(хпі = х) - вероятность правильного ответа «-го тестируемого на /-е задание с результатом х; вп - уровень подготовки п-го участника тестирования; Д– уровень трудности /-го задания; тіх - относительная трудность JC-ой градации /-ого задания; mi - максимальное значение числа градаций /-го задания.
В качестве иллюстрации полученного выражения (1.44) на рисунке 1.3 показаны зависимости вероятности выполнения пяти шагов задания, каждый из которых оценивался баллами 0, 1, 2, 3 и 4. Каждый шаг (градация оценивания) имеет свою зону действия на оси непрерывной латентной переменной. Первый Рисунок 1.3 - Вероятностные кривые шагов задания с mi=4 порог задания /, т1 - это значение в на оси латентной переменной, при котором ответ тестируемого имеет равную вероятность оценивания и 0, и 1. Второй порог - это отличное от предыдущего значение в на оси латентной переменной, при котором участник тестирования имеет равную вероятность получить и 1, и 2 бал 60 ла. И так далее. В примере, представленном на рисунке 1.3, интервалы действия порогов: [-1,5, -0,5], [-0,5, 0,5], [0,5 1,5] и [1,5, ) соответственно.
Для вычисления истинного значения тестового балла Тп необходимо знать дисперсию ошибки se, которая не всегда известна. Оценить е величину можно с помощью выражения (1.4) sx используя в качестве г„ коэффициент наджности теста rSB, рассчитанный методом расщепления с помощью формул (1.2), (1.3), или коэффициент rnt (формула 1.5), или коэффициент наджности аКг, вычисленный по формуле Кронбаха (1.6).
При использовании теории латентных переменных уровень подготовки участника тестирования вп и трудность задания ft трактуются как некоторые латентные переменные. Используя выражение (1.38) и считая ft известными, можно вычислить значения вп.
Пусть в результате тестирования участник под номером п верно выполнил X из L дихотомических заданий, трудность р] каждого из которых известна. Тогда уровень подготовки вп тестируемого можно рассчитать по его индивидуальному баллу Хп. Суммируя вероятности выполнения L заданий и приравнивания эту сумму к Хп, получим следующее уравнение для расчета вп:
Решение уравнения (1.49) упрощается, если трудность всех заданий одинакова Pj =р. Это условие выполняется, например, для критериально-ориентированного теста, который используется для проверки соответствия уровня подготовки обучаемых требованиям образовательного стандарта. Тогда получим ехр(в-В )
Полученные выражения свидетельствуют о том, что точность оценки уровня подготовки участника тестирования определяется, во-первых, тем, насколько точно известна трудность заданий (индикаторов) теста. Во-вторых, погрешностью расчта доли верно выполненных заданий р„. Первый из названных факторов зависит от погрешности калибровки заданий, второй - от количества используемых в тесте качественных заданий L. Чем точнее будут откалиброваны задания теста и чем их больше, тем точнее будут рассчитаны значения вп.
Исследование состоятельности оценок латентных параметров основной модели Раша при ограниченном числе заданий теста
Отличия алгоритма расчта оценок максимального правдоподобия латентных параметров модели рейтинговой шкалы с использованием метода Ньютона заключаются в том, что итерационные формулы (2.52) - (2.54) заменяются на рекуррентные выражения (2.59) - (2.61), этапы 4 - 6 исключаются, а первые итерации рассчитываются в общем цикле. Расчт в каждом из циклов начинается с начальных значений, поэтому на этапах расчта 7-9 значения в(1), Д(1) и z( 1) заменяются на 0И(0), Д(0) и т(0). В процессе вычислений не проверяется выполнение условий sign
Обобщнная блок-схема рассмотренных алгоритмов расчта оценок латентных параметров модели рейтинговой шкалы представлена на рисунке 2.2. Алгоритмы реализованы в программном обеспечении комплекса RILP-2 [56; 94; 191]. Начало Вычисление (о) (о) (о) в ,р ,т Блок-схема алгоритма расчта латентных параметров модели рейтинговой шкалы Математическое обоснование расчета латентных параметров политомической модели частичного доверия
В качестве исходного выражения для математического обоснования алгоритма расчта латентных параметров на основе политомической модели частичного доверия была использована формула (1.43) для вероятности Ртх правильного ответа участника тестирования п на /-е задание теста с результатом xni., обоснованная в первой главе: где расшифровка обозначений прежняя. Найдм итерационные формулы расчета латентных параметров вп и 8tJ по результатам тестирования, используя метод максимального правдоподобия подобно тому, как это было сделано в параграфе 2.3. Как и прежде будем считать величины 0п и 5tJ независимыми.
Вероятность л правильного ответа на все L заданий всеми N тестируемыми определяется как произведение вероятностей pnix, которые находятся на основе матрицы результатов тестирования, и будет иметь вид [93]:
Упростим выражение (2.65), принимая во внимание, что Sv - сумма трудностей выполненных шагов і -го задания участником п. Суммируя эти трудности по всем N участникам тестирования, получим значение суммы трудностей всех шагов задания /, которые были успешно преодолены данной группой из N тестируемых,
После этого упрощения и с учтом того, что хл/. = Х„, формула для логарифми-ческой вероятности приобретает вид Найдм значения трудности j-го шага /-го задания 8Ц и уровня подготовленности вп п-го участника тестирования, при которых обеспечивается максимальное значение логарифмической вероятности X, продифференцировав выражение (2.66) по латентным переменным 9п, 8Ц и приравняв производные нулю: тестируемый п за успешно выполненные шаги задания /. Если провести суммирование по всем L заданиям, то получим число шагов, которые участник тестирования п успешно преодолеет, выполняя тест. То есть, получим ожидаемый балл п-го тестируемого X .
Сумма Ртк во втором равенстве представляет собой результат успешного выполнения п-м участником у и более шагов задания /. Если сложить результаты всех тестируемых, то получим ожидаемое число участников, которые, предположительно, успешно выполнят/и более шагов задания /, т.е. ожидаемое значение S .
Из полученных выражений видно, что на концах интервала знаки для каждой из функций различны. Поскольку выражение (2.73) фактически совпадает с формулой (2.40), а (2.74) - с формулой (2.41) при к=1, производные функций p6n(Gn,Sv),
Как показывает анализ, знаки полученных производных могут изменяться в области определения функций (-оо,оо). Поэтому границы интервалов изменения значений функций р6„(в„,Зр), р7і(в„,Зр), необходимо выбирать как можно ближе к значениям корней уравнений. Практика показывает, что расчт начальных значений по экспериментальным данным обеспечивает выполнение этого условия. Поэтому для решения системы уравнений (2.72) были выбраны метод секущих и метод Ньютона.
Результаты экспериментальных исследований оценок, рассчитанных методами бутстреп и складного ножа
Экспериментально подтвердить состоятельность оценок максимального правдоподобия р латентных параметров р. и стремление оценок в к 6 /о;при неограниченном увеличении N с использованием реального теста не представляется возможным, поскольку получить L тестовых заданий абсолютно одинаковой трудности на практике невозможно. В связи с этим проверка проводилась на основе вычислительного эксперимента в два этапа [100]. На первом этапе с помощью имитационного моделирования создавалось несколько выборок значений 9l,92,...,9N в предположении, что они распределены по нормальному закону [17;
Значения математического ожидания те и стандартного отклонения ав выбирались равными тв =0,ав =1,414 логит. В дальнейшем модель матрицы формировалась двумя способами. В соответствии с первым из них для каждой из полученных выборок 01(i = lN) и выборки заданий с нулевой трудностью ру =0(j = \А9) формировалась матрица вероятностей Р1}, значения которых вычислялись по формуле (1.37) модели Раша. С помощью имитационного моде 145 лирования на основе закона равной вероятности элементы матрицы вероятностей заменялись на "0" и "1". В результате этого получали дихотомическую матрицу с числом строк N и числом столбцов L=49. Объм выборки виртуальных тестируемых NxL после удаления экстремальных строк и столбцов оказался равным 202х49 и 1233х49. Каждая из сформированных таким образом матриц обрабатывалась программным комплексом RILP-1M, и находились значения оценок в , р и начальные значения уровня подготовки в(0). Рассчитывалось относительное отклонение у, оценок в от значений в{{)). Вычислялось выборочное среднее оценок Р , анализировались их характеристические кривые. Значения оценок р сравнивались с Pj: = 0 (j = 1,49).
Анализ полученных данных показал, что при увеличении объема выборки N величина у, снижается. Для матрицы размером 202х49 среднее значение ysr оказалось равным 0,5 %, а диапазон изменения значений 7t составил от 0,36 % до 0,81 %. Для матрицы размером 1233х49 значения уг изменялись в интервале от 0,13% до 0,28 %, а ysr снизилось до 0,15 % [100]. Разброс значений р] составил от минус 0,21 логит до 0,157 логит (для матрицы 1233х49), выборочное среднее р оценок Р оказалось равным нулю. Равенство р =0 подтверждается и расположением характеристических кривых виртуальных заданий (рисунок 3.1): они расположены симметрично относительно точки с координатами (0; 0,5). Вс это подтверждает полученные в работе [65] теоретические результаты.
Формирование модели матрицы по второму способу производилось на основе моделирования в соответствии с алгоритмом, описанном в параграфе 4.8. Были сформированы 3 матрицы: 501х49, 1002х49 и 3007х49. Обработка их показала, что во всех трх случаях оценки в полностью совпадают с в{{)). Значения оценок р почти для всех виртуальных заданий оказались равными нулю, т.е. значениям Р}.. Для отдельных виртуальных заданий наблюдалось отклонение р от нулевых значений. Оно составило 0,005 логит для матрицы 501х49, и 0,002 логит для матрицы 3007х49. Характеристические кривые всех виртуальных заданий полностью совпали (рисунок 3.2), выродившись в одну кривую, причм, она проходит через точку с координатами (0;0,5), что свидетельствует о равенстве всех Р нулю.
Характеристические кривые виртуальных заданий виртуального теста, рассчитанные по модели матрицы 1022х49 вторым способом
На втором этапе вычислительного эксперимента осуществлялась проверка справедливости полученных теоретическим путм результатов для значения pj, отличного от нуля. Для этого с помощью описанного в [63] алгоритма формировалась квазигенеральная дихотомическая матрица ответов размером 1012х49. Под термином «квазигенеральная матрица» понимается модель дихотомической матрицы с достаточно большим количеством строк и ограниченным количеством столбцов, по которым рассчитываются квазигенеральные значения латентных параметров и на основании которой могут формироваться другие модели матрицы [63].
По сформированной квазигенеральной матрице ответов с помощью программного комплекса RILP-1M рассчитывались квазигенеральные значения вг и латентных параметров (i = l,N,j = l,L), находились параметры закона распределения тв =0 логит и ав =1,4244 логит значений 6t (/; = 1, N) в предположении его нормальности. Из полученных значений р} выбиралось одно: Д2 =0,491 логит, индивидуальный балл которого 732=416. На его основе формировалась модель матрицы ответов с числом строк 7V=1012 и числом столбцов L=49. Все столбцовые суммы уj задавались одинаковыми, равными 416. В качестве строчных сумм х выбирались строчные суммы хг квазигенеральной матрицы, которые корректиро 49 1012 вались так, чтобы итоговые суммы у и х были равны между собой. Сфор у=1 ;=1 мированная таким образом модель дихотомической матрицы ответов обрабатывалась, и анализировались полученные значения оценок трудности всех заданий Р (j = l,L). Анализ показал, что для всех виртуальных заданий полученные значения р оказались равными 0,494 логит. Их отклонение от генерального значения Pj =0,491 логит составило 0,6 %. Оценки в полностью совпали с #/о; [100].
Как показала практика, формирование матрицы ответов с одинаковым значением Yj представляет собой довольно трудомкую процедуру, поэтому для подтверждения состоятельности оценок трудности заданий теста при фиксированном количестве заданий был предложен и исследован более технологичный способ. Для каждого значения р] исходной матрицы формировалась модель матрицы размером N0xL (N0 500, L&LH), используя следующие исходные данные: тв=0, тр = Р , ор ==0,40,6 логит, oe=o eish, где o ash - оценка стандартного отклонения, рассчитанная по исходной матрице.
На основе смоделированной матрицы рассчитываются значения латентных параметров 0 (J) и p (s) ( l = l,N0;s = l,L ). Далее по значению доли р} верных ответов
всех студентов нау-ое задание теста, находится наиболее близкое к нему значение Pj0, рассчитанное по сформированной модели дихотомической матрицы ответов. Используя Pj0 , из массива pjs) ( s = TJ) выбирается соответствующее ему значение оценки р 0. В качестве откалиброванного значения латентного параметра р}. принимается р 0у =р 0, если выборочное среднее арифметическое 0lsh оценок 0 исходной матрицы ответов равно 0, и р 0у = p 0+0ish, если 0uh 0. Прибавление величины 0lsh обусловлено следующими причинами. Оценкам р и р 0 соответствуют одинаковые значения Ptj, но последняя рассчитывалась по центрированным значениям 0 = 0 -0 h, поскольку тв задавалось равным 0, а первая - по значениям 0 =0 +0 1,. Из равенства значение р 0, рассчитанное по центрированным значениям оценок 0 , необходимо скорректировать на величину 0 h, чтобы получить значения р 0 соответствующие исходным значениям р .
Для формирования модели матрицы на основе предложенного способа использовались статистические характеристики оценок латентных параметров, рассчитанные по уже упомянутой выше матрице 1012х49, и то же задание с номером 32, для которого р 2= 0,491 логит, 732=416 и значение доли верных ответов р32 = 0,411067. Моделирование матрицы размером N0xL (N0 500, L LH) осуществлялось таким образом, чтобы среднее выборочное Ду рассчитанных по ней оценок р (к) (j = U7) было как можно ближе к 0,491 логит (с точностью до 2-3%).
По значению доли верных ответов р32 = 0,411067 из выборки р (к) ( j = i,LH ) находилось соответствующее ему значение р 0, которое и принималось за истинное значение латентного параметра р). Параметры сформированной матрицы составили в логитах: 0=0, т = 1,464, Д = 0,482, а} = 0,612, р 0 = 0,493. Относительные отличия полученной оценки от 0,491 логит составило 0,4%.
