Электронная библиотека диссертаций и авторефератов России
dslib.net
Библиотека диссертаций
Навигация
Каталог диссертаций России
Англоязычные диссертации
Диссертации бесплатно
Предстоящие защиты
Рецензии на автореферат
Отчисления авторам
Мой кабинет
Заказы: забрать, оплатить
Мой личный счет
Мой профиль
Мой авторский профиль
Подписки на рассылки



расширенный поиск

Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Садчиков Сергей Михайлович

Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий
<
Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий
>

Диссертация - 480 руб., доставка 10 минут, круглосуточно, без выходных и праздников

Автореферат - бесплатно, доставка 10 минут, круглосуточно, без выходных и праздников

Садчиков Сергей Михайлович. Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий : дис. ... канд. техн. наук : 05.13.11 Москва, 2006 169 с. РГБ ОД, 61:07-5/164

Содержание к диссертации

Введение

1. КОМПЬЮТЕРНЫЕ СИСТЕМЫ В ЗАДАЧЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ И УСВОЕНИЯ НАВЫКОВ 10

1.1. Использование компьютерных систем в образовании 10

1.1.1. Автоматизация управления образовательной деятельностью учебного заведения 10

1.1.2. Обзор компьютерных систем обучения и контроля результатов обучения 12

1.2. Анализ предлагаемых траекторий проверки выполнения заданий 25

1.3. Цели компьютеризации учебного процесса 29

1.3.1. Оценка качества программных средств образовательного назначения 31

1.3.2. О подходах к оцениванию трудоемких многошаговых заданий 33

1.4. Постановка задачи. Проблемы контроля навыков и предложения но их решению 34

2. МОДЕЛИ ОБЛАСТИ ОБУЧЕНИЯ В СИСТЕМАХ КОНТРОЛЯ ЗНАНИЙ И

НАВЫКОВ 39

2.1. Математические основы анализа схем контроля 39

2.2. Модели и методы анализа предлагаемых траекторий проверки выполнения учебных заданий 42

2.2.1. Получение сводного графа выполнения задания 42

2.2.2. Разработка контролирующей системы на основе предложенного графа контроля 61

2.3. Модель студента в диалоговых многошаговых системах решения задачи 62

2.3.1. Категории действий и данных: правильные, разрешенные, ошибочные, неразрешенные .62

2.4. Выводы по главе 66

3. ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА 67

3.1. Интерактивная среда построения схем решения и вычисления их характеристик 67

3.1.1. Основные возможности сиетемы 67

3.1.2. Архитектура системы и разработка алгоритмов вычисления основных числовых характеристик 68

3.1.3. Пример работы с системой 71

3.2. Общая архитектура прикладной системы контроля 75

3.3. Применение открытого и скрытого контроля процесса решения в комплексе но математическому программированию 81

3.3.1. Понятия действий и данных 81

3.3.2. Анализ графов схем выполнения задания и контроля 84

3.3.3. Выделение состояний, множеств действий и данных в комплексах по математическому программированию 89

3.3.4. Комплексы контролирующих и обучающих компьютерных программ по курсу "Методы

оптимизации" 94

3.4. Выводы по главе 96

4. ОПЫТ ИСПОЛЬЗОВАНИЯ КОМПЛЕКСА 98

4.1. Анализ результатов использования компьютерного контроля 98

4.1.1. Сравнение результатов компьютерного и традиционного контроля 98

4.1.2. Анализ использования различных способов автоматического оценивания выполненных заданий 101

4.1.3. Проверка качества интерактивных заданий (анализ дискриминативности шагов, заданий, вариантов) 101

4.1.4. Анализ временных затрат на проведение контрольных мероприятий 104

4.2. Анализ характеристик графа контроля..,. 106

4.2.1. Возможность описания предложенным способом требуемых схем выполнения заданий

4.2.2. Анализ числовых характеристик 109

4.3. Развитие набора компьютерных комплексов по математическому программированию 111

4.3.1. Внедрение комплексов учебный процесс 111

4.3.2. Использование комплекса различными группами студентов 113

4.3.3. Примеры диалогового решения задач 113

4.3.4. Анализ использования студентами средств автоматизированного контроля 117

4.4. Предполагаемое дальнейшее развитие 117

4.5. Использование математического аппарата исследования характеристик графов схем решения для анализа программ дисциплин и учебных планов 118

4.5.1. Математические и методические основы для решения других задач педагогики LI8

4.5.2. Задача формирования программы учебной дисциплины 120

4.5.3. Задача доказательства соответствия учебного плана стандарту 123

4.6. Выводы по главе 124

ЗАКЛЮЧЕНИЕ 125

ЛИТЕРАТУРА 126

Введение к работе

Актуальность темы. Контролирующие процедуры являются, как правило, неотъемлемой частью современных компьютерных обучающих систем. Доля затрат на разработку процедур контроля в обучающих системах значительна.

Применение сценариев интерактивного взаимодействия с обучаемым предусмотрено общепринятыми международными документами в области разработки компьютерных программ для образования. Подобное взаимодействие реализуется соответствующими программными компонентами.

Использование в компьютерной программе функций проверки интерактивного выполнения многошаговых учебных заданий позволяет отслеживать технологию решения, повысить эффективность и снизить временные затраты процедур контроля и самоконтроля.

За счет компьютерного выполнения рутинных операций при решении учебных заданий экономится время студента, что позволяет выполнять больше различных задач, представляющих предмет изучения, при этом они могут иметь большую размерность, часто невозможную при решении вручную.

За счет компьютерного контроля процесса решения экономится время преподавателей на детальную проверку каждой выполненной работы. Это позволяет при том же штате преподавателей проводить контроль большего количества студентов или углубить контроль.

За счет контроля промежуточных результатов увеличивается полнота освоения и контроля методов выполнения заданий, решается ряд проблем для определенного круга заданий, возникающих при контроле только конечного ответа:

о правильный ответ к задаче не гарантирует использования испытуемым требуемого метода решения - слежение за траекторией позволит проконтролировать технологию решения;

о неправильно введенный ответ к заданию часто не позволяет выставить оценку, отличную от нуля, - оценивание каждого шага процесса решения позволяет дифференцировано формировать некоторую положительную оценку для частично правильных решений, что важно для заданий, требующих длительного многошагового выполнения;

о фиксированная последовательность псевдотестовых

"микрозаданий" часто не позволяет испытуемому проявлять инициативу и комплексно продемонстрировать все умения по выполнению задания - разрешение продолжения решения после определенных ошибок помогает решить эту проблему.

РОС. НАЦИОНАЛЬНАЯ-] Ч БИБЛИОТЕК\

С.-Неи-рСлог

U3 2ni6,^ffi_

Одним из видов подобных интерактивных процедур являются задания (учебные задачи), для решения которых в явном виде должны применяться алгоритмы, состоящие более чем из одной операции, т.е. они выполняются за несколько шагов (действий). Для выполнения заданий может существовать и использоваться несколько алгоритмов (или вариантов алгоритмов). Для контроля усвоения материала помимо конечного ответа являются важными получаемые промежуточные результаты, принятые решения и траектория процесса решения. При этом увеличение точек контроля в общем случае приводит к увеличению затрат на реализацию системы.

В настоящее время не существует типовых решений и общепринятых формальных методик для синтеза и оценки интерактивных процедур контроля выполнения многошаговых заданий.

В данной диссертации исследуются модели и методы разработки (проектирования) компьютерных программ интерактивной проверки знаний и умений выполнять многошаговые задания. Предлагаемые методы анализа схем контроля являются формальной основой выбора и проектирования сценария работы пользователя при выполнении интерактивного задания.

Цель диссертационной работы - разработка моделей и методов их создания, обеспечивающих необходимую полноту усвоения и глубину (детальность) контроля и снижающих трудоемкость разработки, а также реализация обучающих и контролирующих комплексов по математическому программированию. При разработке сценариев работы студента анализируются необходимая детальность контроля (количество и положение точек контроля промежуточных результатов решения) и затраты на разработку комплексов. Использование результатов исследования должно дать уменьшение затрат на разработку и сокращение времени на процедуры контроля при полноте освоения изучаемых методов. Данные модели и методы могут применяться также для отбора существующих систем.

Для достижения поставленной цели в работе необходимо решить следующие задачи:

исследовать методы автоматизированного контроля в обучении для построения модели типового комплекса и выявления характеристик, используемых для оценки используемых интерактивных заданий;

предложить и исследовать оригинальные модели и методы синтеза и модификации нагруженных графов, описывающих схемы (сценарии) выполнения заданий и процедур контроля, метод оценки необходимой детальности данных процедур контроля с целью получения корректных сценариев компьютерного интерактивного контроля выполнения заданий;

создать алгоритмическое и программное обеспечение для оценки необходимой детальности реализуемых сценариев (схем) контроля решения задачи;

разработать программное обеспечение комплексов контроля выполнения задания и исследовать их характеристики;

экспериментально проверить разработанные методы и программные средства.

Методы исследования. При разработке математического
обеспечения в диссертационной работе используются методы теории
графов, теории множеств. При разработке программного обеспечения
(ПО) используются методы объектно-ориентированного

программирования.

Научная новизна работы заключается в следующем: в Выполнен анализ современного программно-информационного обеспечения для контроля выполнения многошаговых учебных заданий, выявлены его ограничения и необходимая функциональность, что позволяет сформировать необходимую структуру проектируемого ПО.

Предложена модель оценки (сравнения) интерактивных систем контроля по критерию глубины (детальности) контроля; решение сводится к задаче на графах, что является традиционным, но разработаны собственные методы расчета необходимых характеристик, что служит теоретической основой для анализа схем интерактивного контроля.

Предложена алгебра для синтеза корректных сценариев выполнения заданий, что обеспечивает возможность многократного использования фрагментов сценариев.

Предложена гомоморфная операция стягивания, показаны ее свойства, что позволяет проводить корректную редукцию сценариев выполнения заданий и исследовать их свойства.

Практическая значимость. По тематике диссертационной работы выполнялись исследования над первой очередью комплексов в рамках договора 95-3-114-521/10 ЭУ/95 с Российским НИИ информационных систем (РосНИИ ИС) в МИФИ. Данные исследования описаны в соответствующем отчете о НИР.

Разработанные методы анализа схем контроля выполнения многошаговых учебных заданий используются в созданном инструментальном средстве для проектирования программных систем, предназначенных для компьютерного интерактивного контроля выполнения заданий.

Реализация результатов. Разработанные решения в виде программных комплексов были использованы в МИФИ и МЭСИ при

изучении курсов по математическому программированию в следующих подразделениях:

на кафедре "Исследования операций" МЭСИ;

на факультете "Информационная безопасность" МИФИ, в Экономико-аналитическом институте МИФИ, на кафедрах факультета "Кибернетика" МИФИ №17 "Информатика и процессы управления", №22 "Кибернетика", №29 "Интеллектуальные управляющие системы", на факультете иностранных учащихся МИФИ (группы ИК).

На защиту выносятся:

модель описания сценариев выполнения многошаговых учебных заданий, алгебра для синтеза корректных сценариев; метод анализа необходимой глубины (детальности) процедуры контроля решения задач компьютерными средствами, модель оценки многошаговых заданий;

гомоморфное преобразование редукции (стягивания) для схем контроля, сохраняющее свойство достижимости результата;

структура программных комплексов, включающая модули фиксации трассы решения, диалоговой и вычислительной поддержки;

методы оптимизации структуры учебных курсов с использованием методов преобразования графов;

программная реализация инструментального средства для анализа схем контроля;

программная реализация и внедрение обучающе-контролирующих комплексов, разработанных с использованием вышеназванной методики анализа схем контроля.

Апробация работы. Комплексы обучающих и контролирующих программ по математическому программированию зарегистрированы в Отраслевом фонде алгоритмов и программ, государственный регистрационный № 50200501308.

Теоретические положения и практические результаты были доложены на следующих конференциях, семинарах и выставках:

конференция "Информатика и новые информационные технологии в системе лицей-ВУЗ", МИФИ, 1995;

Международный научный конгресс студентов, аспирантов и молодых ученых "Молодежь и наука - третье тысячелетие", 1996;

конференция "Телекоммуникации и новые информационные технологии в системе лицей-ВУЗ", МИФИ, 1997;

IX Международная конференция-выставка "Информационные технологии в образовании", 1998;

Научная сессия МИФИ, 2000 и 2002-2006;

5-я Выставка-конференция "Телекоммуникации и новые информационные технологии в образовании", МИФИ, 2001;

Х-XV Международные научно-технические семинары "Современные технологии в задачах управления, автоматизации и обработки информации", Алушта, 2001-2006;

Первая научно-практической конференция "Современные информационные технологии и ИТ-образование", ВМК МГУ, 2005;

Четвертая открытая всероссийская конференция "Преподавание информационных технологий в России-2006", г. Москва, 2006.

Структура работы. Диссертация содержит 4 главы, введение и заключение, 72 рисунка, 7 таблиц, 8 приложений. Общий объем страниц без приложения: 134 (с приложениями - 169). Список использованных источников содержит 154 наименования.

Использование компьютерных систем в образовании

Как показывают материалы конференций [17, 18] автоматизация учетных, расчетных, справочных функций управления представлена в большом объеме. Например, семейство продуктов компании "Кода" [123] предназначено для хранения данных о студентах, их оценках, оплате за обучение, для построения учебных графиков для каждой группы и для каждого филиала учебного учреждения, печати стандартных форм различного вида. Также ведутся разработки в области синтеза учебных планов, автоматизируется распределение дисциплин, видов занятий, форм отчетности с учетом взаимной поддержки и влияния дисциплин, сопоставляются показатели полученной трудоемкости с ограничениями [20]. В программах семейства автоматизированных систем управления учебным процессом лаборатории ММиИС (PLANY, Goslnsp и других [137]) компьютеризируется работа по разработке учебных планов, подготовка необходимой информации для аттестации вуза, создание планов работы кафедр и семестровых графиков учебного процесса и другие.

При формировании учебного плана по специальности в вузе неотъемлемым требованием является соответствие государственному образовательному стандарту по номенклатуре, трудоемкости и содержанию программы обязательных дисциплин, а также общей трудоемкости по дисциплинам (циклам дисциплин), устанавливаемых вузом (регионом). Распределение дисциплин по семестрам должно учитывать требование влияния последовательности изучения дисциплин, а также допустимых нагрузок на студента. В программном обеспечении, обеспечивающем поддержку решения задачи проектирования учебного процесса, может использоваться модель учебного плана [19, 20], а также аппарат имитационного моделирования и нейронных сетей [22]. Для составления и оптимизации расписания происходит дальнейшая детализация модели [21]. При формировании учебных планов часто требуется предусмотреть возможность использования единой программы преподаваемого фундаментального курса для различных специальностей (специализаций). В этом случае необходимо оценить корректность ее использования для каждого потока студентов. Некоторый материал важен дяя одних и менее существенен для других. Например, программы дисциплины "методы оптимизации" для инженера, программиста или экономиста могут отличаться, но при необходимости существует возможность сформировать единую программу для всей или части дисциплины.

class2 МОДЕЛИ ОБЛАСТИ ОБУЧЕНИЯ В СИСТЕМАХ КОНТРОЛЯ ЗНАНИЙ И

НАВЫКОВ class2

Математические основы анализа схем контроля

В компьютерных образовательных системах находят применение самые различные модели предметной области (изучаемого курса), студента, электронного педагога, диалога. В некоторых системах может использоваться только часть из названных, и они могут быть очень простые [82]. Важно подобрать из возможных моделей такие, которые позволяют достигать поставленной перед информационной системой цели обучения и/или контроля. Существуют два направления развития данных моделей. Во-первых, это усложнение и увеличение объема модели с целью увеличения точности и полноты отражения знаний студента с дополнительным требованием минимизации или ограничения затрат времени студента при проведении процедуры контроля [30], Во-вторых, использование более простых моделей [81, 82, 83 154], позволяющих вес же достаточно хорошо оценить успехи обучаемого. В литературе [26, 28] отмечается, что применение модели может оказаться успешным, даже если она не является достаточно полной и точной.

Особенностью требований, предъявляемых к моделям, которые предлагаются в работе, является детальный контроль умений и навыков решать задачи требуемым способом (с возможностью слежения за траекторией решения).

Для описания алгоритмов желательно иметь обозначения, более естественные и легче понимаемые, чем используемые для машины Тьюринга [50]. Графический способ описания алгоритмов в различных нотациях и с разными целями используется авторами очень давно. Преимущество данного способа в наглядности. Например, в работе [43] в качестве вершин в блок-схемах алгоритма использованы прямоугольники, ромбы и овалы, в других работах [44. 45, 46] для всех вершин использованы круги, в нотациях UML [42] используются овалы, ромбы, специальные служебные соединительные элементы для параллельного (псевдопараллельного, произвольной последовательности) выполнения и другие. Дополнительно к графической нотации или совершенно независимо используется описание на некотором псевдокоде, а также "высокоуровневое описание алгоритмов в терминах специального языка высокого уровня" [46] или языка, похожего на Алгол, Паскаль, Си [50] и другие языки. Подобный подход "позволяет формулировать алгоритмы в естественной форме, допускающей прямой анализ их корректности и сложности" [46].

Отталкиваясь от наглядности, тезиса, что "многие задачи анализа программ ... значительно упрощаются, если их рассматривать на теоретико-графовых моделях" [45], а также нижеследующего распространенного определения алгоритма (взятого, например, из [43]), будем считать целесообразным использование представления схем решения в виде графа.

Алгоритм - двусортное множество (иными словами совокупность) МР, R2 , где Мр множество правил (процедур) решения задачи, обладающих свойствами массовости, детерминированности, результативности (или направленности [52]), элементарности, a R2- бинарное отношение во множестве Мр, fecMp, (р;,р;)єЯ2, если после процедуры р,- может выполняться процедура р/. В работе [52] также в явном виде указывается свойство дискретности алгоритма. Бинарное отношение R2 определяет порядок выполнения этих правил (процедур), представляемых вершиной графа, и обозначается дугой. Правила бывают "арифметическими", они задают строгую последовательность, и "логическими" - в этом случае происходит ветвление вычислительного процесса, причем количество вариантов дальнейшего следующего шага может быть два и более.

Работы [45, 46] посвящены применению теории графов в программировании и значительно расширяют использование графов для описания и анализа алгоритмов. Вершинам сопоставлены операторы, строки языка программирования, дугам - передача управления между ними. Вводится определение редуцированного графа, в котором линейный участок (без ветвления) представлен одной вершиной. Таким образом достигается сокращение визуального представления графа, увеличивается акцент на участки ветвления алгоритма, облегчая понимание алгоритмов с большим количеством ветвлений. Также в [45] приводится определение Марковской граф-модели программы в виде взвешенного графа, в котором вершинам и дугам сопоставляется один или несколько параметров, например, объем и время вычислений. В противоположность свойству элементарности шага алгоритма в работе [45] вводится понятие процедуры па графе через определение графа алгоритмов системы, в котором вершинам соответствует частная реализация некоторого алгоритма. В графе алгоритмов системы дуги, соединяющие вершины [щ\, определяют последовательность реализации алгоритмов. Иными словами, рассматривается иерархическое описание "большого" алгоритма. При подстановке в данный граф всех графов "вложенных" алгоритмов будет получен единый граф. При подобной подстановке из графов вложенных алгоритмов удаляются начальные и конечные вершины {$i, ti). Дуга, входившая в исходную вершину а , отождествляется с дугой, выходившей из начальной вершины І ,-, Дуга, выходившая из а,-, отождествляется с дугой, входившей в конечную вершину t;. Специально разработанная в Институте систем информатики СО РАН система HIGRES [46] работает с иерархическими графовыми нагруженными моделями, при скрытии всех подробностей " представляется одним прямоугольником и связями, ведущими в него преобразования "управляющих" графов описываются в работах [45, 46].

Интерактивная среда построения схем решения и вычисления их характеристик

Для удобства работы с рассматриваемыми нагруженными графами контроля должно быть разработано инструментальное средство. Основные функции системы:

графическое средство иерархического описания (построения) сводного и исследуемого графов схем контроля;

расчет необходимых числовых характеристик;

анализ графов схем контроля.

В системе предусматривается одна роль пользователей: преподаватель-методист или специалист по формализации информации, предоставленной преподавателем (в случае, если преподаватель не владеет средствами Microsoft Office Visio).

Для возможности варьирования параметров детализации без перестроения графов, сохранения возможности корректировки одновременно исследуемого и сводного графа предлагается на одном графе отображать сводный и исследуемый графы. Данное свойство достигается путем введения параметра "наличие детализации" у вершины-процедуры, а условно-связная компонента стягиваемых элементов представляется в виде подобной процедуры. Если параметр детализации процедуры у вершины не установлен, то для исследуемого графа схемы контроля это означает, что вершина "стянута", се детализация в исследуемой схеме контроля отсутствует. Для сводного графа при любом значении параметра эти вершины будут представлять процедуры. Для анализа нескольких исследуемых графов можно использовать различный набор параметров детализации конкретных укрупненных блоков па одном графе. При этом сохраняется возможность отдельного описания сводного и исследуемого графов.

Для вычисления характеристики ограничения по альтернативам К формируется отдельный граф с использованием функции выделения в укрупненный блок соответствующих вершин и дуг с удалением существующих в исследуемом графе контроля элементов.

В качестве редактора графов предлагается использование среды MS Visio Professional, которая предлагает широкие возможности визуальной работы с различными графическими объектами, позволяет программно исследовать и модифицировать их параметры, добавлять собственные. Предлагаемый пользовательский интерфейс инструментального средства представлен на рис. 3.1.

Сравнение результатов компьютерного и традиционного контроля

Применение компьютерных систем обучения и контроля может быть оправдано, если результаты автоматизированного контроля согласуются с результатами контроля традиционным способом, и снижаются затраты времени студента и преподавателя. Были спланированы эксперименты по сравнению среднего результата за компьютерный контроль, проводимый в течение семестра, с оценкой на экзамене у одних и тех же студентов. Указанные виды контроля проводятся по одинаковым темам и различаются по количеству заданий (табл. 4.1), экзамен дополнительно включает теоретический материал в большом объеме, компьютерные работы содержат также традиционные тесты.

Экзамен 1 4-6 (с учетом дополнительных вопросов) Иа рис. 4.1 приведено сравнение результатов компьютерного контроля с оценками, полученными на экзамене студентами одной из групп кафедры Кибернетики. Сравнение результатов в остальных группах, показывает похожую зависимость. На диаграмме указана погрешность в ±0.5 балла. Десятибалльная шкала, применяемая при автоматизированном контроле, приведена к пятибалльной, используемой на экзамене, делением результата на два. В 85 % случаев с учетом указанной точности результаты совпадают. Максимальная разность составила 1.08 балла. Большое несоответствие результатов может быть вызвано различными факторами:

- случайность;

- не более 50 % программы экзамена покрывается автоматизированным контролем (например, доказательства теорем не включены в компьютерную систему);

- неточностью оценивания (при любой форме проведения контроля);

- высокой погрешностью пятибалльной шкалы оценивания;

- большой разброс оценок за разные темы у некоторых студентов (рис. 4.2);

- психологические предпочтения к какой-либо форме контроля (письменной или компьютерной и промежуточной или итоговой);

- разница во времени поведения контрольных мероприятий. студенты средняя оценка при компьютерном контроле а оценка за экзамен контроль и экзамен г-ro студента.

Проведенный анализ показал высокую степень корреляции между средней оценкой, полученной за компьютерный контроль, и оценкой за экзамен, которая для указанной выше группы составила 0,87. -максимальная оценка о минимальная оценка —среднее значение [

Неравномерность показанных знаний и умений в разрезе различных тем (но результатам компьютерного контроля)

Проверим гипотезу о существовании корреляции, Зададим уровень значимости, о = 0.001 (0.1 %), то есть проверим с вероятностью 1 - а = 0,999 (99.9 %), что корреляция существует. Для малой выборки рассчитаем величину где к - полученная степень корреляции, п - количество экспериментов. Значение г должно удовлетворять -распределению Стыодеита с (п - 2) степенями свободы, то есть при t 3.7 гипотеза об отсутствии корреляции отвергается. Полученное значение t= 8.64 означает, что при заданном уровне в 99.9 % подтверждается гипотеза о корреляции значений.

Анализ результатов аналогичного эксперимента в группах студентов другого потока дает меньшее значение степени корреляции г = 0.74 (п = 47), однако гипотеза о корреляции значений также подтверждается с учетом уровня точности 99.9 %.

Анализ результатов каждой компьютерной работы, посвященной какой-либо теме, показывает меньшее значение степеней корреляции полученных баллов за работу с оценками за экзамен. В данном случае степень корреляции лежит в диапазоне 0.49 - 0,74. Данное наблюдение объясняется неравномерностью подготовки студентов к каждой отдельной теме.

Результат такого же анализа, полученного на основе двух письменных контрольных работ и экзамена, даст тот же результат точности в 99.9 % (но худший при сравнении степеней корреляции г = 0.62 против г - 0.74 при одинаковом количестве экспериментов).

Рассмотрим корреляцию средних оценок промежуточного контроля со средними оценками за экзамены по всем дисциплинам у студентов в одном семестре.

Рассматривалась успеваемость студентов кафедры Кибернетики в весеннем семестре 2004 года с учетом оценок текущего контроля, по которым был зачет без оценки. Оценка за промежуточный контроль в зависимости от дисциплины выставлялась по итогам различных форм контроля. Использована шкала оценивания {5, 4, 3, 2). Неявка по неуважительной причине оценивалась как неудовлетворительная оценка (два балла). Были получены следующие результаты:

Степень корреляции 0.88 Количество студентов с разницей средних баллов более 0.5 22,1 % Количество студентов с разницей средних баллов более 0.9 4.7 % Максимальная разница в средних баллах 1.28. Можно сделать вывод, что расхождение между текущей успеваемостью и результатами итоговых испытаний, выявленное при автоматизированном контроле в эксперименте, является характерным для различных типов контроля по многим дисциплинам.

Похожие диссертации на Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий