Электронная библиотека диссертаций и авторефератов России
dslib.net
Библиотека диссертаций
Навигация
Каталог диссертаций России
Англоязычные диссертации
Диссертации бесплатно
Предстоящие защиты
Рецензии на автореферат
Отчисления авторам
Мой кабинет
Заказы: забрать, оплатить
Мой личный счет
Мой профиль
Мой авторский профиль
Подписки на рассылки



расширенный поиск

Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Иванова Татьяна Максимовна

Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний
<
Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний
>

Диссертация - 480 руб., доставка 10 минут, круглосуточно, без выходных и праздников

Автореферат - бесплатно, доставка 10 минут, круглосуточно, без выходных и праздников

Иванова Татьяна Максимовна. Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний : диссертация ... кандидата технических наук : 05.13.01 / Иванова Татьяна Максимовна; [Место защиты: Сам. гос. техн. ун-т]. - Самара, 2007. - 146 с. : ил. РГБ ОД, 61:07-5/3953

Содержание к диссертации

Введение

1 Анализ электронных образовательных ресурсов, применяемых при переподготовке специалистов промышленных предприятий 11

1.1 Профессиональные знания и показатели их качества 11

1.2 Анализ требований, предъявляемых к системам формирования и квалиметрии профессиональных знаний 16

1.3 Анализ существующих видов оценки информационных систем 21

1.4 Классификация образовательных ресурсов и требования к ним 24

1.5 Применение информационных технологий при создании систем формирования и квалиметрии профессиональных знаний 32

1.6 Обзор рынка современных систем тестирования электронных образовательных ресурсов 34

1.7 Выводы 37

2 Анализ и обоснование методов оценки систем формирования и квалиметрии профессиональных знаний 40

2.1 Анализ методов оценки систем и классификационных шкал 40

2.2 Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний 46

2.3 Методика расчета коэффициента компетентности 47

2.4 Обоснование методики расчета согласованности мнений экспертов .49

2.5 Концептуальная модель оценивания объективности 51

2.6 Применение однофакторного дисперсионного анализа для исследования зависимости результатов от групп экспертов 54

2.7 Применение ранговой корреляции для анализа результатов оценки систем формирования профессиональных знаний 59

2.8 Обоснование применения теории нечетких множеств для анализа систем формирования и квалиметрии профессиональных знаний 62

2.9 Анализ общих принципов теории нечетких множеств 64

2.10 Нечеткая база знаний и нечеткие логические высказывания 69

2.11 Выводы 75

CLASS 3 Методика оценки систем формирования и квалиметрии профессиональных знаний CLASS 78

3.1 Комплекс требований для оценки качества систем формирования и квалиметрии профессиональных знаний 78

3.2 Расчет уровня компетентности экспертной группы и построение усредненной функции принадлежности 86

3.3 Расчет степени согласованности мнений экспертов и оценки уровня объективности экспертной комиссии 87

3.4 Дерево логического вывода для оценки систем формирования и квалиметрии профессиональных знаний 89

3.5 Лингвистические переменные и нечеткая база знаний для оценки качества 95

3.6 Выводы 97

4 Реализация системы оценки систем формирования и квалиметрии профессиональных знаний 99

4.1 Области применения информационной системы 99

4.2 Выбор способа межпроцессного взаимодействия. Клиентская и серверная приложения системы 100

4.3 Проведение оценки систем формирования и квалиметрии профессиональных знаний и анализ результатов 105

4.4 Структура системы оценки систем формирования и квалиметрии профессиональных знаний на основе теории нечетких множеств 113

4.5 Выводы 115

Основные результаты работы и выводы 116

Литература

Введение к работе

В современных условиях на нефтяных, химических, машиностроительных и других промышленных предприятиях обостряется проблема обеспечения квалифицированными специалистами, при этом серьезной проблемой является не только своевременная подготовка новых кадров по новым направлениям, но и повышение квалификации, переподготовка большого числа специалистов отраслей. Это связано с необходимостью повышать теоретический уровень и практические навыки не только рядовых инженеров, но и руководителей, чтобы быть на уровне требований современного производства. В таких масштабах с охватом столь широкого круга людей переподготовка в России ранее не проводилась. Для любой отрасли в промышленности очень важно своевременно переподготовить кадры, поскольку просчет в этом может поставить экономику страны в очень тяжелое положение.

В таких условиях главным становится не только численное обеспечение отраслей промышленности специалистами, но и их новое качество. При этом требования к организации занятий особые, потому что человек, повышающий свою квалификацию, уже имеет профессиональное образование и требует высокого уровня преподавания.

Однако в системе обучения персонала существуют следующие основные противоречия:

между состоянием развития промышленного производства, с одной стороны, и научно-методическим уровнем обучения, с другой;

между потребностями в модернизации содержания, принципов его отбора и структурирования, форм, методов и средств производственного обучения, адекватных современным задачам переподготовки и повышения квалификации кадров, с одной стороны, и недостатком разработок в области методологии производственного обучения, с другой.

При этом с учетом требований мобильности и оперативности подготовки специалистов решение проблемы возможно только с применением ин-

формационных технологий и использованием электронных систем формирования и квалиметрии профессиональных знаний, имеющих определенную структуру и необходимые для изучения или повторения материала, а также контроля знаний обучающихся. Наряду с этим они должны быть ориентированы на определенную промышленную отрасль, например, должно присутствовать моделирование производственного процесса, аварийных ситуаций и объяснение методов их устранения, представление схем технологического процесса и ремонта оборудования. Методологическую основу исследований в области создания электронных обучающих средств формирования и квалиметрии профессиональных знаний составляют работы B.C. Аванесова, Е.А. Михайлычева, В.А. Хлебникова, А.Г. Шмелева, М.Б. Челышкова, О.А. Козлова, А.А. Кузнецова, Дж. Стэнли, Дж. Глассса и др. Однако, большие трудности возникают с оценкой подобных систем, особенно применяемых в различных сферах промышленности, где необходимо учитывать потребности отрасли.

В общем случае анализ и комплексная оценка требуют применения нескольких методов, поскольку осложненные условия исследования подобных систем приводят к необходимости учета ряда особенностей. В первую очередь, число электронных систем формирования и квалиметрии профессиональных знаний все более увеличивается, а их структура усложняется, в связи с этим при их выборе приходится анализировать большое количество показателей, характеризующих свойства программы наряду со специфическими профессиональными показателями. Кроме того, требуется учитывать тот факт, что переподготовка специалистов осуществляется за короткие сроки, в связи с этим важным становится не только наполнение обучающих программ, но и удобство работы с системой, пользовательский интерфейс.

В современных условиях одновременно предлагается множество электронных обучающих программ одного и того же назначения, что приводит к трудности выбора и принятии решения в пользу той или иной программы, сделанного после оценки ее качества. Причем выбор основан не на количест-

венных расчетах, а осуществляется подсознательно и носит эвристический характер. В тоже время неточная или ошибочная оценка систем приводит к рискам, связанным с некачественной подготовкой специалистов, при этом возрастает риск понести убытки предприятиям, на которых работают данные сотрудники.

Также необходимо учитывать, что анализ и оценка систем формирования и квалиметрии профессиональных знаний является нетривиальной задачей, требующей методов отличных, например, от оценки технических систем. Применение только экспертного метода для анализа и оценки систем формирования и квалиметрии профессиональных знаний приводит к нечеткости (неоднозначности) естественного языка (лингвистическая неопределенность), а процедура принятия решения базируется на неполной информации, т.е. нечетких посылках. Неопределенность проявляется и при формировании списка требований, которым должны удовлетворять системы из-за постоянно меняющихся условий в промышленности.

Перечисленные выше особенности приводят к тому, что при анализе и оценке систем формирования и квалиметрии профессиональных знаний игнорируется существование неопределенностей, либо осуществляется предварительная, ненасыщенная оценка, основанная только на опыте и суждениях отдельной группы людей.

Целью настоящей диссертационной работы является системный анализ проблем переподготовки кадров на промышленных предприятиях и разработка методики комплексной оценки систем формирования и квалиметрии профессиональных знаний.

Для достижения поставленной цели необходимо решение следующих задач:

1. Проведение системного анализа факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, разработка классификации существующих и применяемых в промышленности электронных образовательных ресурсов.

  1. Исследование основных видов и средств тестирования программного обеспечения.

  2. Выбор критериев качества систем формирования и квалиметрии профессиональных знаний.

  3. Разработка комплекса требований для оценки систем формирования и квалиметрии профессиональных знаний.

  4. Разработка дерева показателей на основе многоуровневого принципа построения для формирования последовательности их влияния на качество систем.

  5. Разработка системы соотношений взаимосвязи показателей для оценки интегрального показателя качества системы профессиональной подготовки.

  6. Разработка базы знаний, определяющей систему логических высказываний.

Методы исследования базируются на комплексном применении методов системного анализа, теории нечетких множеств, методов статистического анализа, операций математической логики.

Научная новизна и значимость работы заключается в следующем:

  1. Предложено системное описание факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, которое в отличие от аналогов, позволяет осуществить процедуру декомпозиции оценивания данной системы на отдельные группы и формализовать их влияние на интегральный показатель качества.

  2. Разработана методика многокритериальной оценки качества, отличающаяся комплексным подходом к решению поставленной задачи, разработанная на основе анализа электронных образовательных ресурсов, применяемых для переподготовки специалистов на промышленных предприятиях, и позволяющая проводить оценку систем формирования и квалиметрии профессиональных знаний.

  1. Разработано дерево логического вывода, отличающееся учетом иерархичности классов входных показателей качества и позволяющее формировать систему вложенных друг в друга нечетких баз знаний меньшей размерности.

    Разработана методика формирования базы знаний с применением нечетких термов, отличающаяся учетом влияния как общих требований к оцениваемой системе, так и специфических профессиональных, что позволяет комплексно оценить систему формирования и квалиметрии профессиональных знаний.

    Практическая ценность.

    1. Предложенная методика многокритериальной оценки качества позволяет выполнять оценку в соответствии с поставленными требованиями к системе при переподготовке кадров в промышленных отраслях.

    2. Внедрение концепции оценки систем формирования и квалиметрии профессиональных знаний позволяет оперативно прогнозировать ее качество.

    3. Накапливаемый банк данных позволяет регламентировать процесс планирования, подготовки и проведения модернизаций систем, применяемых при обучении персонала в промышленности.

    На защиту выносятся следующие положения:

    1. Комплекс требований, предъявляемых к системам формирования и квалиметрии профессиональных знаний.

    2. Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний.

    3. Дерево логического вывода, построенное с применением нечетких термов.

    4. Методика оценки систем формирования и квалиметрии профессиональных знаний с учетом принципов лингвистического моделирования.

    5. Математическая модель, представленная в виде соотношений, описывающих зависимость между частными показателями качества и интегральным показателем.

    Реализация работы. Полученные в диссертационной работе решения и разработанные методики были использованы и внедрены в ОАО «Волга-бурмаш» (г. Самара), ФОАО «Волгомост» (г. Волгоград), ГОУВПО «Самарский государственный технический университет» и ООО «Искусственный интеллект» (г. Самара).

    Апробация работы. Основные положения работы и результаты исследований докладывались и обсуждались на следующих конференциях: Всероссийский симпозиум «Математическое моделирование и компьютерные технологии» (Кисловодск, 2002); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2003); Международная научно-техническая конференция «Информационные, измерительные и управляющие системы» (Самара, 2005); Межрегиональная научно-практическая конференция «Тенденции и перспективы развития информационных технологий в высшей школе» (Тольятти, 2005); Международная научно-техническая конференция «Наука и образование» (Мурманск, 2005); Международная научно-техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл., 2005); Международная научно-техническая конференция «Современные информационные технологии». Весенняя сессия (Пенза, 2005); Всероссийская научно-практическая конференция «Актуальные проблемы науки в России» (Кузнецк, 2005); Международная научно-техническая конференция «Современные информационные технологии». Осенняя сессия (Пенза, 2005); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2006); Международная научно-техническая конференция «Наука и образование» (Белово, 2006); Международная научно-техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл., 2007).

    Автор награжден Грамотой за инновационную научно-техническую разработку (2003), Дипломом министерства образования РФ по итогам конкурса 2003 года на лучшую научно-исследовательскую работу в рамках МКП НТО,

    Дипломом ОАО «Приволжскнефтепровод» конкурса молодежи ОАО АК «Транснефть» на лучшую научно-техническую разработку 2003 года.

    Публикации. По теме диссертации опубликовано 15 печатных работ, в том числе 2 статьи в журнале из перечня, рекомендуемого ВАК РФ.

    Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Она изложена на 146 страницах, содержит 14 рисунков, 14 таблиц, 3 приложения. Список использованных источников состоит из 96 наименований.

    1 Анализ электронных образовательных ресурсов,

    применяемых при переподготовке специалистов

    промышленных предприятий

    Профессиональные знания и показатели их качества

    Различные способы оценки систем формирования профессиональных знаний определяются, главным образом, подходом, что понимать под профессиональными знаниями и как они соотносятся с профессиональной деятельностью. В работе [13] профессиональные знания рассматриваются с точки зрения того, кем они формируются. С этих позиций они подразделяются на индивидуальные и групповые. Знания, сформированные субъектом как результаты деятельности по решению профессиональной задачи, есть индивидуальные профессиональные знания. Знания, сформированные как результаты деятельности по решению профессиональной задачи группой специалистов, которые в рамках данной производственной среды имеют одинаковую квалификацию, есть групповые профессиональные знания. На основании данного разделения оценка профессиональных знаний субъекта рассматривается как измерительная операция.

    Профессиональная деятельность исходит из имеющихся у субъекта профессиональных знаний и является основой генерирования новых профессиональных знаний [1].

    Субъект усваивает определенные виды деятельности, после того как получает и обрабатывает соответствующую информацию, описывающую способы и приемы деятельности, свойства объектов, признаки и механизмы явлений. При этом заключение о качестве усвоения учебного материала осуществляются и использованием системы параметров и показателей, характеризующих качество обучения.

    При рассмотрении показателей, влияющих на качество получаемых профессиональных знаний, следует выделить: - полнота учебного материала; - степень научности; - степень применения профессиональных терминов.

    При этом показатель степени научности изложения и усвоения учебного материала определяется на основе так называемой ступени абстракции в описании явлений. Различают четыре ступени абстракции. Ступень А (феноменологическая) - внешнее, описательное изложение фактов и явлений с использованием преимущественно естественного языка и житейских понятий. Ступень Б (аналитико-синтетическая, предсказательная) - элементарное объяснение природы и свойств объектов и закономерностей явлений. Используется язык науки. Ступень В (прогностическая) - объяснение явлений данной области с созданием их количественной теории. Ступень Г (аксиоматическая) - объяснение явлений с использованием высокой степени общности и использованием междисциплинарного языка науки.

    Указание ступени абстракции, на которой излагается материал темы, - обязательное требование стандарта к учебным программам и пособиям. Наряду с этими показателями существуют подходы к определению показателя качества освоения, который позволяет определить степень достигнутого в обучения мастерства владения деятельностью. В общем, различают четыре уровня усвоения, отличающиеся способом использования исходной информации в деятельности:

    I уровень - ученический - узнавание, т.е. репродуктивное действие с подсказкой; II уровень - алгоритмический, репродуктивное действие по памяти; III уровень - эвристический - продуктивная деятельность, создание субъ ективно новой (новой для себя) информации; IV уровень - творческий - продуктивная деятельность, результатом которой является создание объективно новой информации. Показателем качества является коэффициент усвоения К: а - количество правильно выполненных существенных операций в тестовом задании (действий в оцениваемой деятельности); р - общее количество существенных операций в тестовом задании (действий в оцениваемой деятельности).

    Определение численного значения коэффициента качества усвоения производится на протяжении всего процесса формирования и квалиметрии профессиональных знаний для каждого учащегося по тестам, соответствующим заданному уровню усвоения. [15, 16]

    Для оценки знаний часто рассматривается два метода контроля знаний: субъективный и объективный. Первый означает выявление, измерение и глазомерную оценку знаний, умений и навыков, исходящую из личных представлений экзаменатора. Этот метод оценки знаний непригоден для итогового контроля, так как не обладает необходимой точностью и воспроизводимостью результатов. Под объективным подразумевается контроль, который обладает необходимой точностью, воспроизводимостью результатов и выполняется с использованием «псевдоприборных» измерений. Инструментом (прибором) объективной оценки является тест, включающий в себя контрольное задание на выполнение деятельности определенного уровня и эталон, по которому можно судить о качестве ее усвоения.

    Задание теста создается в соответствии с требованиями валидности, однозначности и простоты с учетом целей изучения предмета. Эталон представляет собой последовательное полное и правильное описание выполнения задания, в котором выделены существенные операции. За операцию теста принимается единичное действие.

    Применение однофакторного дисперсионного анализа для исследования зависимости результатов от групп экспертов

    Обозначим д, - математическое ожидание результативного признака при уровне А0); а2 - математическое ожидание результативного признака при уровне Аа);...; av - математическое ожидание при уровне АКхЛ.

    Если при изменении уровня фактора групповые математические ожидания не изменяются, т.е. а, =а2 =... = аг, то считаем, что результативный признак не зависит от фактора А, в противном случае такая зависимость имеется. Но поскольку числовые значения математических ожиданий неизвестны, то не задача проверки гипотезы: Н0 :а, =а2 =... = av.

    Проверить гипотезу о равенстве групповых математических ожиданий можно при соблюдении следующих требований: 1) при каждом уровне фактора наблюдения независимы и проводятся в одинаковых условиях; наблюдения независимы при различных уровнях фактора; 2) при каждом уровне фактора результативный признак имеет нормальный закон распределения с постоянной для различных уровней генеральной дисперсией (сг02).

    Если соблюдение первого требования определяется организацией эксперимента, то выполнение второго требования от этого не зависит.

    При решении вопроса о виде распределения результативного признака при каждом уровне фактора, во-первых, надо учитывать природу изучаемого явления: возможно, что механизм формирования значений результативного признака удовлетворяет условиям центральной предельной теоремы и тогда этот признак будет иметь нормальный закон распределения, и, во-вторых, если в группе достаточно большое число данных, то, используя критерий согласия Пирсона, можно выяснить, приемлема гипотеза о нормальности распределения или нет.

    Как установить, одинаковы ли генеральные дисперсии результативного признака при различных уровнях фактора или нет? Обозначим через а) генеральную дисперсию результативного признака при /-м уровне фактора, / = 1,2,..у. Не зная числовых значений этих дисперсий, нельзя однозначно ответить на этот вопрос, можно лишь проверить гипотезу интервал (хТ« +00) то гипотезу Я0 отвергаем. В противном случае считаем, что гипотеза не противоречит результатам наблюдений. Изменчивость, или вариация наблюдаемых значений результативного признака У может быть вызвана изменчивостью уровней фактора А и изменчивостью значений случайных неконтролируемых факторов, влияющих на Y, называемые остаточными.

    Зафиксируем какой-либо уровень фактора А . Вариация наблюдений У, , Y2 \ ...., F(,) внутри /-группы относительно группового среднего Y вызывается влиянием остаточных факторов и измеряется групповой дисперсией. Тогда по всем группам вариация измеряется средней групповых дисперсией. Таким образом,

    Для анализа результатов тестирования возможно применение ранговой корреляции. Известно, что корреляционная связь - это согласованные изменения двух признаков или большего количества признаков (множественная корреляционная связь). Корреляционная связь отражает тот факт, что изменчивость одного признака находится в некотором соответствии с изменчивостью другого. Корреляционная зависимость - это изменения, которые вносят значения одного признака в вероятность появления разных значений другого признака. При этом зависимость подразумевает влияние, а связь - любые согласованные изменения, которые могут объясняться сотнями причин. Корреляционные связи различаются по форме, направлению и степени (силе).

    С точки зрения формы корреляционная связь может быть прямолинейной или криволинейной. По направлению корреляционная связь может быть положительной («прямой») и отрицательной («обратной»). При положительной прямолинейной корреляции более высоким значениям одного признака соответствуют более высокие значения другого, а более низким значениям одного признака - низкие значения другого (рис. 9). При отрицательной корреляции соотношения обратные.

    При положительной корреляции коэффициент корреляции имеет положительный знак, при отрицательной - отрицательный. Сила связи не зависит от ее направленности и определяется по абсолютному значению коэффициента корреляции. Максимальное возможное абсолютное значение коэффициента корреляции г = 1,00; минимальное г = 0.

    Однако, среди методов ранговой корреляции, метод ранговой корреляции г Спирмена позволяет определить тесноту (силу) и направление корреляционной связи между двумя признаками или между двумя профилями (иерархиями) признаков.

    Для подсчета ранговой корреляции необходимо располагать двумя рядами значений, которые могут быть проранжированы. При этом возможны следующие гипотезы. Н0- корреляция между переменными (иерархиями) А и Б не отличается от нуля. Я, - корреляция между переменными (иерархиями) А и Б статистически значимо отличается от нуля.

    Ограничения коэффициента ранговой корреляции:

    1. По каждой переменной должно быть представлено не менее 5 наблюдений. Верхняя граница выборки определяется имеющимися таблицами критических значений, а именно N 40.

    2. Коэффициент ранговой корреляции Спирмена г при большом количестве одинаковых рангов по одной или обеим сопоставляемым переменным дает огрубленные значения. В идеале оба коррелируемых ряда должны представлять собой две последовательности несовпадающих значений. В случае, если это условие не соблюдается, необходимо вносить поправку на одинаковые ранги.

    Комплекс требований для оценки качества систем формирования и квалиметрии профессиональных знаний

    В работе предлагается проводить анализ и оценку систем формирования и квалиметрии на основе разработанного в соответствии с требованиями, предъявляемыми к системам подобного типа, комплекса критериев. Оценивание осуществляется экспертной комиссией с выставлением категории каждому критерию. Для анализа экспертам предлагается использовать пять критериев: «хорошо», «приемлемо», «удовлетворительно», «не приемлемо», «нет данного критерия». Однако, применение аппарата теории нечетких множеств позволяет проводить боллее глубокие исследования, построив новые терм-множества.

    Расчет уровня компетентности члена экспертной группы, осуществляющего оценку качества систем формирования и квалиметрии профессиональных знаний, основывается на лингвистических значениях, выставляемых после определения значений показателей каждого эксперта. Данные об эксперте формируются в таблице 8. Таблица 8- Информация о первом эксперте

    Каждой категории, использованной экспертом для оценивания степени истинности критерия, присваивается ранг. Поскольку эксперты могут назначить одинаковые ранги категориям, то необходимо провести нормировку.

    Далее для расчета коэффициента конкордации по формуле Syi =Y,d ij}y pрассчитываются суммарные ранги категорий, затем среднее зна /7=1 чение суммарных рангов и отклонения суммарных рангов от среднего значения, все рассчитанные значения заносятся в таблицу 10. Таблица 10 - Таблица промежуточных результатов для расчета коэффициента конкордации

    Используя полученные значения величин, следует рассчитать значение коэффициента конкордации:

    На основании полученных результатов, делается вывод о том, что разошлись ли мнения экспертов. Мнения разошлись в случае, если коэффициент меньше 0,6. Если полученные значения уровней объективности, превышают минимальное значение, то мнение комиссии можно считать объективным.

    Однако в некоторых случаях возможно повторное проведение тестирования по ряду критериев, особенно если мнения расходятся по большинству критериев. В таком случае часто требуется знать, существенны ли отличия во взглядах, при этом численность экспертной группы могла измениться. Для этого предлагается исследовать корреляционную связь.

    Процесс оценки систем формирования и квалиметрии профессиональных знаний начинается с того, что эксперты присваивают определенную категорию критериям. При этом все показатели можно разбить на частные показатели, влияющие на интегральный показатель.

    Обозначим R- интегральный показатель качества системы формирования и квалиметрии профессиональных знаний. Для оценки этого показателя выделим группы критериев:

    X - качество общих требований к системе на основе таких частных показателей: JC, - «Наличие информации, соответствующей достижению учебных целей, то есть относящейся к содержанию учебного курса, и не отвлекающей внимание пользователя»; х2- «Интерфейс наглядный, понятный, однозначный»; х,- «Интерфейс способствует пониманию логики функционирования системы»; х4- «Имитационные компьютерные модели снабжены удобными средствами для задания или изменения структуры и параметров изучаемых объектов, процессов и явлений, а также для имитации внешних воздействий»; х5- «Возможна автоматическая установка с учетом версии операционной системы»; хь- «В установочном комплекте имеются необходимые для независимой работы шрифты, драйверы и пакеты программ в соответствии с государственными или международными стандартами»; х7- «Возможность внесения необходимых изменений и доработок в содержание без изменения исходных кодов программы после испытаний»;

    Y- качество требований к составу системы на основе таких частных показателей: ух- «Присутствуют в достаточном объеме выходные сведения о системе и ее разработчиках»; у2- «Показаны структура и названия всех семантических единиц обучения»; у3- «Наличие всего объема учебного материала, относящегося к его целям и задачам системы»; уА- «Возможность регистрации пользователей»; у5- «Возможность выдачи статистических данных, организации просмотра содержания и определения обучающей траектории»; уь - «Возможность выдачи данных для проведения текущего, промежуточного, рубежного и итогового тестирования»; у7 - «Наличие удобной справочной системы»;

    Выбор способа межпроцессного взаимодействия. Клиентская и серверная приложения системы

    При реализации системы для обмена данными используется «межпроцессное взаимодействие» или механизмы «Interthread Communication» - межпотокового взаимодействия (IPC), при котором выполняются именно потоки, они же и обмениваются данными. Смысл для отдельных механизмов взаимодействия появляется только в том случае, если эти потоки принадлежат разным процессам. Ведь потоки, выполняющиеся в рамках одного процесса, вовсе не нуждаются в дополнительных средствах для общения между собой. Так как они разделяют одно адресное пространство, обмен данными могут обеспечить обычные переменные. Таким образом, IPC становится необходим в том случае, если поток одного процесса должен передать данные потоку другого процесса.

    В настоящее время известно несколько способов межпроцессного взаимодействия. Рассмотрим их. Буфер обмена (clipboard) - один из самых примитивных и хорошо известных форм межпроцессного взаимодействия. Он появился еще в самых ранних версиях Windows. Основная его задача - обеспечивать обмен данными между программами по желанию и под контролем пользователя. Не рекомендуется использовать его для внутренних нужд приложения, и не стоит помещать туда то, что не предназначено для прямого просмотра пользователем.

    Сообщение WM_COPYDATA - стандартное сообщение для передачи участка памяти другому процессу. Работает однонаправлено, принимающий процесс должен расценивать полученные данные как read only. Посылать это сообщение необходимо только с помощью SendMessage, которое в отличие от PostMessage ждет завершения операции. Таким образом, посылающий поток «подвисает» на время передачи данных. В связи с чем, для больших объемов данных или для приложений, работающих в реальном режиме времени, указанный способ не подходит.

    Разделяемая память (shared memory) - способ взаимодействия реализуется не совсем напрямую, а через технологию File Mapping - отображения файлов на оперативную память. Данный механизм позволяет осуществлять доступ к файлу таким образом, как будто это обыкновенный массив, хранящийся в памяти (не загружая файл в память явно). «Побочным эффектом» технологии является возможность работать с таким отображенным файлом сразу нескольким процессам. Таким образом, можно создать объект file mapping, но не ассоциировать его с каким-то конкретным файлом. Получаемая область памяти как раз и будет общей между процессами. Работая с этой памятью, потоки обязательно должны согласовывать свои действия с помощью объектов синхронизации.

    Библиотеки динамической компоновки (DLL) также имеют способность обеспечивать обмен данными между процессами. Когда в рамках DLL объявляется переменная, ее можно сделать разделяемой (shared). Все процессы, обращающиеся к библиотеке, для таких переменных будут использовать одно и то же место в физической памяти.

    Протокол динамического обмена данными (Dynamic Data Exchange, DDE) выполняет все основные функции для обмена данными между приложениями. Он очень широко использовался до тех пор, пока для этих целей не стали применять технологию OLE. На данный момент DDE используется достаточно редко, в основном для обратной совместимости. Больше всего этот протокол подходит для задач, не требующих продолжительного взаимодействия с пользователем. Пользователю в некоторых случаях нужно только установить соединение между программами, а обмен данными происходит без его участия.

    OLE/ActiveX - это действительно универсальная технология, и одно из многих ее применений - межпроцессный обмен данными. Хотя необходимо отметить, что OLE для этой цели и создавалась (на смену DDE), и только потом была расширена настолько, что пришлось поменять название. Специально для обмена данными существует интерфейс IdataObject, а для обмена данными по сети используется DCOM.

    Кроме технологий, рассмотренных выше, существуют каналы (pipes) -очень мощная технология обмена данными. В общем случае канал можно представить в виде трубы, соединяющей два процесса. Что попадает в трубу на одном конце, мгновенно появляется на другом. Чаще всего каналы используются для передачи непрерывного потока данных. Каналы делятся на анонимные (anonymous pipes) и именованные (named pipes). Анонимные каналы используются достаточно редко, они просто передают поток вывода одного процесса на поток ввода другого. Именованные каналы передают произвольные данные и могут работать через сеть. (Именованные каналы поддерживаются только в WinNT/2000.)

    Однако, часто используемой и эффективной технологией обмена данными является технология сокетов. Взаимодействие происходит через так называемые разъемы - «сокеты», которые представляют собой абстракцию конечных точек коммуникационной линии, соединяющей два приложения. Почтовые слоты (mailslots) - механизм однонаправленного межпроцессного взаимодействия. Если приложению известно имя слота, оно может помещать туда сообщения, а приложение-хозяин этого слота (приемник) может их оттуда извлекать и соответствующим образом обрабатывать. Основное преимущество способа - возможность передавать сообщения по локальной сети сразу нескольким компьютерам за одну операцию. Объекты синхронизации, также можно отнести к механизмам межпроцессного взаимодействия. Конечно, объем передаваемых данных в данном случае очень невелик.

    Похожие диссертации на Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний