Содержание к диссертации
Введение
1. Методы оценивания качества сложных объектов 13
1.1. Обзор методов оценивания качества сложных объектов 13
1.2. Постановка задачи диссертации 28
Выводы 32
2. Комплексный показатель качества для случая независимых количественных частных показателей 33
2.1. Критерии независимости частных показателей качества 33
2.2. Скаляризация векторного критерия качества в случае независимых количественных частных показателей качества 35
2.3. Преобразование частных показателей качества 39
2.4. Определение коэффициентов важности частных показателей качества 46
2.5. Метрологические характеристики шкалы комплексного показателя качества 53
Выводы 59
3. Комплексный показатель качества для случая зависимых количественных частных показателей 60
3.1. Скаляризация векторного критерия качества в случае зависимых количественных частных показателей качества 60
3.2. Преобразование частных показателей качества . 66
3.3. Учет различной важности частных показателей качества 70
3.4. Метрологиче ские характеристики.шкалы.комплексного показателя качества 76
Выводы 80
4. Комплексный показатель качества.для случая неколичественных частных показателей . 81
4.1. Измерение неколичественных частных показателей качества 81
4.2. Скаляризация векторного критерия качества в случае дихотомических частных показателей качества 89
Выводы 96
5. Экспериментальное исследование метода комплексного оценивания качества сложных объектов 97
5.1. Описание практической методики комплексного оценивания качества сложных объектов 97
5.2. Выбор лучшего варианта построения запоминающего устройства 108
5.3. Выбор лучшего образца технического.средства обучения 126
5.4. Оценка результатов деятельности 138
5.5. Оценка качества знаний. учащихся 163
Выводы 183
Заключение 184
Список литературы 186
- Обзор методов оценивания качества сложных объектов
- Скаляризация векторного критерия качества в случае независимых количественных частных показателей качества
- Преобразование частных показателей качества
- Скаляризация векторного критерия качества в случае дихотомических частных показателей качества
Обзор методов оценивания качества сложных объектов
Проблема оценивания качества сложных объектов возникает во многих областях человеческой деятельности: в технике [і,9,26,29, ЗЕ,36,121J, в экономике [17,22,25,28,40,42], в педагогике [43,90, 95,96,115] и т.д. Заметим, что во многих случаях задача оценивания качества ставится в неявном виде как задача оценивания состояния объектов, построения обобщенных или интегральных показателей функционирования объектов. Наиболее полно методология оценивания качества объектов разработана (применительно к оцениванию качества промышленной продукции) в квалиметрии [ 1,27]. Приведем основные определения, относящиеся к проблеме оценивания качества.
Согласно [l,27j под качеством объекта будем понимать способность объекта удовлетворять определенные потребности в соответствии с его целевым назначением. Целевое назначение объекта характеризуется некоторой совокупностью свойств объекта и обусловлено социальным заказом. Мерой качества объекта служит степень соответствия объекта его целевому назначению.
Под сложными объектами будем понимать такие объекты, для описания качества которых требуется более одного свойства.
Частный показатель качества (ЧПК) характеризует степень выраженности у объекта только одного какого-либо свойства.
Комплексный показатель качества (КПК) представляет собой количественную характеристику качества сложных объектов, учитывающую степень выраженности ». всех свойств объекта, оговариваемых его целевым назначением.
Из анализа литературных источников следует, что задача оценивания качества сложных объектов ставится следующим образом. Имеется множество Н , состоящее из Д/ оцениваемых объектов.
Целевое назначение объектов А: Є Н (j SfM) характеризуется совокупностью из /? ЧПК Zi ( і - I, /Z), образующих векторный критерий качества (ВКК)
Каждый из ЧЖ Х { і - I, л ), входящих в ВКК (1,1), представляет собой некоторую монотонную функцию от соответствующего свойства, принимашцую действительные неотрицательные числовые значения.
Пространство состояний качества объектов представляет собой в этом случае некоторое подмножество декартова произведения
Анализ литературы показывает, что при решении проблемы оценивания качества сложных объектов на основе подхода скаляризации и ВКК возникают следующие основные вопросы:
1) определение метода "свертки" ВКК в скалярную величину, т.е. определение вида преобразования (1.5);
2) нормирование значений ЧПК, измеренных в различных шкалах;
3) учет важности ЧПК при формировании КПК.
Приведем современное состояние перечисленных вопросов. Существующие методы скаляризации ВКК можно разделить на две большие группы. К первой группе относятся так называемые экспертные методы оценивания объектов. Под экспертными методами здесь понимаются такие методы оценивания качества объектов, которые связаны с непосредственным участием опытных специалистов (экспертов) в процессе присвоения оценок сравниваемым объектам. Для этих методов характерен неявный вид преобразования (1.5), "свертывающего" ВКК объекта в итоговую скалярную оценку качества.
Общая методика экспертного оценивания качества объектов рассматривается в [ 2, II, 17, 54, 123 и др.] . Для оценивания качества объектов широко используются следующие экспертные методики: балльное оценивание б4, 117, 138/, ранжирование II,I3,5lJ разнесение по категориям [ 51,64,86], парные сравнения [35,72І,
К достоинствам экспертных методов следует отнести их универсальность, широкую сферу применимости. Эти методы могут быть использованы для оценивания объектов, описываемых взаимозависимыми ЧПК, которые имеют различную важность, разные шкалы измерения и т.п. Эксперты .хорошо учитывают целевое назначение объектов.
Скаляризация векторного критерия качества в случае независимых количественных частных показателей качества
Пусть векторный критерий качества (I.I) содержит П. независ иглых количественных ЧЖ, т.е.
где СОГ(х-с Х{) - корреляция L -го и /С -го ЧПК.
Каждому объекту fi- Є ///j= /\/j можно поставить в соответствие вектор (1.3) размерностью /7 , состоящий из координат этого объекта в пространстве ЧЇЇК, т.е.
где JL - пространство состояний качества объекта,задаваемое выражением (1.2).
В соответствии с принятой постановкой задачи оценивания качества объектов путем измерения расстояния от этих объектов до эталонного объекта (см.п.1.2) на множесте (1.2) задается евклидова метрика. По условию значения X L ( і - / п) ЧПК представляют собой результаты количественных измерений или вычислений, т.е. являются действительными числами, принадлежащими непрерывным интервалам. Таким образом в качестве модели состояния объекта принимается П -мерное арифметическое евклидово пространство Е [o2J:
где р - евклидова метрика.
Состояние качества объектов имеет очевидную геометрическую интерпретацию. Так как ЧПК независимы, они образуют /? - мерную ортогональную систему координат. Тогда состояние качества объекта h\ ( і = J} N ) отображается в этой системе координат в виде точки с координатами ( Qj Xj , } Зуп ) или в виде вектора ОС\ = ( аГ;у; Xj2 ,.. , jn ) выходящего из начала координат в эту точку (см.рис.2.1).
Для комплексной оценки качества объектов в соответствии с принятым подходом необходимо в пространстве ЧПК задать эталонный объект э ; которому соответствует точка с координатами ( Х91; 3"эг, ) эп ) и выбрать соответствующую метрику
В качестве эталонной точки целесообразно выбрать точку, соответствующую так называемому идеальному объекту f29j, т.е. объекту, у которого все ЧПК одновременно принимают наилучшие значения. При этом в качестве наилучших могут рассматриваться теоретически достижимые предельные значения ЧПК.
Обозначим идеальный объект через п0 , а соответствующий ему вектор - через XQ = ( Х04} Хр2 ... } Хопу. Идеальный объект является абстракцией и никогда не может быть реализован практически, но его введение оказывается удобным. Действительно, принимая идеальный объект за цель, к которой "стремятся" сравниваемые объекты, можно использовать расстояние
Р (Jl0 hi) от объектов i\\ ( і / Н) до идеального объекта /ід в качестве комплексной оценки качества объектов. Положение идеальной точки определяется "наилучшими" (предельными) значениями ЧПК. Однако в некоторых случаях предельные значения ЧПК стремятся к бесконечности и не могут быть определены. Для фиксации положения идеальной точки в этом случае используется процедура унификации ЧПК, описанная в п. 2.3.
Последний случай значительно затрудняет выбор координат идеальной точки для ЧПК первого типа. Выбор положения идеальной точки можно упростить, если произвести преобразование ЧПК, которое мы будем называть унификацией ЧПК. Под унифицированными будем понимать ЧПК второго типа, предельное минимальное значение которых стремится к нулю. Отсюда следует, что значения унифицированных ЧПК J.L удовлетворяют условию Х- & 0 , 6 г Т/1 9 (2.II) причем при уменьшении значений Х-и ( с fj/ij качество объекта возрастает. Многие ЧПК, часто используемые на прак - 40 тике, являются унифицированными. Примерами могут служить: масса, габариты, стоимость, ошибка регулирования, интенсивность отказов и т.п.
Преобразование частных показателей качества
Подобно случаю независимых ЧПК преобразование зависимых ЧЖ заключается в их унификации и нормировании.. В зависимости от типа связи значений ЧЖ с качеством объектов для унификации используется одна из формул (2.12) - (2.14).
Подстановка в выражение (3.3) унифицированных значений ЧЖ приводит к получению унифицированных значений главных компонент
Из выражения (3.6) следует, что идеальный объект п0 в пространстве унифицированных главных компонент совпадает с началом координат, т.е. Нормирование.значений ЧЖ осуществляется с помощью выра жения (2.16), т.е. путем деления значения унифицированных ЧЖ на коэффициенты ( і : = Л ). Для нахождения значе ний коэффициентов )fi используется тот же принцип , что и в случае независимых ЧЖ: вклады ЧЖ в метрику f[n\ «о/ будут равными, если одинаковые относительные изменения О XL (l= In) отдельных ЧЖ приводят к.равным абсолют ным приращениям dPi ( с- 1}п) метрики.
Рассмотрим решение задачи нахождения нормирущих коэффи циентов }fi ( I - I,n ) для случая, когда в качестве меры близости у объектов используется квадрат евклидова расстояния между объектами л.: (j - 1} Nj ж ho в пространстве унифицированных главных компонент. Принимая во внимание выражения (3.4) и (3,7) получим:
Учитывая выражения (2,6) и (3.6) и опуская с целью упрощения записи индексы объектов, преобразуем выражение (3,8) к следующему виду:
где Xi (Lz1)n) -нормирующие коэффициенты.
Заменяя в выражении (3.9) квадрат суммы двойными суммами, получим Далее для нахождения коэффициентов ( I - I п. j используем методику, описанную в п,2,3. Согласно этой методике находим полный дифференциал выражения (3.10)
Но из ортогональности главных компонент следует, что [6J С учетом (3.13) выражение (3.12) принимает вид
Подставляя значения частных производных из (3.14) в выражение (3.II) и заменяя абсолютные приращения d X-L на относительные х - dXi/ , получим
Полученное выражение (3.15) полностью совпадает с выражением (2.19). Отсюда следует, что для нормирования значений зависимых ЧПК можно использовать метод нормирования, разработанный для случая независимых ЧПК. Следовательно, нормирова - 69 ниє зависимых ЧПК можно производить с помощью выражения (2,27). Если зависимые ЧПК имеют одинаковую важность, но измеряются, в шкалах с разным масштабом, то с учетом выражений (3.9) и (2.27) получим следующее выражение для определения комплексной оценки качества:
Скаляризация векторного критерия качества в случае дихотомических частных показателей качества
Для комплексной оценки качества объектов в дискретном пространстве значений ЧПК необходимо ввести соответствующую метрику. Можно было бы воспользоваться метрикой Хэмминга _2J, однако её применение ограничено случаем независимых равноценных ЧПК. Покажем, что описанный в главе 3 подход к скаля-ризации векторного критерия качества, разработанный для количественных ЧПК и основанный на использований евклидовой метрики, может быть применен и в случае зависимых дихотомических данных типа (4.7). Такая возможность появляется при "вложении" дихотомических данных в евклидово пространство. Условия "вложения" множества точек, заданных матрицей дихотомических данных, обсуждаются в работах [94,130,143]. Так в [143J показано, что дихотомические данные могут быть "вложены" в евклидово пространство, если матрица 5 , равная
где л - матрица дихотомических данных (4.7), будет положительно полуопределенной. При этом в качестве базиса пространства вложения должна быть использована система из t собственных векторов матрицы связей К дихотомических ЧПК, где Z равно рангу матрицы R . Собственные векторы & ( = I, X ) матрицы R находятся из уравнени де Лк - К -е собственное значение матрицы К I - единичная матрица.
В [94] получены условия "вложимости" дихотомических данных произвольного вида (неупорядоченных) в евклидово пространство, а в [ІЗО] показаяоіЧТо дихотомические данные типа (4.7) всегда могут быть "вложены" в евклидово пространство.
Как показано в j[l30] координаты объектов, соответствующих данным (4.7) в евклидовом пространстве9задаются значениями главных компонент, вычисленных по матрице R , а размерность этого пространства определяется рангом матрицы /? , т.е. X = Zcthg. R .
Это дает нам возможность использовать для комплексной оценки качества объектов, описываемых дихотомическими ЧПК, методику, разработанную для случая количественных зависимых ЧІЇК (см.гла-ву 3).
Для вычисления значений комплексной оценки качества объектов в случае дихотомических ЧПК также необходимо произвести их унификацию. С этой целью выясняется характер связи ЧПК с качеством объекта. В тех случаях, когда качество объекта выше при отсутствии данного свойства у объектов, унифицированные значения ЧПК, получаются с помощью правила:
I, если данное свойство
ОС- = / имеется у объекта, (4.12)
О-в противном случае ,
Если же качество ниже при отсутствии данного свойства у объектов, то унифицированные значения дихотомических ЧПК получают по другому правилу:
Го, если данное свойство имеется
X = 1 у объекта, (4.13)
І I - в противном случае.
В тех случаях, когда все ЧПК можно считать равноценными и независимыми,для вычисления значений КПК объектов следует использовать метрику Хэмминга [2J:
