Содержание к диссертации
Введение
Глава 1. Современное состояние и перспективы развития экспертных систем 16
1.1. Вводные замечания 16
1.2. Основные направления развития экспертных систем 21
1.3. Актуальные проблемы теории экспертных систем 30
1.4. Методы экспертных систем в экономике 47
Глава 2. Кластеризация объектов экспертизы 57
2.1. Исходные положения 57
2.2. Кластерно-иерархические методы экспертизы 62
2.3. Кластеризация по категориальным признакам 69
2.4. Установление однородности объектов кластер 73
2.5. Нечетко-множественная кластеризация 84
Глава 3. Кластеризация и иерархия признаков объекта экспертизы 96
3.1. Функционал взвешенного суммирования в нормированных пространствах 96
3.2. Основные формы комплексного показателя качество-цена 107
3.3. Расширенный метод анализа иерархий 120
3.4. Нечетко-множественный нелинейный показатель качества 136
3.5. Метод анализа иерархий разделяющихся признаков 146
Глава 4. Теоретическое обоснование экспертно-статистического подхода 152
4.1. Статистическая обработка векторов оценок экспертов 152
4.2. Комбинированный метод последовательного анализа 165
4.3. L-критерий согласованности группы экспертов 176
4.4. Технология экспертизы технических и экономических объектов 184
Глава 5. Математические модели экспертизы технических объектов 197
5.1. Специфика экспертизы товаров и готовой продукции 197
5.2. Статистическая обработка экспертных оценок высокотехнологичных электронных устройств 200
5.3. Нечетко-множественная экспертиза ERP-систем 207
5.4. Экспертиза готовой продукции химического производства 215
5.5. Экспертиза готовой продукции пищевого производства 224
5.6 Экспертиза технических средств вневедомственной охраны 231
Глава 6. Математические модели экспертизы финансового состояния предприятий 236
6.1. Интегральные оценки финансового состояния предприятий 236
6.2. Обобщенный показатель ликвидности и платежеспособности 240
6.3. Обобщенный показатель структуры капитала 251
6.4. Объединение систем коэффициентов Бивера и структуры капитала 266
6.5. Нечетко-множественный скоринговый анализ 281
Заключение 291
Литература
- Основные направления развития экспертных систем
- Установление однородности объектов кластер
- Расширенный метод анализа иерархий
- Комбинированный метод последовательного анализа
Введение к работе
Актуальность темы. Экспертные системы (ЭС) широко используются в различных областях науки благодаря универсальности общего методологического подхода к представлению и обработке знаний и данных самого различного характера, в том числе технических и экономических объектов. К техническим объектам будем относить любое изделие (элемент, устройство, подсистему, функциональную единицу или систему), которое можно рассматривать в отдельности, а к экономическим – объекты любой природы, рассматриваемые в экономических исследованиях.
Общим проблемам теории и практики экспертных систем посвящены публикации отечественных ученых С.А. Айвазяна, А.А. Башлыкова, С.Д. Бе-шелева, Н.К. Бохуа, К.В. Воронцова, Т.А. Гавриловой, А.Н. Горбаня, Н.В. Дилигенского, В.С. Мхитаряна, Б.Г. Литвака, А.О. Недосекина, А.И. Орлова, Д.А. Поспелова и др. Среди публикаций зарубежных специалистов известны работы А. Брукинга, Д. Джарратано, П. Джексона, М. Исудзуки, М. Кендэла, Д. Лената, Д. Лорьера, С. Осуги, Т. Саати, К. Таунсенда, С. Хайкина, Л. Терстоуна и др. ученых.
Теория статистических экспертных систем интенсивно развивается все последние годы, и на современном этапе ее развития остается актуальным целый ряд недостаточно исследованных проблем: поиск оперативных методов проверки согласованности группы экспертов, определение оптимальных методов кластеризации объектов экспертизы, повышение объективности экспертизы на базе кластеризации признаков, обоснование применимости и эффективности метода парных сравнений Терстоуна, анализ и преодоление вычислительных ошибок метода анализа иерархий Саати, оценка применимости метода главных компонент и многомерного шкалирования, построение процедур проверки согласованности на базе решения L-проблемы моментов, разработка действенных приемов технологии экспертизы и др.
Одним из основных направлений многомерного статистического анализа является кластерный анализ. Теоретическим аспектам кластеризации посвящен ряд работ известных авторов: И.Д. Мандель, М.С. Олдендерфер, Р.К. Блэш-филд, М. Жамбю, С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешал-кин, Л.Х. Гитис, К.В. Воронцов, А.И. и др.
Однако применение кластерного анализа в теории экспертных систем ограничивается в настоящее время нерешенностью ряда важных теоретических проблем: 1) решение задачи кластеризации принципиально неоднозначно; 2) число кластеров неизвестно заранее и устанавливается в соответствии с некоторым субъективным критерием; 3) выбор метрики, как правило, также субъективен и определяется экспертом; 4) не существует однозначно наилучшего критерия качества кластеризации; 5) практически отсутствует методика применения в задачах кластеризации регулярных алгоритмов метода анализа иерархий; 6) слабо развито нечетко-множественное направление кластерного анализа и др.
Основной подход к методам формализации описания нечетких качественных характеристик был предложен Л.А.Заде. Основные результаты, достижения и проблемы в области нечеткой многокритериальной оптимизации и принятия решений изложены рядом авторов: А.И. Орлов, Н.В Дилигенский, Д.А. Вятченин, А. Кофман, С.Л. Блюмин, Г.Э. Яхьяева, А. Г. Корченко. В работах Т. Саати проведено фундаментальное исследование задач многокритериальной оптимизации при наличии нечетких коэффициентов (рангов) относительной важности критериев.
Важной задачей является поиск адекватных решений многокритериальных задач. Отметим особенности этих задач при наличии нечетко заданных критериев: а) существование множества альтернатив; б) наличие множества ограничений, которые необходимо учитывать при выборе альтернативных решений; в) определение функции предпочтительности, ставящей каждой альтернативе в соответствие выигрыш, который будет получен при выборе этой альтернативы. Те же условия налагаются на процесс экспертизы и при определении обобщенного показателя качества, учитывающего множество критериев (признаков), отражающих отдельные свойства объекта экспертизы.
Несмотря на разработку множества эффективных методов и алгоритмов кластерного анализа и иерархических методов исследования, оба этих важных направления остаются слабо связанными. Вместе с тем представляется, что кластеризация и анализ иерархий должны в процессе экспертизы проводиться неоднократно, а экспертиза должна носить адаптивный характер. Кроме того, практически отсутствуют попытки разработки достаточно универсальной детальной технологии экспертизы.
В целом актуальным представляется решение научной проблемы – комплексное исследование и создание основ единой теории экспертизы технических и экономических объектов на основе предложенного кластерно-иерархического подхода.
Цель и задачи исследования. Целью работы является разработка теоретических основ и специального математического обеспечения экспертизы технических и экономических объектов на основе предложенного кластерно-иерархического подхода.
Для достижения данной цели в работе решены следующие задачи:
-
Разработка концепции единого кластерно-иерархического, статистического подхода к экспертизе технических и экономических объектов, применяемого последовательно на всех этапах получения, анализа и обработки экспертной информации.
-
Разработка комплекса математических методов кластеризации, обеспечивающих последовательное разбиение множества объектов экспертизы на отдельные кластеры.
3. Формализация и постановка задачи учета стоимостно-внедренческих
признаков, построение математических моделей комплексного показателя «ка
чество-цена».
-
Разработка модификаций метода анализа иерархий (МАИ), обеспечивающих обработку экспертной информации технических и экономических объектов.
-
Разработка и апробация статистических методов получения, анализа и обработки экспертной информации.
-
Разработка математических методов и алгоритмов интерпретации натурного эксперимента, технологии экспертизы технических и экономических объектов.
-
Комплексное исследование технических и экономических объектов на основе технологии экспертизы с помощью разработанного комплекса программ.
Объектом исследования является теория и практика экспертного оценивания технических и экономических объектов.
Предметом исследования являются методы и алгоритмы кластерного анализа, методы анализа иерархий, статистические методы обработки экспертной информации, способы разработки эффективной технологии экспертизы.
Методы исследования. В диссертационном исследовании использованы методы теории экспертных систем, теории вероятностей и математической статистики, функционального анализа, теории управления, кластерного анализа, методы анализа иерархий, теория нечетких множеств.
Научные результаты работы и положения, выносимые на защиту:
-
Разработаны основы теории экспертизы технических и экономических объектов с единых позиций на основе предложенного и обоснованного кла-стерно-иерархического, статистического подхода к последовательной процедуре экспертизы. В отличие от традиционного использования иерархических методов предложено использовать два различных подхода к иерархии: пассивный – на основе установления метрики между рассматриваемым пространством объектов и активный – на основе использования метода анализа иерархий для нахождения вектора приоритетов.
-
Предложена и обоснована процедура последовательного использования нескольких методов кластеризации, имеющих различные области применения (процедура «кластерного сита»), отличающаяся от известных методик одновременным использованием категоризации данных, метрических и корреляционных методов.
-
Для повышения достоверности экспертизы предложены метод анализа иерархий с разделяющимися признаками (МАИ РП) и расширенный метод анализа иерархий (РМАИ), отличающиеся от традиционного МАИ использованием принципа разделения признаков, метода Терстоуна для преодоления трудностей оценки приоритетов признаков качественных и психофизиологической природы.
4. Предложены различные формы детерминированного и нечетко-
множественного обобщенного показателя качества, отличающиеся от извест
ных использованием функционала взвешенного суммирования в нормирован-
ных пространствах. Разработаны различные варианты комплексного показателя «качество-цена» технических и экономических объектов.
-
Предложен и обоснован L - критерий согласованности группы экспертов, отличающийся от известных использованием экспертного пространства, принципа идеального наблюдателя и статистических свойств экспертных оценок.
-
Разработан комбинированный метод последовательного анализа Валь-да, отличающийся от традиционного введением защитного объема выборки и адаптацией группы экспертов за счет установления корреляционных связей между векторами их оценок.
-
Разработана и использована для исследования различных объектов, в том числе химических и пищевых производств, технология экспертизы, отличающаяся от известных использованием разработанных теоретических основ и специального математического обеспечения.
-
На основе кластерно-иерархического подхода разработаны методы интегральной оценки финансового состояния предприятий. В отличие от известных методов признаки финансового состояния подвергнуты двухуровневой кластеризации, предложен метод расширения системы показателей Бивера, нечетко-множественный скоринговый анализ вероятности банкротства.
Практическая значимость определяется высокой степенью универсальности двух разработанных вариантов технологии экспертизы, каждый из которых обеспечивает возможность экспертизы как технических, так и экономических объектов.
Первый вариант предназначен для экспертизы сложных и дорогостоящих систем, проектов, финансового состояния предприятий и содержит 14 этапов. Второй, сокращенный, вариант предназначен для экспертизы приборов, устройств, готовой продукции и содержит 10 этапов. Для автоматизации процесса экспертизы на различных предприятиях может использоваться разработанный программный комплекс (свидетельства государственной регистрации в ФГАНУ «Центр информационных технологий и систем органов исполнительной власти» № 502012500677 от 16.05.2012 г., № 50201251003 от 17.07.2012 г., Федеральная служба по интеллектуальной собственности» № 20113611374 от 09.01.2013 г.).
Разработанные методы и технология экспертизы успешно апробированы на множестве различных объектов: системы планирования финансовых ресурсов предприятий (ERP-системы), IT-производства, продукция химических производств, продукция пищевой промышленности, технические средства охраны вневедомственной охраны МВД России, системы оценки финансового состояния предприятий и степени вероятности банкротства.
Внедрение научных результатов. Полученные в диссертации результаты внедрены в научно-исследовательский процесс ООО «Комплексные системы» (г. Тверь), использовались в практической деятельности ОАО «Концерн «Созвездие» (г. Воронеж), ЗАО «Орбита» (г. Воронеж), Филиала ФГУП «Охрана» МВД по Свердловской области (г. Екатеринбург), ФГКУ «УВО ГУ МВД по
Свердловской области» (г. Екатеринбург), ОАО «Хлебозавод №2» (г. Воронеж), «Частная пивоварня «Афанасий» (г. Тверь), ОАО МК «Воронежский» (г. Воронеж), ООО «Частная пивоварня «Артель» (г. Воронеж), ТОО «ECOFOOD» (г. Алматы). Кроме того, результаты внедрены в учебный процесс в Воронежском университете инженерных технологий.
Соответствие паспорту специальности. Содержание диссертации соответствует п. 1 «Разработка новых математических методов моделирования объектов и явлений», п. 5 «Комплексные исследования научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента», п. 7 «Разработка новых математических методов и алгоритмов интерпретации натурного эксперимента на основе его математической модели» паспорта специальности 05.13.18 – математическое моделирование, численные методы и комплексы программ.
Апробация работы. Основные положения диссертации докладывались и обсуждались на международных и всероссийских научно-технических конференциях, таких как: Х Международная научная конференция «Информатизация правоохранительных систем» (Москва, 2001 г.), Международная конференция «Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий (Воронеж: ВГТУ, 2001 г.), I Международная научно-практическая интернет-конференция «Моделирование энергоинформационных процессов» (Воронеж, 2012 г.), Всероссийская научно-практическая конференция «Охрана, безопасность, связь - 2012» (Воронеж, 2012 г.), III Международная заочная научно-практическая конференция «Научная дискуссия: вопросы математики, физики, химии, биологии» (Москва, 2013 г.), Международная (заочная) научно-практическая конференция «Техника и технологии: роль в развитии современного общества» (Краснодар, 2013 г.), IV Международная научно-практическая конференция «Приоритетные научные направления: от теории к практике» (Новосибирск, 2013 г.), XII Международная научно-практическая конференция «Перспективы развития информационных технологий» (Новосибирск, 2013 г.), IX Международная научно-практическая конференция «Актуальные вопросы науки» (Москва, 2013 г.), III Международная заочная научно-практическая конференция «Решение проблем развития предприятий: роль научных исследований» (Краснодар, 2013 г.), Международная конференция «Современные методы и проблемы теории операторов и гармонического анализа и их приложения – III» (Ростов-на-Дону, 2013 г.).
Публикации. По теме диссертации опубликовано 49 научных работ: 3 монографии, 21 статья в ведущих рецензируемых научных журналах, которые входят в утвержденный ВАК Минобрнауки РФ «Перечень периодических научных и научно-технических изданий, выпускаемых в Российской Федерации, в которых рекомендуется публикация основных результатов диссертаций на соискание ученой степени доктора наук», 3 регистрации программы в ФАП, 5 научных статей и материалы 17 докладов на международных и всероссийских научно-технических и научно-практических конференциях.
Личный вклад автора. Основные научные результаты получены авто-
ром лично. Из 49 работ по теме диссертации 7 написаны без соавторов.
В приведенном списке научных работ из опубликованных в соавторстве лично соискателем предложено: в [3–5, 10, 22] – кластеризация и иерархия объектов экспертизы; в [6, 18, 20, 23] – теоретическое обоснование экспертно-статистического подхода; в [7, 11, 13–16] – результаты экспертизы технических объектов; в [2, 8, 12, 17, 19, 27-31] – экспертиза финансового состояния предприятий.
Структура и объём работы. Диссертация состоит из введения, шести глав, заключения, списка литературы, включающего 227 наименований. Общий объём диссертации составляет 300 страниц машинописного текста, включая 29 рисунка и 44 таблиц.
Основные направления развития экспертных систем
Экспертные системы (ЭС) широко используются в различных областях науки, техники и экономики благодаря универсальности общего методологи ческого подхода к представлению и обработке знаний самого различного ха рактера. Так, известен ряд работ, посвященных разработке и применению ЭС в приборостроении и машиностроении [101, 120, 150, 158, 179], в автомати зации проектирования радиоэлектронных устройств [37, 51, 59, 94, 180], в химических технологиях [13, 41, 70, 95, 125, 134], в авиационно космических комплексах [40, 172, 178], в энергетике [10, 111], в формализации знаний [36, 46, 168, 182, 184, 185], в управленческой деятельности [1, 5, 154], в экономике [9, 19, 47, 122, 132, 138, 166, 177], в социологии [14, 17, 100, 131], в психологии [50, 218, 222, 227] и других областях.
Обычно ЭС – это сложная компьютерная программа, содержащая знания специалистов в определенной предметной области и способная вырабатывать рекомендации, какие бы дал эксперт-человек, запрашивая при необходимости дополнительную информацию [36, 53, 108, 126 и др.]. Существуют как узкоспециализированные ЭС, так и «оболочки», пользуясь которыми, можно, не будучи программистом, создавать свои ЭС. Знания о предметной области, необходимые для работы ЭС, определенным образом формализованы и представлены в памяти компьютера в виде базы знаний, которая может изменяться и дополняться в процессе развития системы. Главным достоинством экспертных систем является возможность накопления знаний и сохранение их длительное время.
Процесс создания экспертных систем отличается от классических подходов традиционного программирования и является интерактивным итерационным процессом. Пополнение знаний в базе знаний (БЗ) и построение сис-16 темы тесно взаимосвязаны. Вначале определяют, какие знания необходимо приобретать в первую очередь и как их организовывать. Со временем БЗ расширяется, и появляются дополнительные возможности, которые плохо укладываются в исходную базу знаний. Иногда возникают неприятные ситуации по изменению или расширению баз знаний. Поэтому процесс конструирования экспертных систем требует нескольких итераций проектирования [35, 80, 86, 95, 101 и др.].
Проблемам теории и практики экспертных систем посвящены публикации отечественных ученых С.А. Айвазяна [2], А.А. Башлыкова [10], С.Д. Бешелева [12], Н.К. Бохуа [15], К.В. Воронцова [30], Т.А. Гавриловой [36], А.Н. Горбаня [205], Н.В. Дилигенского [47], В.С. Мхитаряна [49], Б.Г. Лит-вака [85], А.О. Недосекина [107], А.И. Орлова [117], Д.А. Поспелова [131] и др. Среди публикаций зарубежных специалистов известны работы А. Бру-кинга [186], Д. Джарратано [44], П. Джексона [45], М. Исудзуки [64], М. Кендэла [67], Д. Лената [84], Д. Лорьера [86], С. Осуги [ 119], Т. Саати [142], К. Таунсенда [153], С. Хайкина [167], Л. Терстоуна [222] и др. ученых.
При проведении экспертизы должен быть учтен целый ряд свойств (характеристик, показателей, признаков, факторов, критериев) сравниваемых объектов. Несмотря на то, что в русском литературном языке упомянутые выражения «характеристики», «показатели», «признаки», «факторы», «критерии» имеют различное смысловое значение, в теории экспертных систем они играют роль синонимов [10, 12, 46, 47, 85 и др.]. Уточним терминологию, принятую в теории экспертных систем, применительно к материалу данной работы. В дальнейшем, будем использовать выражение «признаки» для отдельных, частных свойств объекта экспертизы, а выражение «показатели» – для обобщающих, агрегированных свойств.
Общепринято делить все множество признаков на количественные и качественные признаки. Количественные признаки определяются либо документально из прайс-листов, технических описаний, инструкций, бухгал-17 терской отчетности (дальность связи, диапазон частот, разрешение дисплея, величина основных средств, уставный капитал и т.д.), либо путем измерений - инструментальным методом. Поэтому они носят объективный характер. и принимаются к учету по факту, без предварительной оценки экспертами. Качественные признаки носят расплывчатый, оценочный характер (внешний вид, страна изготовления, фирма-производитель, цвет, вкус пищевых изделий и т.д.) и требуют тщательной оценки экспертами. Однако и для тех, и для других групп признаков должен быть разработан адекватный механизм включения в обобщающий показатель качества объекта экспертизы.
Особое место занимает стоимостная характеристика. Для простых объектов экспертизы это может быть просто функция цены P. В качестве такой функции может быть выбрана, в принципе, любая функция f(P), убывающая с ростом цены. Однако для сложных объектов экспертизы требуется учитывать не только цену приобретения, но и ряд других признаков (стоимость лицензии, стоимость внедрения, срок внедрения, время и стоимость самой экспертизы и т.д.). Таким образом, всегда речь идет не только об оценке качества сравниваемых объектов, но о комплексной технико-экономической экспертизе.
Все сказанное выше относится к экспертизе объектов любой природы: технических, экономических, экологических и т.д. Применительно к тематике данной работы остановимся на особенностях экспертизы экономических объектов.
Экономические объекты экспертизы весьма разнородны (основные средства, нематериальные активы, товары, готовая продукция, финансовое состояние предприятия, обеспеченность кредитов и займов, риск неплатежей, условия контракта, риск банкротства и т.д.). Поэтому можно сделать вывод о необходимости строго индивидуального подхода к выбору множества сравниваемых признаков и соответствующей методике оценивания. Охарактеризуем далее особенности оценки товаров, готовой продукции, финансового состояния предприятия.
Установление однородности объектов кластер
Кластеризация объектов экспертизы. Теоретические аспекты кластерного анализа рассматриваются в работах таких ученых, как Жамбю М. [55], Мандель И.Д. [88], Олдендерфер М.С., Блэшфилд Р.К. [115], Воронцов К.В. [30], Fern X.Z. [203], Strehl A. [221] и др. Вопросам практического использования посвящены работы таких специалистов, как Гитис Л. Х. [38], Демидова Л.А. [43], Елизаров С. И. [52], Lu Y. [217], Hong Y. [211] и др.
Кластерный анализ (data clustering) – способ разбиения заданного множества (выборки) объектов на подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Обычно задача кластеризации относится к статистической обработке. Такие задачи относят к классу задач обучения без учителя.
В случае статистической обработки данных кластерный анализ – это многомерная статистическая процедура, выполняющая сбор данных, содержащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы (кластеры). Поэтому проблемам кластеризации посвящен и ряд работ в области многомерного статистического анализа А.М. Дуброва, В.С. Мхитаряна, Л.И.Трошина [49], М. Кендалла, А. Стьюарта [66], С. Уилкса [160], К.Фукунаги [165], Эсбенсена [192].
Базисным понятием для математической статистики является статистическая однородность. Общепринято, что какую-либо обработку статистических данных (усреднение, установление корреляционных связей и т. д.) надо производить только в однородных группах наблюдений. Охарактеризуем некоторые подходы к выделению однородных совокупностей.
Традиционно проблема выделения однородных групп рассматривается в статистике как задача группировки исходных данных. При этом выделяются два вида группировок: типологические и структурные [88]. Типологической группировкой называется разбиение совокупности на качественно од-34 нородные группы, характеризующие некоторые типы (классы) явлений, например группировка людей по полу, населения по социально-экономическим классам и др. Структурной группировкой называется расчленение качественно однородной совокупности на группы, характеризующие строение совокупности, ее структуру.
Независимо от предметной области применение кластерного анализа предполагает следующие этапы [38,55]:
1) получение множества исходных данных (выборки) для кластеризации; 2) выбор множества переменных (признаков), по которым будут оцениваться объекты в выборке; 3) вычисление значений той или иной меры сходства (или метрики) между объектами; 4) применение выбранного метода кластерного анализа для создания групп сходных объектов; 5) проверка достоверности и интерпретация результатов кластерного решения; 6) возврат, при необходимости, к упомянутым выше п.п. 2 или 3. Итак, по своей природе кластерный анализ является адаптивным.
Обычно кластерный анализ предъявляет следующие требования к множеству данных [30, 38]: во-первых, показатели не должны явно коррелировать между собой; во-вторых, показатели должны быть безразмерными; в-третьих, их распределение должно быть близко к нормальному или, по крайней мере, должно быть унимодальным; в-четвёртых, выборка должна быть однородна, не содержать «выбросов».
Одним из главных этапов кластерного анализа является выбор метрики, наиболее подходящей для целей конкретного исследования. Метрика определяет расстояние или степень близости между отдельными объектами и их группами (кластерами) [57, 157].
В кластерном анализе объекты отождествляются с их векторами признаков (характеристическими векторами) [30, 43, 38, 115 и др.]. Обозначим вектор признаков /-го объекта / = 1,2,...,А: в т - мерном пространстве признаков Хі ={х1 ,Хі2 ,...,Хіт) (1 3 10) При решении задач кластеризации наиболее употребительны [88, 55, 115] следующие определения расстояния или близости (табл. 1.3.1). В таблице следующие обозначения: xtj, х - значения j -го признака у /,s-ых объектов, l,s = 1,2,...,к; xi - вектор-столбец значений всех признаков /-го объекта; С-1- матрица, обратная ковариационной матрице; Pls - общее число совпадающих значений свойств у признаков наличия ( нулевых и единичных, где 1 - наличие свойства, 0 - отсутствие); пь- число совпадающих единичных свойств.
Анализ матрицы расстояний (1.3.12) или матрицы сходства (1.3.14) приводит к предварительному выявлению кластерной структуры. Разбиение выборки на группы схожих объектов позволяет упростить дальнейшую обработку данных и принятия решений, применяя к каждому кластеру свой метод анализа.
В литературе [55, 88, 115, 30, 38 и др.] известно множество методов кластеризации. Во всех этих случаях может применяться иерархическая кластеризация, когда крупные кластеры дробятся на более мелкие, те в свою очередь дробятся ещё мельче, и т. д. Такие задачи называются задачами таксономии. Результатом таксономии является древообразная иерархическая структура (рис. 1.3.1). При этом каждый объект характеризуется перечислением всех кластеров, которым он принадлежит, обычно от крупного к мелкому.
Рис.1.3.1 Пример дендрограммы для 5 объектов
Дендрограмма показывает степень близости отдельных объектов и кластеров, а также наглядно демонстрирует в графическом виде последовательность их объединения или разделения. Количество уровней дендрограммы соответствует числу шагов слияния или разделения кластеров. Визуальный анализ дендрограммы предполагает «обрезание» дерева на оптимальном уровне сходства элементов выборки [115].
Решение задачи кластеризации принципиально неоднозначно, что объясняется несколькими причинами. Во-первых, результат кластеризации существенно зависит от метрики, выбор которой, как правило, субъективен и определяется экспертом. Во-вторых, число кластеров, как правило, неизвестно заранее и устанавливается в соответствии с некоторым субъективным критерием. В-третьих, не существует однозначно наилучшего критерия качества кластеризации. Известен целый ряд достаточно разумных критериев, а также ряд алгоритмов, не имеющих чётко выраженного критерия, но осуще ствляющих достаточно разумную кластеризацию «по построению» и все они могут давать разные результаты.
Выше были рассмотрены две, на первый взгляд, не связанные проблемы: согласованность группы экспертов и кластеризация объектов экспертизы. Однако, как следует из краткого обзора, в постановке и решении обеих этих задач есть много общего. Поэтому можно сделать важный вывод о том, что кластеризации должны быть подвергнуты не только объекты, но и эксперты.
Метод анализа иерархий. При экспертизе сложных объектов необходимо установить относительную важность (приоритет) признаков. Такие задачи традиционно относят к классу многокритериальных задач с использованием несколько иной терминологии: вместо используемой в теории экспертных систем термина «признак» употребляют термин «критерий». В настоящее время наиболее совершенным способом решения таких задач считается метод анализа иерархий (МАИ) [142, 143, 223, 198, 6, 81 и др.]. В свою очередь, МАИ основан на теории нечетких множеств и понятии лингвистической переменной [58, 74, 226, 117, 71].
Широкий круг многокритериальных задач связан с необходимостью агрегирования признаков (критериев). Эффективность функционирования сложных реальных объектов или процессов, характеризуется совокупностью частных критериев, находящихся зачастую во взаимном противоречии друг с другом, когда улучшение по одному из показателей ведет к ухудшению по другому и наоборот, и одновременное удовлетворение требованиям всех критериев невозможно. Кроме того, критерии, а также ограничения, обычно сформулированы весьма неточно. В этих условиях отыскание эффективных решений невозможно без учета неточной, качественной информации о предпочтениях различных критериев. По мере усложнения задачи роль такого рода неточной качественной информации возрастает и во многих случаях становится определяющей. В определенной степени подобные трудности могут быть устранены путем упрощения постановки задачи. Например, можно вы-39
Расширенный метод анализа иерархий
Функции мощности (2.4.8) и (2.4.9) выражаются через значение Р, задаваемое альтернативной гипотезой и если теперь желаем рассматривать эффективность критерия знаков в конкретных ситуациях, нам нужна дальнейшая конкретизация распределения. Вернемся к первоначальной формулировке гипотезы (2.4.4) и ограничимся случаем медианы Х0,5, которую будем обозначать Мe. Задача состоит в проверке гипотезы Н0: Ме = М0. (2.4.10) Функция распределения наблюдений, как и раньше, равна F(x), а плотность распределения равна(х). Покажем формулу для значения Р интересует относительная эффективность критерия знаков, когда известно, что функция распределения F симметрична, так что ее среднее и медиана Me совпадают, то проверим гипотезу (2.4.10), пользуясь в качестве статистики критерия выборочным средним х [66]. Когда F имеет конечную дисперсию а2 и х асимптотически нормально со средним т и дисперсией а2/п, тогда при больших выборках оно эквивалентно статистике Стьюдента критерий Вилкоксона, имеющий асимптотическую относительную эффективность (АОЭ), равную 3/ я в нормальном случае и всегда превышающую 0,864 [66].
Расширение области применения критериев в экономике. Рассмотренные выше критерий знаков могут эффективно применяться для установления однородности объектов в каждом кластере. Предложим следующие варианты использования этих критериев в решении экономических задач.
Установление однородности товаров (работ, услуг). Естественным применением упомянутых критериев представляется проверка идентичности или однородности товаров в целях налогообложения.
Принципы определения цены товаров, работ или услуг устанавливаются ст. 40 Налогового кодекса (НК) РФ [104]. В общем случае для целей налогообложения принимается цена товаров, работ или услуг, указанная сторонами сделки. Пока не доказано обратное, предполагается, что эта цена соответствует уровню рыночных цен. Налоговые вправе проверять правильность применения цен в следующих случаях: 1) между взаимозависимыми лицами; 2) по товарообменным (бартерным) операциям; 3) при совершении внешнеторговых сделок; 4) при отклонении более чем на 20 процентов в сторону по вышения или в сторону понижения от уровня цен, применяемых налогоплательщиком по идентичным (однородным) товарам (работам, услугам).
Для проверки последнего условия в ст. 40 НК РФ вводятся понятия идентичности и однородности, однако не дается никаких рекомендаций для проверки этих качеств. Идентичными признаются товары, имеющие одинаковые, характерные для них, признаки (ст. 40 НК РФ). Однородными признаются товары, которые, не являясь идентичными, имеют сходные характеристики и состоят из схожих компонентов, что позволяет им выполнять одни и те же функции и (или) быть коммерчески взаимозаменяемыми (ст. 40 НК РФ). При определении однородности товаров учитываются, в частности, их качество, наличие товарного знака, репутация на рынке, страна происхождения.
Использование критерия знаков после их модификации позволит закрыть эту проблему в налогообложении, предлагая эффективную методику установления идентичности или однородности.
Множественная кластеризация. Стандартные постановки задач обоих критериев предполагают лишь установление однородности (или неоднородности) объектов. Расширим постановку задачи, предполагая деление исследуемого множества объектов не на два, а на несколько кластеров на примере модифицированного критерия знаков, несколько изменив соответствующие условия (2.4.1), (2.4.2).
Пусть для оценки однородности двух объектов выбрано т признаков: х1(1) ,х2(1) ,...,х - для первого объекта; x1(2) ,x2(2) ,...,x - для второго. Для критерия знаков ситуации хг(1) х(2) (2.4.15) припишем число 1, а ситуации х(1) х(2) (2.4.16) - число 0. В том случае, если соответствующие признаки не могут быть сопоставлены количественно, под символом « » или « » в этих формулах понимается «лучше» или «хуже».
Введенные изменения отличают постановку задачи (2.4.15)-(2.4.16) от соответствующих постановок задач как в критерии знаков, так и в критерии Вилкоксона. В формулах (2.4.1)-(2.4.2) критерия знаков предполагается, что упомянутым случаям приписываются значения +1 или -1. Однако, в теории экспертных систем более предпочтительно изменение показателя в диапазоне [0, 1]. Кроме того, в стандартных постановках экспертных задач принято сравнение объектов с одинаковым числом т сравниваемых признаков, а в критерии Вилкоксона объемы сравниваемых выборок, как правило, различны. После принятия условий (2.4.15), (2.4.16) векторы сравнений Xl =(jc1(/),jcf),...,jc)) (2.4.17) различных объектов / = 1,2,...,к будут содержать только нули или единицы и для определения их различия предложим использовать два подхода. Первый алгоритм. Непосредственно учитывать предпочтения элементов характеристического вектора одного объекта перед другим (т.е. определять сумму nls единиц предпочтений / - го объекта перед s - ым) и вычислять коэффициент предпочтения
Далее следует построить матрицу предпочтений аналогично тому, как мы поступали в первой главе (см. формулу 1.3.4). Однако эта матрица уже не будет симметричной, поскольку коэффициент предпочтения не обладает свойствами метрики (для него не выполняется аксиома симметрии). При попарном сравнении объектов возникают трудности интерпретации полученных результатов.
Приведем следующий пример. В статье авторов [24] анализировалась структура капитала четырех предприятий: «Финист», «Станкомаш», «Мебель Черноземья», «Кристалл». Были рассчитаны финансовые коэффициенты частные и обобщенный показатели структуры капитала. На основании этих расчетов установлено, что первые два предприятия находятся в состоянии, близком к кризисному. Предприятие «Кристалл» находится в нормальном финансовом состоянии, а «Мебель Черноземья» - в чрезвычайно благополучном состоянии. Т.е. по данным расчетов образуются два кластера по два предприятия.
Однако, если мы применим сравнение этих предприятий попарно на основе коэффициента (2.3.34), то получим ошибку. Как два первых, так и нормальное четвертое предприятие будут отнесены к одному кластеру. Это объясняется тем, что чрезвычайно благополучное третье предприятие просто «подавит» все остальные.
Для того, чтобы избежать такой ситуации, введем понятие нормализованного вектора финансовых коэффициентов Ux-U5, установив величины этих коэффициентов на границе нормальных ограничений, известных из литературы [4, 48]. При этом мы будем сравнивать эти коэффициенты не попарно, а с этим нормализованным вектором. Соответственно изменится и коэффициент предпочтения:
Непосредственная проверка позволяет установить, что сравнение с нормализованным вектором и использование коэффициента (2.4.18) дает правильное разбиение финансового состояния предприятий на кластеры.
Предложенный алгоритм интуитивно понятен, требует простых вычислений и может быть рекомендован для ускоренного приближенного разбиения множества объектов на кластеры.
Второй алгоритм. С учетом введенных условий (2.4.15), (2.4.16) предложим использовать для кластеризации метрику Хемминга.
Расстояние Хемминга как критерий кластеризации. Метрика Хемминга - число позиций, в которых соответствующие символы двух слов оди наковой длины различны. В общем случае расстояние Хемминга применяется для строк одинаковой длины любых g-ичных алфавитов и служит мерой различия (функцией, определяющей расстояние в метрическом пространстве) объектов одинаковой размерности [164].
Комбинированный метод последовательного анализа
Метод анализа иерархий Т. Саати (МАИ) получил широкую признательность ученых благодаря своей универсальности и изяществу используемого математического подхода. Однако сам Т. Саати [142–144] и его последователи [47, 61] отмечали серьезную ограниченность метода. Дело состоит в том, что эксперты с психологической точки зрения способны эффективно различать не более 5-6 признаков. Подобную ситуацию можно назвать «психологическим эффектом большой размерности». Реальные объекты экспертизы могут содержать 10-30 (и больше) признаков, и попытка их сравнительной оценки приводит к потере объективности экспертизы. С вычислительной точки зрения составление матрицы парных сравнений столь большой размерности приводит к проблеме обеспечения ее согласованности, а в результате к значительным вычислительным погрешностям.
В данном разделе предложим модификацию метода анализа иерархий с целью преодоления упомянутых выше вычислительных проблем и повышения объективности экспертизы. Назовем в дальнейшем эту модификацию МАИ методом анализа иерархий разделяющихся признаков (МАИ РП).
Метод анализа иерархий с разделяющимися признаками. В основе решения многокритериальных задач лежит ранжирование частных критериев (признаков). Значимость рангов частных критериев определяется на основе их попарного сравнения с помощью шкалы лингвистических оценок. В соответствии с методом анализа иерархий [142] рекомендуемая лингвистическая шкала состоит из девяти градаций оценок относительной важности. Считается, что выбранный частный критерий: строго эквивалентен другому - 1; слабо предпочтительнее - 3; несколько предпочтительнее - 5; значительно предпочтительнее - 7; строго предпочтительнее - 9.
В матрицах больших размеров, начиная с 5-7 элементов, трудно добиться согласованности. Это объясняется психологическими особенностями мышления экспертов - человеку затруднительно сопоставить между собой слишком большое количество объектов.
Разрабатываемая методика позволяет решить эту проблему делением всего множества частных критериев на подмножества количественных признаков, признаков наличия, качественных признаков и т.д. В каждой из этих групп собрано сравнительно небольшое число однородных признаков, что существенно облегчает построение соответствующих матриц парных сравнений.
Первый этап. В отличие от традиционного подхода к построению матрицы парных сравнений [142, 47] предложим блочно-диагональную форму этой матрицы, где по главной диагонали будут расположены блоки частных матриц сравнения, соответствующих выделенным выше пяти кластерам признаков:
Диагональные блоки являются квадратными матрицами собственных векторов, размерность которых определяется количеством признаков в каждом из кластеров. Остальные блоки, обозначенные О, являются матрицами из
нулевых элементов соответствующей размерности. Первый собственный вектор в каждой из клеток определяет вектор приоритетов весовых коэффициентов для различных кластеров признаков.
Четвертый этап заключается в определении признаков xi сравниваемых объектов экспертизы и определении нормированных значений признаков І. согласно формулам (3.2.4), (3.2.5). Для признаков отрицательного эффекта (ПОЭ) используется другая нормировка, определяемая формулами (3.2.16), (3.2.17).
На заключительном, пятом этапе на основе найденных значений нормированных признаков x\l\ I = 1,2,..., и определенного множества весовых коэффициентов V осуществляется вычисление показателя качества «/{ч и 149 обобщенной функции цены jfц е ны каждого / -го объекта экспертизы согласно формулам (3.2.10), (3.2,12) (детерминированный вариант) или (3.4.8) (нечетко-множественный вариант). Итоговым результатом является расчет комплексного показателя качества J I = 1,2,...,к для всех сравниваемых объектов экспертизы. Матричная форма нечетко-множественного показателя. В разделе 3.4 показатель качества (3.4.8) был представлен в компактной матричной форме (3.4.9): jКАЧ =(Av)T -ВХ, где В - линейный матричный оператор, учитывающий нормировку признаков, функции принадлежности при построении нечетко-множественного показателя j, BeRmxm, А - линейный матричный оператор, учитывающий возможную взаимосвязь признаков, межластерный приоритет признаков, внутрикластерный приоритет признаков, А є Rmxm.
В разделе 3.4 для последнего уравнения (3.4.9) была получена матрица В в блочно-диагональном виде (3.4.10) и определены ее квазидиагональные блоки Вкол,Внал,Вкач в предположении, что рассматривается три вида признаков: количественные хкол j, j = 1,2,...,тг, признаки наличия хналі і = 1,2,..., т s, качественные хкач1,1 = 1,2,...,т t. Следуя той же методике, определим матрицу А также в блочно-диагональном виде:
