Электронная библиотека диссертаций и авторефератов России
dslib.net
Библиотека диссертаций
Навигация
Каталог диссертаций России
Англоязычные диссертации
Диссертации бесплатно
Предстоящие защиты
Рецензии на автореферат
Отчисления авторам
Мой кабинет
Заказы: забрать, оплатить
Мой личный счет
Мой профиль
Мой авторский профиль
Подписки на рассылки



расширенный поиск

Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Дьячкова Илона Евгеньевна

Метод многокритериального принятия решения на основе субъектно-ориентированного подхода
<
Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода Метод многокритериального принятия решения на основе субъектно-ориентированного подхода
>

Диссертация - 480 руб., доставка 10 минут, круглосуточно, без выходных и праздников

Автореферат - бесплатно, доставка 10 минут, круглосуточно, без выходных и праздников

Дьячкова Илона Евгеньевна. Метод многокритериального принятия решения на основе субъектно-ориентированного подхода : диссертация ... кандидата технических наук : 05.13.10.- Дубна, 2006.- 125 с.: ил. РГБ ОД, 61 07-5/525

Содержание к диссертации

Введение

Глава 1. Анализ основных существующих методов принятия решений 9

1.1. Основные положения теории принятия решения и управления 9

1.2. Анализ процесса принятия решения 11

1.3. Методы оценки и сравнения многокритериальных альтернатив 17

1.3.1. Многокритериальная теория полезности (MAUT) 17

1.3.2. Метод анализа иерархий 19

1.3.3. Методы ELECTRE ранжирования шогокритериальных альтернатив 21

1.3.4. Эвристические методы 23

1.4. Обоснование преимуществ и недостатков методов принятия решений 26

1.5. Формальная постановказадачи принятия решения 27

Глава 2. Разработка метода оценки особенностей ЛПР в системах принятия решений 33

2.1. Анализ способов адаптации человека в системах принятия решений 33

2.2. Психологические особенности поведения субъекта в процессе принятия решений 39

2.2.1. Система индивидуальных предпочтений 40

2.2.2. Теория по иска доминантной структуры 42

2.2.3. Теория конструирования стратегий 43

2.2.4. Особенности поведения человека при принятии решений 44

2.2.5. Обработка информации человеком при многокритериальном выборе 44

2.3. Влияние психофизиологических особенностей на процесс принятия решений47

2.4. Методы учета особенностей ЛПР при принятии решений 51

2.5. Выбор характеристики для оценки индивидуальных особенностей ЛПР 53

2.6. Определение индивидуального стиля деятельности 58

2.6.1. Решение тестовых задач 58

2.6.2. Описание тестовой программы. 59

2.6.3. Обработка результатов тестирования 60

2.6.4 Построение решающего правила 65

Глава 3. Разработка адаптивного метода принятия решения 70

3.1. Метод определения и учета особенностей ЛПР при принятии решений 70

3.2. Реализация многокритериального метода принятия решения в проектируемой СППР 79

3.3. Математическая постановка задач оптимизации 84

3.3.1. Критерии оптимальности 85

3.4. Оптимальное поведение и его формализация 87

3.5. Эффективность принятого решения 90

Глава 4. Апробация разработанного адаптивного метода принятия решения, учитывающего стиль ЛПР 97

4.1. Пример оценки индивидуального стиля деятельности ЛПР 97

4.2. Решение задачи помощью СППР 98

4.3. Анализ результатов принятия решения в СППР 108

4.4. Оценка эффективности разработанного метода 112

4.5. Использование разработанного метода 115

Выводы 117

Литература 118

Введение к работе

Актуальность исследования. В настоящее время теория принятия решений достаточно широко разработана, рынок информационно-аналитических систем стремительно развивается. Очевидна необходимость разработки новых подходов, позволяющих повысить качество управления в социальных и экономических системах. Тем не менее, при создании систем поддержки принятия решений (СППР) остается много проблем и сложностей. В центр внимания до сих пор не поставлено конкретное лицо, принимающее решения (ЛПР). Существующие системы не учитывают различий ЛПР с точки зрения индивидуальных психологических особенностей и особенностей их стиля деятельности, а возможности адаптации к СППР ограничиваются в основном выбором цвета на рабочем поле экрана. При взаимодействии ЛПР с компьютером при решении задач принятия решений появляются трудности, связанные с возникновением своеобразного психологического барьера, преодолеть который не для всех легко, а также снижение творческой активности пользователей.

Поддержка конкретного ЛПР, с учетом его субъективных

представлений о процессе принятия решений и индивидуальных психологических особенностей, может дать надежду на повышение качества принятия решений в социально- экономических системах.

Ориентация на конкретные виды управленческой деятельности и конкретных субъектов (ЛПР, аналитиков, лиц, готовящих варианты решений) требует создания и использования методов, направленных на исследование и поддержку субъективных представлений управленческих ситуаций и управленческой деятельности в целом. Методы принятия решений должны быть психологически и математически обоснованы, понятны и удобны для пользователя.

Таким образом, актуальность темы диссертационной работы определяется необходимостью разработки метода многокритериального принятия решения и структуры СППР с учетом индивидуальных

деятельностных особенностей JII IP, позволяющих сократить время принятия решения, повысить эффективность процесса принятия решения, увеличить комфортность работы ЛПР.

Цель и задачи исследования. Целью диссертационной работы является разработка адаптивных структур и метода многокритериального принятия решения, направленных на повышение эффективности процесса принятия решения в социальных и экономических системах с учетом деятельностных особенностей ЛПР.

В соответствии с целью необходимо решить следующие задачи:

проанализировать существующие многокритериальные методы
принятия решений, используемых в социальных и экономических
системах, с целью выбора наиболее подходящего для адаптации к
стилевым особенностям ЛПР;

проанализировать деятельностные особенности ЛПР и выбрать
характеристики для оценки этих особенностей;

разработать адаптивный метод многокритериального принятия решения, отличающийся учетом особенностей стиля деятельности ЛПР при принятии решений в социальных и экономических системах;

разработать структуру СППР, использующую разработанный адаптивный метод многокритериального принятия решения;

определить показатели эффективности разработанного метода и работы адаптивной СППР;

апробировать предложенный метод в эксперименте по использованию СППР, как имеющей, так и не имеющей в своей структуре адаптивный аппарат.

Методы исследования. При решении поставленных задач использовалась теория принятия решений, основные положения теории

векторной оптимизации и теории управления, диагностические методы определения деятельностных особенностей ЛПР, теория алгоритмов.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

  1. Предложен новый мето дико-технологический подход к построению СГГПР, отличающийся учетом деятельностных особенностей ЛПР и модификацией общей схемы принятия решения.

  2. Разработан метод оценки особенностей ЛПР, позволяющий выявить деятельностно-поведенческие особенности ЛПР с целью учета их при проектировании СППР.

  3. Разработан метод адаптивного многокритериального принятия решения, отличающийся учетом особенностей ЛПР и позволяющий повысить эффективность процесса принятия решения.

Практическая значимость.

Разработанный метод позволяет существенно видоизменить структуру процесса принятия решения вводом в алгоритм оценки деятельностно-поведенческих особенностей ЛПР и тем самым адаптировать алгоритм к пользователю. Это позволяет существенно сократить сроки принятия решений, улучшить его качество и повысить эффективность процесса принятия решений и комфортность ЛПР при работе с СППР.

Апробация работы. Основные результаты работы докладывались и обсуждались на научных семинарах в университете «Дубна», заседаниях кафедр проблем устойчивого регионального развития, системного анализа и управления университета «Дубна», а так же на российских и международных форумах и конференциях, в том числе на конференции «Научные исследования в наукоградах Московской области «Стратегии устойчивого развития» (г. Дубна, сентябрь 2001 г.), Международном научно-практическом форуме молодых ученых (г. Москва, ноябрь 2001 г.), VIII международной конференции молодых ученых и специалистов ОИЯИ (г. Дубна, 2003 г).

Результаты диссертационной работы используются в учебном процессе Московского государственного университета приборостроения и информатики, а также в Государственном образовательном учреждении Международный университет природы, общества и человека «Дубна» в дисциплинах «Принятие решений» и «Управление персоналом». Публикации и личный вклад. Диссертация основана на теоретических, методических и экспериментальных исследованиях, выполненных автором в 2000-2006 гг. Основные положения диссертации опубликованы в 5 печатных работах, одна из них в соавторстве. Основные теоретические, методические и технологические результаты получены автором.

Разработка методов, алгоритмов, методических рекомендаций по созданию структуры СППР выполнена автором, реализация разработанного метода в СППР и внедрение в учебный процесс проводились при непосредственном участии автора.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы, включающего 102 наименования. Работа изложена на 125 страницах машинописного текста, содержит 23 рисунка и 18 таблиц.

Методы оценки и сравнения многокритериальных альтернатив

Теория полезности, изложенная в работе Дж. фон Неймана и О. Моргенштерна [13], носит аксиоматический характер. Это теоретическое направление в экономической науке, развитое представителями австрийской школы в XIX-XX вв., основано на базисном объективном понятии «полезность», воспринимаемом как удовлетворение, получаемое человеком в результате потребления благ. Научное направление MAUT (Multi-Attribute Utility Theory) отличают следующие особенности: 1) строится функция полезности, имеющая аксиоматическое (чисто математическое) обоснование; 2) некоторые условия, определяющие форму этой функции, подвергаются проверке в диалоге с ЛПР; 3) полученные результаты решения задачи используются для оценки заданных альтернатив. Основные этапы подхода MAUT. Представим этапы решения задачи при подходе MAUT. 1. Разработать перечень критериев. 2. Достроить функции полезности по каждому из критериев. 3. Проверить некоторые условия, определяющие вид общей функции полезности. 4. Построить зависимость между оценками альтернатив по критериям и общим качеством альтернативы (многокритериальная функция полезности). 5. Оценить все имеющиеся альтернативы и выбрать наилучшую. Подчеркнем положительные стороны подхода MAUT. Прежде всего построена стройная единая математическая теория, позволяющая обосновать конкретный вид общей функции полезности в зависимости от предпочтений ЛПР. Идеология этой теории представлена в книге Р. Кини и X. Райфы [12].

Там же представлены и практические задачи, решенные путем подхода MAUT. Учеными делается предположение, что варианты решений имеют оценки по многим критериям. В качестве дополнительных к общим аксиомам выступают аксиомы (условия) независимости, на основании которых доказываются теоремы о виде функции полезности. Авторы доказали, что при выполнении условия строгой условной независимости по полезности, функция полезности имеет либо аддитивный, либо мультипликативный вид, причем где: Ki - весовые коэффициенты критериев (0 К 1); UІ (ХІ ) - функции полезности по г-му критерию; U - общая функция полезности. МТП строится аксиоматическим способом. В качестве достоинства МТП отмечается детальная проработанность процедур выявления предпочтений ЛПР. Отметим также, что хотя построение общей функции полезности требует достаточно много времени и усилий ЛПР, полученный результат позволяет оценить любые (в том числе и вновь появляющиеся) альтернативы. Два основных недостатка, связанные с подходом MAUT, стали очевидными в настоящее время. Во-первых, предполагается (неявно), что человек может делать точные количественные измерения. Это далеко не так. Психологические исследования показали, что нет надежного способа количественного измерения весов критериев. Во-вторых, подход MAUT требует от ЛПР «немедленного» назначения всех основных параметров, не давая ему возможности провести исследования проблемы привычным для человека методом «проб и ошибок». Метод анализа иерархий (МАИ) широко известен в настоящее время [82]. Построение функции полезности осуществляется независимо от того, заданы или нет конкретные альтернативы. Ясно, что одни и те же диапазоны значений критериев возможны при различных альтернативах. Кроме того, диапазоны могут быть заданы без указания реальных альтернатив. При подходе MAUT одни и те же усилия ЛПР по построению функции полезности могут быть затрачены при большом и малом числе альтернатив. Не всегда такой подход является обоснованным.

В случае небольшого числа заданных альтернатив (задачи первой группы) представляется разумным направить усилия ЛПР на сравнение только заданных альтернатив. Именно такая идея лежит в основе метода МАИ. Основные этапы подхода МАИ. Постановка задачи, решаемой с помощью метода - МАИ, заключается обычно в следующем. Дано: общая цель (или цели) решения задачи; критерии оценки альтернатив; альтернативы. Требуется: выбрать наилучшую альтернативу. Подход МАИ состоит из совокупности этапов. 1. Первый этап заключается в структуризации задачи в виде иерархической структуры с несколькими уровнями: цели — критерии—альтернативы. 2. На втором этапе ЛПР выполняет попарные сравнения элементов каждого уровня. Результаты сравнений переводятся в числа. 3. Вычисляются коэффициенты важности для элементов каждого уровня. При этом проверяется согласованность суждений ЛПР. 4. Подсчитывается количественный индикатор качества каждой из альтернатив и определяется наилучшая альтернатива. Попарные сравнения При попарных сравнениях в распоряжение ЛПР дается шкала словесных определений уровня важности, причем каждому определению ставится в соответствие число (табл. 1.2).

Психологические особенности поведения субъекта в процессе принятия решений

В плане исследования поведения субъекта психология рассматривает вопросы о природе предпочтений, о реальном когнитивном процессе сбора информации и принятии решений, обсуждает возможность расхождения выбранного субъектом варианта поведения и системы его предпочтений, а также способы обучения людей на собственных ошибках.

Что касается такого важного для принятия решений атрибута как предпочтения, то в психологии изучается и исследуется целый комплекс вопросов, связанных с предпочтениями: их происхождение, неустойчивость зависимости от контекста, в том числе от ограничений (люди адаптируют свои предпочтения, приспосабливая их к изменившимся условиям), влияние на предпочтения других индивидов.

В задачах многокритериального выбора не существует наилучшего в том или ином смысле решения. Решение оказывается наилучшим лишь в представлении конкретного лица, принимающего решение. Люди, принимающие решения и несущие ответственность за их последствия, являются единственными источниками информации, позволяющей оценить варианты решения и выбрать наилучший из них [18].

Решение, которое принимается субъектом, основано на его индивидуальных предпочтениях, на его представлении о достоинствах и недостатках оцениваемых и сравниваемых альтернатив.

Предпочтения характеризуют субъективные потребности и желания индивида, ограничения — его объективные возможности. Предпочтения человека являются всеохватывающими и непротиворечивыми. К главным ограничениям относятся различного рода ресурсы, т.е. реальные средства и возможности субъекта при выборе. Психологический аспект проблемы выбора состоит в том, что ЛПР имеет некоторую систему индивидуальных предпочтений, из которой данный субъект и исходит при рациональных действиях, например, в многокритериальных задачах принятия решений. Под системой предпочтений понимается совокупность неструктурированных представлений, связанных с достоинствами и недостатками сравниваемых решений. Особенности системы предпочтений ЛПР сводятся к следующему. 1) Это совокупность обычно неструктурированных (тем более не формализованных) представлений ЛПР, связанных с достоинствами и недостатками сравниваемых решений. 2) Такая совокупность представлений, как правило, бывает неполной, она формируется в результате накопления опыта (в частности, при решении аналогичных задач) и отражает общую стратегию, проводимую лицом, принимающим решение. 3) Предпочтения ЛПР структурируются, выявляются и формализуются (а иногда и окончательно формируются) обычно только в ходе специального исследования, направленного на построение модели. В многокритериальных задачах система индивидуальных предпочтений описывается разными способами [19]: методами определения отношений порядка в нескольких модификациях: простое отношение порядка, частичное отношение порядка, интервальное отношение порядка; методами, основанными на построении функций полезности (метод субъективных шкал Льюиса, метод построения субъективной вероятностной меры Сэвиджа) [20]. Выявление системы предпочтений ЛПР - сложная задача, т.к. на практике бывает чрезвычайно трудно получить ответы (в процессе диалога -«консультант (аналитик) - руководитель») на многие вопросы, а на некоторые практически и невозможно (например, «назначение» весовых коэффициентов). Руководитель при выявлении его системы предпочтений, его понимании ситуации, его знаний выступает как эксперт. Как отмечает ряд авторов, например, в работе [21]: «...сложно получить знание от экспертов, но получить от них еще и оценки этих знаний слишком сложно, т.к. количественные оценки истинности не свойственны большинству экспертов». Упомянутые трудности сводятся к следующему. 1) По мере получения все более сложных утверждений о предпочтениях ЛПР уверенность в обоснованности этих утверждений уменьшается. Поэтому при выявлении предпочтений необходимо стремиться к использованию как можно более простой, надежной и действительно необходимой для решения задачи информации. 2) Вторая трудность при выявлении системы предпочтений состоит в том, что на практике может наблюдаться противоречивость в высказываниях ЛПР (например, нарушение транзитивности). Обнаружить противоречивость в информации о системе предпочтений часто очень сложно. 3) Третье затруднение в том, что некоторые предпочтения могут изменяться и приводить к противоречивости суждений уже в процессе принятия решений. Выявление системы предпочтений основано на высказывании ЛПР некоторых суждений о влиянии определенных изменений отдельных компонент частных оценок или наборов этих компонент на общую предпочтительность (или ценность, или полезность) вариантов решений. Совокупность таких утверждений представляет собой информацию о системе предпочтений ЛПР. При исследовании возможных способов выявления системы предпочтений ЛПР необходимо: четко выделять виды запрашиваемой информации о предпочтениях и проверять возможность их получения, рассматривать возможные способы получения информации каждого вида и выбирать из них наиболее простые и удобные для ЛПР. Результаты экспериментального исследования поведения людей и их особенностей при решении многокритериальных задач были использованы при разработке психологических теорий, описывающих поведение людей в задачах выбора.

Реализация многокритериального метода принятия решения в проектируемой СППР

Большинство существующих СППР не обладают полным набором перечисленных выше блоков и ориентированы на сравнительно узкий круг задач. СППР обеспечивает поддержку ЛПР при анализе проблемы. ЛПР запрашивает необходимые данные, изучает проблемы, получает советы СППР, относящиеся к опыту решения подобных проблем, пробует применить для решения различные методы, знания экспертов. В классических СППР происходит распознавание текущей ситуации, т.е. подбор из базы моделей наиболее адекватной, после этого, используя базу знаний, ЛПР выполняет соответствующую процедуру принятия решения. Предлагается для более правильного выбора нужной процедуры принятия решения после подбора основной модели проблемы (альтернативы) варьировать составляющие этой модели (атрибуты). Во всех существующих СППР именно ЛПР на основании анализа проблемы уточняет свои предпочтения и вырабатывает наилучший вариант её решения. Однако для тестирования выбранных и близких процедур и методов в нужном диапазоне необходима оперативная оценка их эффективности по выбранным ЛПР критериям. Для решения этой задачи служит блок анализа эффективности. После предварительной работы СППР и ЛПР, традиционными методами распознаётся текущая ситуация и выбираются группы методов, наиболее подходящих для решения текущей проблемы. После уточнения своих предпочтений ЛПР выбирает критерии эффективности методов. Далее предлагаемая (модернизированная) СППР может дополнительно решать следующие задачи: 1. Моделирование обстановки, т.е. набора значений характеризующих её параметров, в заданном диапазоне. 2. Решение задачи принятия решения для всех смоделированных ситуаций всеми выбранными методами. 3. Выбор наиболее оптимального метода. 4. Тестирование для выбранного метода всех алгоритмов адаптации (подбора весовых коэффициентов) для заданного набора ситуаций. 5. Выбор наиболее оптимального алгоритма адаптации.

Для обеспечения гибкости системы целесообразно включить возможность ввода в систему дополнительных алгоритмов и методов, а также ввода известных статистик по принятым решениям в уже известных ситуациях. Несмотря на то, что любой опыт имеет огромное значение для повышения правильности рекомендуемых системой решений, вопрос правомочности использования этого опыта требует особого внимания. Целесообразно для любой используемой информации ввести показатель достоверности. В разработанной СППР возможно два варианта работы: 1. когда происходит адаптация к ЛПР (после определения результатов тестирования); 2. когда система работает по стандартной схеме принятия решения, рассчитанной на «усредненного пользователя». Упрощенная функциональная схема предлагаемой системы изображена на рис. 3.6. Формирования параметров - служит для формирования типа, размерности и диапазона значений параметров, характеризующих текущую обстановку. Конкретные значения всех или нескольких параметров могут либо генерироваться по определенному закону, либо соответствовать реальной или заданной обстановке (ввод заданных параметров). Это позволяет снизить размерность задачи перебора всех возможных вариантов, т.е. проводить исследования только вблизи наиболее интересуемых состояний. Анализ эффективности - для сравнительной оценки эффективности исследуемого и образцового алгоритмов. Используется информация о длительности и правильности принятия решения на данном этапе тестирования, а также информация об соответствующих значениях критериев на предыдущих циклах. Анализ длительности - для сравнения времени, необходимого на принятие решения в системе, адаптированной к ЛИР и неадаптированной. Анализ правильности - для сравнения правильности и степени уверенности в принятых решениях в системе, адаптированной к ЛИР и неадаптированной. Основные критерии сравнения выбираются пользователем в зависимости от метода ПР и от конкретных задач моделирования. В качестве критериев могут использоваться: - относительная длительность принятия решения (в процентах или относительных единицах); - правильность решений (в процентах или относительных единицах); - средняя уверенность в правильности решения (в процентах или относительных единицах). База алгоритмов ПР - комплекс подпрограмм, реализующих различные алгоритмы и методы принятия решений, а также связанные с каждым методом набор процедур определения характеристик их эффективности. На данном этапе реализации база состоит из метода анализа иерархий . Память о предыдущих циклах необходима для реализации многих алгоритмов адаптации. Выбранный и образцовый алгоритмы. Алгоритмы принятия решений, выбранные из базы всех определенных алгоритмов. Весовые коэффициенты - коэффициенты, характеризующие относительную значимость критериев или другие подбираемые переменные для выбранного алгоритма принятия решения адаптированной или неадаптированной системы.

Анализ результатов принятия решения в СППР

Для оценки эффективности разработанного адаптивного метода принятия решения было проведено сравнение предложенных показателей эффективности при работе с СГШР в режиме 1 с показателями эффективности при работе с СГШР в режиме 2 (таблица 4.3). Время решения при выполнении задачи 1 сократилось в первой группе на 17%, во второй на 25%, а в третьей на 27%. При решении задачи 2 время решения в группах сократилось на 29% в первой группе на 27% во второй и на 29% в третьей. Время анализа альтернатив при выполнения задачи 1 сократилось в первой группе на 50%, во второй на 25%, а в третьей на 33%. При решении задачи 2 время анализа альтернатив сократилось в первой группе на 50%, во второй на 33% и в третьей на 25%. Также повысилась комфортность и улучшилась успешность при работе с адаптивной СППР. Полученные результаты позволяют утверждать, что разработанный метод отличается повышением эффективности процесса принятия решения, выраженном в сокращении времени решения задачи, увеличении уровня комфортности при работе с адаптивной СППР, повышении успешности при принятии решения, высоким качеством решения и высокой надежностью.

В данный момент в СГШР реализовано лишь две из возможных задач принятия решения. Апробация и введенные критерии эффективности показали, что разработанный метод, отличается учетом особенностей стиля ЛПР и позволяет повысить качество решений. Разработанная СППР может быть использована в учебном процессе: при обучении методам принятия решений с целью выработки у учащихся практических навыков в технологически грамотном решении сложных социально-экономических, психологических и правовых проблем. СГШР соответствует потребностям: качественного анализа проблем, исключительного удобства в учебном процессе (простота, наглядность, универсальность), что позволяет использовать её для создания целой учебно-методической системы 1. Проведена оценка индивидуального стиля деятельности с помощью разработанной программы. 2. Приведены тестовые примеры решения задач в СППР с использованием адаптивного метода принятия решения. 3. Проанализированы результаты принятия решения в адаптивной СППР. 4. Проанализирована эффективность разработанного метода. На основании этого анализа был сделан вывод, что разработанный метод отличается повышением качества принятого решения, сокращением времени решения, увеличением уровня комфортности при работе с СППР.

Похожие диссертации на Метод многокритериального принятия решения на основе субъектно-ориентированного подхода