Введение к работе
.Актуальность темы. В связи с повсеместным внедрением персональных компьютеров в учебный процесс вузов и появлением широкого спектра программного обеспечения учебного назначения (ПОУН) становится актуальной задача оценки его качества. На Сазе высших учебных заведения и научно-исследовательских организация соадаются сертификационные лаборатории по тестированию и оценке качества ПОУН, что является следствием Соглашения по политике информатизации No.44 от ме.ііду Госкомвузом РФ и Комитетом при Президенте РФ (Роско-мин$орч). Следует отметить, что сфера применения ПОУН не ограничивается только учебными заведениями, это также крупные промышленные предприятия, военные и гражданские организации, ведущие самостоя-тельнун подготовку и переподготовку кадров.
К ПОУН относятся как компьютерные учебные программы (КУП), так и авторские инструментальные системы (АИС), или, как их называют на Западе, Authoring systems, предназначенные для создания КУП. АИС представляит собой многофункциональные интегрированные среды разработчика КУП.
Применение АИС является одним из способов разработки и внедрения КУП в учебный процесс наряду с использованием готовых фирменных КУП и прямого программирования на языках высокого уровня. Применение АИС имеет ряд преимуществ, главными из которых является: возможность разработки КУП непосредственно преподавателями вузов без привлечения профессиональных программистов, высокая степень соответствия создаваемой КУП конкретному учебному курсу, решение проблемы "второго автора" в случае модификации КУП и обеспечение высокой технологичности процесса разработки.
В настсяіцєе время на российском рынке программного обеспечения (ПО) распространено значительное количество как зарубежных, так и отечественных универсальных и специализированных АИС, имеющих различные функциональные возможности и области применения. Наличие у них инвариантных состзвляюіцих позволяет создать систему характеристик, адекватную задаче оценки их качества. Выбор оптимальной АИС, реализук^ей соответствующую поставленной учебной задаче функциональную поддержку, обеспечивает создание эффективной КУП в короткие сроки с минимальными трудозатратами. До последнего времени решение задачи оценки качества и выбора АНС проводилось без достаточного применения математических методов. Предлагаемая в диссертации оптимизационная модель позволяет проводить оценку качества и выбора АИС на основе разработанной иерархической системы характеристик качества с использованием метода векторной оптимизации - метода обобщенного критерия качества (ОКК).
Целью работы является построение оптимизационной модели оценки качества на основе разработанной системы характеристик качества АИС с последухчим исследованием результатов сценки качества иа примере
нескольких отечественных универсальных АИС и выработкой рекомендаций по выбору оптимальной АИС.
Для достижения поставленной цеди решались следукаріе взаимосвязанные задачи:
классификация АИС с точки зрения принципов' обучения и функциональных возможностей;
классификация КУП с точки, зрения использования возможностей АИС применительно к оценке важности характеристик качества;
обоснование выбора совокупности АИС, взятых в качестве объектов исследования;
разработка иерархической системы характеристик качества на основе Международного стандарта оценки качества программного обеспечения (ПО) ISO/IEC S126 с учетом среды запроса;
разработка алгоритмов проведения многоэтапного экспертного опроса для определения коэффициентов важности на основе методов ран--' жирования, полнкх парних сравнений и непосредственной оценки;
анализ исходной экспертной информации на непротиворечивость и согласованность на стадии определения коэффициентов важности характеристик качества;
разработка способов определения значений характеристик "качества;
выбор способов нормирования значений характеристик и типов агрегирования исходной экспертной информации, определяющих стратегию оценивания;
разработка принципов создания библиотеки тестовых примеров для определения значений ряда характеристик качества и последующего выбора АИС;
разработка способов получения ОКК для иерархической системы характеристик качества и в случае использования неполных наборов характеристик;
разработка комплекса интерактивных компьютерных программ оценки качества АИС (IBK_L), компьютерной библиотеки тестовых примеров и организация гипертекстового представления системы характеристик качества. '
Метод исследований, метод обобщенного критерия качества (ОКК), лежащий в основе математической модели, относится к методам векторной оптимизации, позволянйцим получить Нарето-оптинзльное решение задачи оценки качества с учетом структуры предпочтений лиц, принимак-ирос решение (ЛПР) по выбору АИС. На промежуточных этапах оценки использовались статистические метода; (ранговые корреляции) и принципи теории целенаправленных иерархических систем.
Научная новизна работы заключается в:
- разработке иерархической системы характеристик качества на
основе .Международного стаьдарта оценки качества ПО IS0/IEC 9126 с
/
учетом принципов теории целенаправленных иерархических систем и среды запроса;
разработке технологической модели процесса оценки качества АКС и математической модели на основе метода векторной оптимизации СХХ;
разработке способов определения значений характеристик качества, позводяміцнх произвольно заменять исследуемые объекты без влияния на резудьтнрушщу» оценку качества;
разработке алгоритмов проведения многоэтапного экспертного опроса для определения коэффициентов важности и значений характеристик качестваГ
"- разработке способов получения ОКХ для иерархической системы характеристик качества:
- разработке принципов создания библиотеки тестовых примеров
для определения ряда характеристик качества и последующего выбора
ЛИС;
получении на основе анализа ОКК ряда важных выводов о наиболее эффективной организации процесса оценки качества и выбора АИС;
разработке рекомендации по проведению вчбора АИС на основе разработанной оптимизационной модели.
На защиту выносятся.-
иерархическая система характеристик для оценки качества АИС;
технологическая и математическая модели процесса оценки качества;
результати оценки качества АНС.
Практические результаты диссертационной работы представляют собой реализаваннце для Несовместимых ПК:
алгоритмы и комплекс интерактивных программ оценки качества IBM_L :
гипертекстовое представление иерархической системы характеристик качества АИС;
компьютерную библиотеку тестовых примеров для сопровождения процесса оценки качества АИС.
Полученные в работе результаты могут найти применение для оценки качества, оптимального выбора, а также сертификации ПО различного назначения при разработке адекватной системы характеристик качества и задании соответствукчцих браковочных уровней.
Реализация и внедрение.
Рзораоталная иерархическая система -характеристик качества АИС в виде гипертекстового -.JdA/ia использовалась в Центре интерактивных средств обучения при Министерстве образования РФ с цель» стандартизации фонда программно-методических комплексов. Предложенная оптимизационно;! модель оценки качества и вцбора АНС была использована в Центре нових информационных технологий при МИФИ с цель» исследования
эффективности ее применения для задач оценки качества ПОУН. Комплекс интерактивных програми оценки качества 1BMJL используется преподавателями ШКП ГАНГ им.И. К.Губкина и в ЦНИТ МГУЛ для выбора АИС, наиболее подходящей для разработки КУП, сопровождающих учебный процесс; а такие в.Департаменте образования северо-западного учебного округа при практическом выборе АИС.
Апробация работа. Результаты работы докладывались на научно-техническом совещании "Электроинформ-92" (Н.Новгород, 1992), научно-технической конференции "Мккросистема-93" (Москва,1933), XXI международной конференции "САПР-94: Новые информационные технологии в науке, образовании, медицине и бизнесе" (Симферополь, 1994), межвузовской научно-практической конференции "Эффективность информационных технологий обучения в высшей школе" (Новороссийск,1994), международной конференции "Компьютерные технологии в образовании EW-ED*94" (Симферополь,1994), III Всероссийской конференции-выставке "Информационные технологии в образовании" (Москва,1394), всероссийской научно-методической конференции "Телематика-95" (С.-Петербург, 1995), XXII международной конференции "САПР-95" (Симферополь, 1995), международной конференции ЮНЕСКО по инженерному образовании ICEED'95 (Москва,1995), международной конференции-выставке "Информационные технологии в непрерывном образовании" (Петрозаводск, 1995), всероссийской научно-технической конференции "Перспективные информационные технологии в высшей школе (Тамбов,1995). .
Публикации. По теме диссертации опубликована 21 печатная работа.
Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами, заключения и ? приложений. Основной текст работы . изложен на /// страницах машинописного текста, содержит <36> страниц рисунков, 40 таблиц. Список литературы включает 5Q наименования.