Разработка методов и средств анализа и обеспечения качества программных систем учебного назначения Гуров Валерий Валентинович

Содержание к диссертации

Введение

1. Анализ методов и средств обеспечения качества программных систем учебного на значения 14

1.1. Анализ нормативных требований к программным системам учебного назначения 14

1.2. Выбор показателей качества программных систем учебного назначения 22

1.3. Анализ методов и средств оценки надежности программных систем учебного назначения 34

1.4. Анализ атак на программные системы и программных методов защиты про

граммных систем 40

1.5. Анализ методов и средств компьютерного тестирования 48

Выводы к главе 1 55

2. STRONG Разработка структуры программных систем учебного назначения по техническим дис

циплинам STRONG 59

2.1. Оценка безопасности программных систем учебного назначения 59

2.2. Разработка структуры комплекса компьютерных обучающих программ по техническим дисциплинам 71

2.3. Разработка структуры системы компьютерного тестирования 78

Выводы к главе 2 85

3. Разработка моделей и методов оценки и обеспечения надежности программных систем учебного назначения 89

3.1. Разработка аналитической модели надёжности программных систем учебного назначения 89

3.2. Разработка имитационной модели надежности компьютерной обучающей программы 95

3.3. Разработка методики оценки надежности программных систем учебного назначения 102

Выводы к главе 3 110

4. Практическое использование разработанных методов и средств анализа и обеспечения качества программных систем 112

4.1. Реализация программных обучающих комплексов по техническим дисциплинам 112

4.2. Система тестирования "ИСТОК" 128

4.3. Электронные средства поддержки учебного процесса 135

4.4. Использование имитационной модели для расчёта показателей надёжности программного обеспечения вычислительных средств системы передачи данных Кризисного центра концерна "РОСЭНЕРГОАТОМ" 145

Выводы к главе 4 153

Заключение 156

Список использованных источников

• Выбор показателей качества программных систем учебного назначения
• Разработка структуры комплекса компьютерных обучающих программ по техническим дисциплинам
• Разработка имитационной модели надежности компьютерной обучающей программы
• Электронные средства поддержки учебного процесса

Введение к работе

Федеральная целевая программа "Развитие единой образовательной информационной среды" (ФЦП РЕОС) [8,9], принятая в рамках реализации Федеральной целевой программы развития образования [11] и Национальной доктрины образования [12], отмечает, что в условиях динамично меняющегося мира, глобальной взаимозависимости и конкуренции, необходимости широкого использования и постоянного развития и усложнения технологий фундаментальное значение имеет информатизация сферы образования. Содержание и качество образования, его доступность, соответствие потребностям конкретной личности в решающей степени определяют состояние интеллектуального потенциала современного общества. Интенсивное развитие сферы образования на основе использования информационных и телекоммуникационных технологий становится важнейшим национальным приоритетом.

Тенденции развития общества требуют безотлагательного решения проблемы опережающего развития системы образования на основе информационных технологий. Информатизация предполагает изменение содержания, методов и организационных форм образования. Включение современных информационных технологий в образовательный процесс создает возможности повышения качества образования.

Одной из главных задач, поставленных в ФЦП РЕОС, является применение новых информационных и телекоммуникационных технологий в учебном процессе, включая создание и использование в учебном процессе современных электронных учебных материалов, а таюке разработку электронных средств информационно-технологической поддержки и развития учебного процесса. Учитывая новизну и сложность проблемы развития информационно-образовательной среды, ее решение требует экспериментального поиска на основе имеющегося в системе образования опыта работы с информационными технологиями. Необходимо выработать механизм, предполагающий обязательную экспериментальную проверку рекомендуемых для использования в учебных заведениях электронных учебных материалов.

О том, что программные системы учебного назначения (ПСУН) представляют собой особое направление в сфере информационных технологий, свидетельствует выделение их в отдельный класс программной продукции согласно Общероссийскому классификатору продукции [7].

При разработке ПСУН должен рассматриваться широкий круг вопросов. Это мето-

5 дологические и педагогические аспекты, вопросы структурной организации таких систем, функциональной совместимости отдельных частей программных комплексов, совместимости комплексов, разработанных разными производителями, организации структуры данных, качества программных систем и многие другие моменты.

В ФЦП "Развитие единой образовательной информационной среды" особо подчеркивается необходимость обеспечения качества электронных средств поддержки и развития учебного процесса. Так как данные программные средства составляют отдельный класс, то при их разработке, внедрении и эксплуатации следует учитывать ряд обстоятельств.

Во-первых, это область применения ПСУН. Очевидно, что в зависимости от области применения (среднее, среднее специальное учебное заведение или вуз, гуманитарное или техническое направление в образовании) будут меняться требования к структуре, наполнению и форме представления материала в ПСУН. В то же время отдельные модули таких программных систем будут инварианты по отношению к области применения. Наибольшие проблемы возникают при разработке обучающих программ по техническим дисциплинам. Особенностями таких программ является их основная ориентация не только на информационное обеспечение процесса обучения, но и на получение практических умений и навыков в данном направлении.

Во-вторых, существенное влияние на обеспечение качества программных систем учебного назначения оказывает их структура, которая должна учитывать особенности ПСУН, ориентированных на обучение по техническим дисциплинам. Разработка структуры таких ПСУН с учетом требования обеспечения качества является актуальной научной задачей.

В-третыа, большую роль играет коллектив разработчиков. ПСУН могут разрабатываться специализированными научно-производственными предприятиями. В то же время в ФЦП РЕОС особо подчёркивается, что "с учетом специфики отдельных вузов и большого числа специальностей значительное количество учебных электронных материалов для обучающихся должно готовиться силами самих высших учебных заведений" [8]. Это соответствует сложившемуся к настоящему моменту положению, когда ряд программных систем этого типа, особенно в технических вузах, разрабатывается сравнительно небольшим коллективом, в состав которого, как правило, входят студенты старших, а иногда и младших, курсов, под руководством аспиранта или преподава-

теля [31, 32, 36, 52, 54, 155, 160, 161, 163, 165, 167, 169, 196, 207, 219, 241, 252, 272, 284, 296].

Такие творческие группы в силу естественных причин подвержены частому обновлению. В то же время они представляют собой большую творческую силу, которая в состоянии при грамотной организации рабочего процесса, решить большой комплекс практических задач. Это предъявляет повышенные требования к качеству и, особенно, надежности и безопасности разрабатываемого в таких условиях программного обеспечения.

В-четвертых, следует учитывать область использования программных средств. Среди факторов, требующих внимания, здесь следует отметить

направление использования (домашняя самоподготовка, выработка умений и навыков по тому или иному вопросу во время проведения занятия в аудитории, контрольная оценка полученных навыков во время аудиторного занятия, тренировочное или контрольное тестирование знаний по тому или иному разделу курса);

вид проведения занятий с использованием ПСУН: локальный или сетевой режим работы, режим обслуживания (отдельным обслуживающим персоналом или самими разработчиками), что требует анализа защищённости таких средств от несанкционированного доступа при различных режимах их использования и разработки методов противодействия таким угрозам. На это же нацеливает и Доктрина информационной безопасности Российской Федерации [10].

В зависимости от учета этих обстоятельств требуется выбрать те или иные показатели качества, на которые должно быть обращено особое внимание в процессе разработки, внедрения и эксплуатации программных систем учебного назначения. Качество программного средства - это совокупность свойств программного средства, которые обусловливают его пригодность удовлетворять заданные или подразумеваемые потребности в соответствии с его назначением [2]. Показатели качества весьма разнообразны. Так стандарт [3] предусматривает 6 характеристик качества, включающих 20 подхарак-теристик. Но, в то же время, здесь же отмечается, что общие уровни ранжирования показателей качества невозможны. Они должны определяться для каждого конкретного оценивания. Программные системы учебного назначения представляют собой большой самостоятельный класс программ. Таким образом, выбор и обоснование показателей качества для них является также весьма актуальным.

7 Большую работу, связанную с исследованием и разработкой программных систем учебного назначения, проводят различные организации, в основном, связанные с образовательным процессом. Среди них следует выделить Московский государственный университет экономики, статистики и информатики (МЭСИ) [246], Московский Государственный Технологический Университет "Станкин" [247] (проректор по информатизации этого университета профессор Позднеев Б.М. возглавляет Комитет "Информационно-коммуникационные технологии в образовании" при Федеральном агентстве по техническому регулированию и метрологии), Московский государственный университет приборостроения и информатики [248], Томский государственный университет [58], Нижегородский государственный технический университет [252], Балтийский государственный технический университет г. Санкт-Петербург [207], Петербургский государственный университет путей сообщения. [268], Всероссийский заочный финансово-экономический институт [51].

Вопросы, касающиеся тех или иных сторон разработки и функционирования ПСУН, решаются рядом научных коллективов и отдельных ученых. Так проблемы, связанные со стандартизацией в сфере ИТ-технологий, широко и глубоко разбираются в работах ЗиндераЕ.З. [42, 175, 176] - президента Фонда поддержки системного проектирования, стандартизации и управления проектами (Фонд ФОСТАС). Общеметодические вопросы построения таких комплексов программ и их соответствия нормативным требованиям рассматриваются в работах Кочетуровой Н.А. [212, 213], Сысоева Л.А. [317], Курниковой М.П. и Нештата Е.П. [218]. Общим подходам к обеспечению надежности и безопасности программного обеспечения, а также качества программных средств посвящены работы Липаева В.В. [228-237], Лазарева Д.В. [222], Казарина О.В. [190, 191], Ханджяна А.О. [326-328], Полаженко С. [273]. Ряд конкретных подходов к вопросам качества программных средств отражены в работах [25, 33, 34, 171, 291, 307, 308].

Ключевую роль среди программных систем учебного назначения, особенно для технических специальностей, играют компьютерные обучающие программы. Вопросам их разработки посвящены многие работы [52, 56, 150, 152, 155]. Однако они описывают конкретные подходы к их построению без научного обоснования выбора структуры. Но вопросы, касающиеся качества этого класса систем как программного средства, рассматриваются очень ограниченно и не учитывают всего комплекса имеющихся здесь

8 проблем. В то же время данный вопрос ввиду широкого распространения этого вида обучающих программ является весьма актуальным.

Отдельное место среди компьютерных средств учебного назначения занимает тестирование с применением ИТ-технологий. Контрольно-тестирующие средства рекомендуется включать в состав электронных обучающих комплексов, а разработка средств сетевого тестирования и контроля знаний рассматривается как одно из основных направлений развития единой образовательной информационной среды [8, 9]. Различными аспектами этой проблемы занимаются АванесовВ.С. [14-16], Гусева А.И. [130, 132-135, 137-141], Леонова Н.М. [225, 226], Жуков Д.О. [20, 150, 155-159, 168, 227] и другие авторы. Несмотря на большое количество разработанных к настоящему времени систем тестирования, постоянно появляются всё новые системы. Это свидетельствует о том, что в данном направлении отсутствует общепризнанные подходы к организации и принципам построения таких систем. Обоснование принципов их построения также является актуальной научной задачей.

Таким образом, разработка методов и средств анализа и обеспечения качества программных систем учебного назначения является актуальной научной задачей.

Целью представленной работы является повышение качества программных систем учебного назначения путем разработки соответствующих методов, моделей и программных средств.

Основные направления работ. Для достижения данной цели необходимо решение следующих задач:

анализ особенностей ПСУН как отдельного класса программных систем, предъявляемых к ним требований по качеству и определение характеристик качества, наиболее существенных для систем этого класса;

исследование программных методов защиты ПСУН. разработка структуры ПСУН, обеспечивающей повышение их защищенности;

разработка методов и средств анализа и обеспечения надежности ПСУН;

разработка комплекса ПСУН для практического подтверждения эффективности разработанных методов и средств.

Методы исследования. При решении поставленных задач использовались теория

9 марковских процессов, теория вероятностей, методы математической статистики, методы имитационного моделирования, теория графов.

Научная новизна результатов работы заключается в следующем:

определены показатели качества ПСУН;

выбран и обоснован критерий защищенности системы, учитывающий вероятность достижения цели злоумышленником на каждом шаге проникновения и вероятность обнаружения его действий;

разработана модель уязвимостей ПСУН;

разработаны аналитическая и имитационная модели надежности компьютерных обучающих программ, позволяющие получить основные показатели надёжности с учетом вероятности безотказной работы программного комплекса при случайной длительности выполнения задачи;

впервые создана единая методика анализа и обеспечения качества ПСУН;

- предложена и обоснована концепция обучения студентов использованию про
граммных методов защиты программных систем.

На защиту выносятся:

показатели качества ПСУН;

критерий защищенности ПСУН;

модель уязвимостей ПСУН, позволяющая определить пути наиболее вероятного несанкционированного проникновения в систему и пути наименее вероятного обнаружения нападения, что позволит предпринять меры либо для эффективного выявления атаки, либо для максимального затруднения действий злоумышленников на этих путях;

аналитическая и имитационная модели оценки работы ПСУН, обеспечивающие анализ полноты отладки принимаемого к использованию в учебном процессе ПО;

методика обеспечения качества разрабатываемых ПСУН,

- концепция обучения студентов использованию программных методов защиты
программных систем.

Практическая значимость результатов работы заключается в следующем:

- разработаны набор алгоритмов и комплекс программных средств, поддерживаю
щие все этапы использования методики анализа и обеспечения качества ПСУН;

разработаны и внедрены комплексы компьютерных обучающих программ по 4-м техническим дисциплинам общим объёмом 47 электронных уроков;

разработана система компьютерного тестирования, обеспечивающая повышение (до 20 %) дискриминативности тестов при сохранении валидности;

разработано около 1500 тестовых заданий по различным техническим дисциплинам; политомические задания с множественными вариантами ответов разработаны с учетом определенного в работе соотношения количества правильных ответов и дистрак-торов, обеспечивающего максимальную дискриминативность задания.

Первая глава диссертации посвящена анализу методов и средств обеспечения качества программных систем учебного назначения. В ней проанализированы нормативные документы по обеспечению качества программных систем. Проведен выбор показателей качества программных систем учебного назначения. Проанализированы методы и средства оценки надежности программных систем этого класса. Проведен анализ атак на программные системы и программных методов защиты программных систем. Приведён анализ методов и средств компьютерного тестирования.

Во второй главе проводится оценка защищенности ПСУН на основе предлагаемого дерева атак и предлагаемого критерия защищенности системы. На основании полученных оценок разработана структура программных систем учебного назначения, ориентированных на использование при обучении по техническим дисциплинам и учитывающих требование повышения их защищенности от несанкционированного доступа. Для системы тестирования предлагается форма оценки результатов выполнения тестового задания, обеспечивающая более высокие характеристики качества тестов, по сравнению с традиционными.

Третья глава посвящена разработке моделей, методов и средств анализа и обеспечения надежности программных систем учебного назначения. В ней представлены аналитическая и имитационная модели оценки надёжности ПСУН на примере компьютерной обучающей программы. Исходя из особенностей процесса разработки программных систем учебного назначения, предлагается методика обеспечения их надежности на этапах разработки и внедрения.

Четвёртая глава содержит описание комплексов программных систем учебного

назначения, созданных на основе предложенных в предыдущих главах методов и средств: комплексов компьютерных обучающих программ по дисциплинам "Организация ЭВМ", "Микропроцессорные системы", "Программные методы защиты программных систем", "Общая физика", а также системы компьютерного тестирования "ИСТОК". В ней также представлены разработанные электронные средства поддержки учебного процесса. Один из разделов данной главы содержит описание применения разработанных в диссертации моделей надежности программного обеспечения для оценки надежности вычислительных средств системы передачи данных Концерна "РОСЭНЕРГОАТОМ".

Работа проводилась в рамках выполнения научно-исследовательских работ с организациями НИЦЭВТ, ЗАО "КОНСИСТ-ОПЕРАТОР СВЯЗИ" Концерна "РОСЭНЕРГОАТОМ" по темам 89-3-242, 64-88М2, 86-3-012-576, 87-3-012-209, Договоров о научно-техническом сотрудничестве с Северо-Кавказским государственным университетом, Брянской государственной инженерно-технологической академией, ГОУ СПО Строительный колледж №1 (г. Москва), а также по гранту № 06-07-89100 Российского фонда фундаментальных исследований.

Апробация работы.

Основные результаты работы докладывались и обсуждались на 23-х международных, всероссийских и региональных конференциях, семинарах и научных сессиях: Научных сессиях МИФИ в период 1998-2008 г.г. (11 сессий), Восьмой международной конференции "Открытое образование в России XXI века" (Москва, 2000 г.), 5-й Всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в научных исследованиях и в образовании (НИТ-2000)" (Рязань, 2000 г.), IX Международном научно-техническом семинаре, посвященном 70-летию МАИ и 70-летию МЭИ "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2000 г.), IV Международной научно-технической конференции. "Новые информационные технологии и системы" (Пенза, 2000 г.), Региональных научно-методических конференциях "Дистанционное обучение и новые технологии в образовании" (Владимир, 2001, 2002 г.г.), 3-й и 4-й Международных научно-технических конференциях "Компьютерное моделирование-2002, -2003" (Санкт-Петербург, 2002, 2003 г.г.), VI-й Международной научно-технической конференции "Новые информационные технологии и системы" (Пенза, 2004 г), Международном

12 симпозиуме "Образование через науку", посвященном 175-летию МГТУ им. Н.Э.Баумана. (Москва, 2005 г.), Первой Международной научно-практической конференции "Современные информационные технологии и ИТ-образование" (Москва, 2005 г.), XVI Международном научно-техническом семинаре "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2007 г.).

Результаты работы отражены в 63 печатных трудах, из которых 3 опубликованы в журналах, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук, а также в 7-й отчетах по НИР и 3-х материалах региональных конференций.

На разработанные в соответствии с моделями и методами, изложенными в диссертации программами в РОСПАТЕНТЕе получены 3 свидетельства об официальной регистрации пакетов компьютерных обучающих программ по дисциплинам "Организация ЭВМ", "Защита информации", "Общая физика", а также свидетельство о регистрации системы компьютерного тестирования "ИСТОК".

Достоверность основных положений диссертации подтверждается корректностью математического аппарата и теоретических выкладок, а также совпадением теоретических результатов с экспериментальными.

Разработанные комплексы компьютерных обучающих программ внедрены в учебный процесс Института финансовой и экономической безопасности, Института Инновационного менеджмента и Экономико-аналитического института, факультетов Кибернетики и Очно-заочного (вечернего) обучения Московского инженерно-физического института (государственного университета), в Северо-Кавказском государственном техническом университете, в Брянской государственной инженерно-технологической академии, в ГОУ СПО Строительный колледж №1 (г. Москва).

Разработанная система компьютерного тестирования внедрена в Институте финансовой и экономической безопасности, в Институте Инновационного менеджмента, на факультетах Кибернетики и Очно-заочного (вечернего) обучения Московского инженерно-физического института (государственного университета), а также в ОАО "Мобильные ТелеСистемы" (в офисе "Садовая-Каретная 20").

13 Разработанные автором тестовые задания внедрены в учебный процесс на различных факультетах и в институтах Московского инженерно-физического института (государственного университета), а также в Интернет-университете информационных технологий.

Разработанные автором аналитическая и имитационная модели надежности программных средств использовались при создании комплексной модели надежности программно-аппаратных средств системы передачи данных Кризисного центра концерна "РОСЭНЕРГОАТОМ".

14 1. АНАЛИЗ МЕТОВ И СРЕДСТВ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНЫХ

СИСТЕМ УЧЕБНОГО НАЗНАЧЕНИЯ

1.1. Анализ нормативных требований к программным системам

учебного назначения

Нормативные требования к продукции определяются как на международном, так и на региональном и государственном уровне. Головной организацией в мире по разработке стандартов является Международная организация по стандартизации (International Standards Organization - ISO [359]). В состав этой организации входит 103 страны, в том числе и Россия, представленные своими наиболее авторитетными организациями в области стандартизации (для России это Федеральное агентство по техническому регулированию и метрологии [323]). С этой организацией взаимодействуют по различным направлениям деятельности различные международные комиссии и комитеты. В рассматриваемой области такими организациями являются

- Институт инженеров по электротехнике и электронике (Institute of Electrical and
Electronic Engineers IEEE [180]),

- Международная электротехническая комиссия (International Electrotechnical
Commission IEC [243]),

- Международный союз по телекоммуникации (International Telecommunication Un
ion ITU [242]).

При подготовке документов по тому или иному направлению при этих организациях, как правило, создаются специализированные комитеты. Структура таких органов и организаций, занятых подготовкой стандартов в области обучающих программ, представлена на рис. 1.1. Этими организациями готовятся и утверждаются документы, которые могут рассматриваться в качестве нормативных, в частности, при разработке программ учебного назначения.

О важности вопросов выработки нормативных требований по программным система учебного назначения свидетельствует создание при ISO специального Комитета по информационным технологиям для обучения Information technology for learning, education and training JTC 1/SC36 [360].

МЕЖДУНАРОДНАЯ ОРГАНИЗАЦИЯ ПО СТАНДАРТИЗАЦИИ (ISO)

Международные комитеты и комиссии

Комитет по информационным технологиям для обу-чения (JTC 1/SC36)

Профессиональные и общественные организации

Федеральное агентство по техническому регулированию и метрологии (Россия)

Институт инженеров по электротехнике и электронике ПЕЕЕ)

Международная
электротехниче
ская комиссия
QEC)

Комитет по стандартизации технологий обучения (LTSC

Международный союз по телекоммуникации (ITU)

The IMS Global Learning Consortium

AICC - Aviation

Industry CBT

Committee

Комитет №461 "Информационно-коммуникационные технологии в образовании (ИКТОУ

Подкомитеты

Рабочие группы

WG4 Языки выра
жений цифровых
прав

WG12 Метаданные

обучающих

объектов

WG20 Стандарты полномочий

данных

WG11 Программ
ное управление
курсом

WG1 Архитектура и модель

ссылок

ADL SCORM

LRN - Learning Resource Interchange

ARIADNE

Рис. 1.1. Организации, занимающиеся формированием нормативных документов по компьютерным обучающим программам

Общесистемные и основополагающие нор-мативные документы

Взаимосвязь открытых систем в образовании

АИС управления отраслью и образовательны-ми учреждениями

Образовательные среды

и информационные
ресурсы

Обеспечение функциональной безопасности ИКТО

Аналогичный Комитет по стандартизации технологий обучения Learning Technology Standards Committee (LTSC) [353] создан и при Институте инженеров по электротехнике и электронике (Institute of Electrical and Electronic Engineers (IEEE) [180]).

В подготовке стандартов в Комитете по стандартизации технологий обучения задействовано 5 рабочих групп. Наиболее развита и плодотворна в настоящее время работа групп:

WG11 Computer Managed Instruction (CMI) - обучение под управлением компьютера. Определяет набор функций CMI для обеспечения взаимодействия и взаимодополнения уроков, созданных в различных местах разными методами и различными людьми, и

WG12 Learning Object Metadata (LOM). Этот многослойный стандарт определяет синтаксис и семантику метаданных обучающих объектов.

Работа группы WG11 строится по следующим направлениям:

описание целей курса и их соотнесённость с уроками и группами уроков;

организация и последовательность индивидуальных уроков (сессии или изменяемого блока) в единственном курсе;

запуск могущих быть выделенными блоков вместе с программным обеспечением управления курса (программное обеспечение CMI);

информация, обеспечивающая связь между программным обеспечением, управ
ляющим группой уроков (то есть системой CMI), и самими уроками;

описание целей курса и их связи с уроками и группами уроков;

извещение о результатах работы студентов и соотнесение данной информации с
целями курса.

Структура и направление деятельности рабочей группы по разработке нормативов для компьютерных обучающих программ (WG12) представлены на рис. 1.2.

Learning Object Metadata (LOU), WG12 Метаданные

обучающих объектов

Направления работы

Стандарты

Поддержка технологий
обучения

Учебные системы на основе компьютеров

Поддержка обучающих объектов

М) льтимедийное наполнение

LOM Data Model standard

(1484 12 1) Стандарт модели данных

Специфицирует

концептуальну ю схему

данных которая о предстает

структуру экземпляра

мі-таданньїх тля обучающих

объектов

LOM XML Binding

(1484 12 3) Описывает

XML-компоновку

метаданных

Интерактивные аспекты обучения

Обучающее наполнение

Интеллект} альные обучающие системы

Требования к обучению

Дистанционные обучающие системы

ПО для обучения и вспомогательное ПО

Рис 1.2. Организация рабочей группы WG12 Комитета по

стандартизации технологий обучения LTSC Институт

инженеров по электротехнике и электронике IEEE по

разработке нормативов для компьютерных обучающих

программ

Режимы обучения

при КОШІЄКТИВНОМ

доступе

Люди, организации и

события (резу чьтаты),

задействованные в

поддерживаемой

технологии обучения

К настоящему времени рабочими группами подготовлены следующие стандарты:

1484.11.1 CMI Data Model - представление модели данных CMI;

484.11.2 ECMAScript API - применение/программирование интерфейса для связи динамических контентов;

1484.11.3 XML Binding of Data Model XML - компоновка модели данных;

1484.11.4 The Resource Aggregation Model for Learning Education and Training (RAMLET) - спецификация и концептуальная модель для цифровых совокупностей ресурсов для обучения, образования и профессиональной подготовки;

1484.12.1 LOM Data Model Standard - спецификация концептуальной схемы данных, которая определяет структуру экземпляра метаданных для обучающих объектов;

-1484.12.3 LOM XML Binding - описание XML-компоновки метаданных;

- Р1484.20 (идет его доработка под именем Р1484.20.1) Standard for Learning
Technology - Standard for Reusable Competency Definitions (RCD) - многократно
используемое определение компетенций.

Многие из стандартов, разработанных LTSC, выдвинуты в качестве кандидатов на

18 международные стандарты для рассмотрения Комитетом по информационным технологиям для обучения ISO/IEC/JTC1/SC36. На уровне ISO к настоящему времени утверждены два стандарта, подготовленных Комитетом по информационным технологиям для обучения. Это

ISO/IEC 19796-1:2005 Information technology - Learning, education and training -Quality management, assurance and metrics - Part 1: General approach и

ISO/IEC 24703:2004 Information technology - Participant Identifiers.

Стандарт - это спецификация, разработанная аккредитованной организацией, занимающейся проблемами стандартизации. В работе над нормативными документами обычно принимают участие наиболее авторитетные профессиональные и общественные организации. К неаккредитованным организациям относятся консорциумы, форумы, торговые организации, пользовательские группы, которые занимаются разработкой спецификаций, определяющих правила действий в конкретных ситуациях или для конкретной группы разработчиков/потребителей. Аккредитация не обязательно подразумевает качество или полезность разрабатываемых стандартов для всех заинтересованных групп, но обязательно поддержку процесса разработки во времени. Аккредитованный процесс важен для обеспечения последовательной реализации стандартов в прикладных разработках и антимонопольной деятельности [260].

Отметим среди этих организаций следующие.

The IMS (Instructional Management Systems) Global Learning Consortium [357] является некоммерческим консорциумом организаций с членами, представляющими образовательные, коммерческие и правительственные организации, включающий свыше 1600 колледжей и университетов и 150 корпораций, занимающихся разработкой технологических спецификаций для развития рынка образования. Данные спецификации определяют различные компоненты систем электронного обучения и базируются на XML. Часть спецификаций стали стандартами де-факто и легли в основу других разработок.

AICC (Aviation Industry СВТ (Computer Based Training) Committee) [344] - международная организация специалистов в области технологии обучения. Результатом работы являются технические руководства, а также более детальные технические отчеты и другая аналитика. Стандарт описывает два уровня: коммуникационный уровень (как получается и как сохраняется информация, полученная от пользователя) и уровень описания

19 структуры курса (размещение/выдача информации сервером, последовательность работы).

ADL (Advanced Distributed Learning) "Передовое распределенное обучение" [343] -проект Министерства обороны США совместно с другими представителями правительства и промышленности и широким сообществом в сфере образования и переподготовки кадров по определению требований к обучающим технологиям в области дистанционного обучения.

SCORM (Shamble Content Object Reference Model) [335] является инициативой ассоциации ADL. Обучающие объекты, совместимые со SCORM, могут быть повторно использованы в различных системах обучения.

LRN (Learning Resource Interchange) [235, 369] - первое коммерческое применение спецификации IMS Content Packaging Specification. LRN была разработана и поддерживается компанией Microsoft и в настоящее время не получила широкого распространения. Так сложилось, что Microsoft не играет заметной роли на рынке e-learning, даже учитывая тот факт, что корпорация является участником проекта IMS.

Проект ARIADNE {Alliance for Remote Instructional Authoring and Distribution Networks for Europe) [346] был инициирован при поддержке научно-исследовательской рамочной программы Европейского Союза. Он имел целью разработку инструментов и методологий для производства, управления и многократного использования педагогических элементов, разработанных на основе компьютерных технологий. В рамках проекта ARIADNE I (1996-2000 гг.) разрабатывались и тестировались прототипы инструментов и основные методологии для сопровождения и использования системы взаимосвязанных общих резервов знаний (knowledge pools system, KPS). Проект ARIADNE II (с конца 2000 г.) предполагает усовершенствование и подтверждение результатов в рамках широкомасштабных демонстраций.

Цели данных проектов в большой степени совпадают, что и сделало возможным сотрудничество в разработке стандартов для IEEE на обучающие информационные системы.

Преимущества использования стандартов не могут быть в полной мере оценены в настоящее время ввиду их незавершенности, однако Министерство обороны США уже провело предварительное оценивание результатов своего проекта и привело следующие

20 оценки: использование обучения на базе технологий ADL уменьшают стоимость обучения на 30-60%; сокращают время обучения на 20-40%; увеличивают эффективность обучения на 30%; увеличивают знания студентов и успеваемость на 10-30%; и повышают эффективность и производительность работы организации [260].

В России решение вопросов, связанных с разработкой стандартов, возложено на Федеральное агентство по техническому регулированию и метрологии. Это агентство в деле разработки стандартов тесно сотрудничает с указанными выше международными и неправительственными организациями. При этом часть стандартов напрямую заимствуется из пакета принятых на международном уровне (обычно, это ISO). Другая часть принимается на государственном уровне с определенными дополнениями и изменениями. Часть стандартов разрабатывается заново.

Для координации действий по разработке стандартов в области компьютерных средств обучения в составе указанного агентства в 2004 году образован Комитет №461 "Информационно-коммуникационные технологии в образовании (ИКТО)" [204]. Его структура и направления работы представлены на рис. 1.3.

В состав данного комитета входят следующие подкомитеты:

ПК 1: Общесистемные н основополагающие нормативные документы по стандартизации ИКТО;

ПК 2: Взаимосвязь открытых систем в образовании;

ПК 3: Автоматизированные информационные системы управления отраслью и образовательными учреждениями;

ПК 4: Образовательные среды и информационные ресурсы;

ПК 5: Обеспечение функциональной безопасности ИКТО.

На данный момент этим комитетом составлена и реализуется программа разработки комплекса из 14 стандартов по информационно-коммуникационным технологиям в образовании (разработка ГОСТ Р), 4 стандарта по информационным технологиям, не вошедшие в данный комплекс, но фуніщионально с ним связанные, а также стандарт "Единая образовательная информационная среда. Терминологический словарь. Разработка рекомендаций".

Технический комитет 461 Информационно-коммуникационные технологии в образовании

1. Комплекс стандартов
по информационно-
коммуникационным технологиям
в образовании

3. Единая образовательная

информационная среда.

Терминологический словарь.

Разработка рекомендаций

2. Стандарты

по информационным

технологиям, ориентированные

на образование

Рис.1.3. Организация и направления работы Технического комитета

по информационно-коммуникационным технологиям в образовании

Федерального агентства по техническому регулированию и метрологии

России

1.1. Общие положения

1.2. Основные термины и определения

1.3. Функциональная

безопасность. Общие положения

1.4. Автоматизированные информационные

библиотечные системы. Общие требования

1.5. Мультимедиа

и гипермедиа

в образовании.

Общие требования

1.6. Электронные

образовательные ресурсы.

Общие требования

1.7. Интегрированная автоматизированная система

управлення учреждением

высшего профессионального

образования. Общие требования

1.8. Автоматизированные

информационные системы

управления образованием и

образовательными учреждениями.

Информационный обмен. Общие

положения.

1.9. Автоматизированная

информационная система

управления учреждением общего

профессионального образования.

Общие требования

1.10. Рекомендации по

применению ГОСТ Р ИСО 9001-

2001 к системам менеджмента

качества образовательных

учреждений высшего

профессионального образования.

1.11. Информационная поддержка государственных закупок в области образования и науки (размещение государственных и муниципальных заказов)

1.12. Образовательные Интернет-порталы

федерального уровня. Общие требования

1.13. Образовательные

Интернет-порталы

федерального уровня.

Рубрикация

информационных ресурсов

1.14. Образовательные Интернет-порталы

федерального уровня. Метаданные электронных образовательных ресурсов

2.1. Телекоммуникации и обмен информацией между системами. Протокол XML для телекоммуникационных приложений с компьютерной поддержкой. Фаза Ш.

2.2. Правила кодирования

ASN.1. Определения

схемы отображения W3C

XMLBASN.1.4acTb5.

2.3. Правила кодирования ASN.1. Правила кодирования XML. Изменение 1. EXTENDED-XER

2.4. Правила кодирования АСН.1. Часть 4. Правила кодирования XML (XER)

22 Эти стандарты можно разбить на следующие группы:

общесистемные и основополагающие нормативные документы по стандартизации ИКТО (стандарты 1.1 - 1.6; 3);

автоматизированные информационные системы управления отраслью и образовательными учреждениями (стандарты 1.7 - 1.11);

образовательные среды и информационные ресурсы (стандарты 1.12-1.14);

взаимосвязь открытых систем в образовании (стандарты 2.1 - 2.4).

Из проведенного анализа видно, что разработанные и разрабатываемые международные и российские стандарты ориентированы, в основном, по двум направлениям:

- организация взаимодействия различных объектов и субъектов обучения: регист
рация обучающихся, информирование их о том, какие курсы им предстоит пройти, ор
ганизация траектории их обучения по программам этих курсов, учет оценок;

- система организации учебных материалов: язык взаимодействия программ, на
котором обучающая программа "общается" с системой организации обучения или с вир
туальной средой обучения; пакет содержания, состоящий из полного описания курса
обучения и его составляющих; метаданные о курсе, указывающие на то, что представля
ет собой каждый фрагмент курса и где он находится.

В то же время вопросы, связанные с оценкой качества программных систем учебного назначения, остаются до настоящего времени вне поля регулирования руководящими документами. При оценке качества ПСУН необходимо, с одной стороны, руководствоваться общими требованиями к качеству программной продукции, а, с другой стороны, учитывать специфику этого класса программных систем, выделяя из общих показателей качества те, которые наиболее существенны для данного применения.

1.2. Выбор показателей качества программных систем учебного назначения

Программные средства (ПС) в своем развитии проходят ряд этапов. Их жизненный цикл (ЖЦ) регламентируется нормативными документами, основным из которых служит ГОСТ Р ИСО/МЭК 12207—99 Процессы жизненного цикла программных средств [4]. Этот стандарт делит все процессы ЖЦ на 5 основных, 8 вспомогательных и 4 организационных процесса (рис. 1.4).

Стандарты качества программных средств

Качество

программных

средств

Жизненный цикл программных средств 12207-99

Управление

Обучение

Модель оценивания

качества

Характеристики

качества и руководство по их применению ГОСТ Р ИСО / МЭК 9126-93

Общие положения ГОСТ28195-89

Характеристики качества

Термины и

определения

ГОСТ 28806-9(

Создание инфраструктуры

Основные процессы

Вспомогательные процессы

_ Организационные процессы

Усовершенствование

_ Заказ

— Поставка

Разработка

Эксплуатация

Сопровождение

Установление

требований к

качеству

Функциональные

возможности

Стабильность

Пригодность

Документирование

Управление конфигурацией

Подготовка к оцениванию

Процедура оценивания

Измерение

- Ранжирование

Выбор метрик (юказателей )

Определение

уровней ранжирования

Определение критерия оценки

Надежность

Практичность

Эффективность

Сопровождаемость

Устойчивость к ошибке

Восстанавливаемость

Понятность

Обучаемость

Правильность

Способность к взаимодействию

Согласованность

Защищенность

Анализируемость

Верификация

Аттестация

Аудит

Решение проблемы

Оценка

Мобильность

Простота использования

Изменяемость

Обеспечение качества

Рис. 1.4. Структура нормативных

документов, определяющих качество программных средств

Адаптируемость

Простота внедрения

Соответствие

Характер изменения во времени

Характер изменения ресурсов

Устойчивость

Тестируемость

Подготовка процесса

Обеспечение продукта

Обеспечение процесса

Взаимозаменяемость

Обеспечение систем качества

Основные процессы жизненного цикла состоят из пяти процессов, которые реализуются под управлением основных сторон, вовлеченных в жизненный цикл программных средств. К ним относятся процессы заказа, поставки, разработки, эксплуатации и сопровождения.

Вспомогательные процессы являются целенаправленными составными частями других процессов, обеспечивающими успешную реализацию и качество выполнения программного проекта. Вспомогательный процесс, при необходимости, инициируется и используется другим процессом. Вспомогательные процессы жизненного цикла включают процессы документирования, управления конфигурацией, обеспечения качества, верификации, аттестации, совместного анализа, аудита, решения проблемы.

Организационные процессы жизненного цикла состоят из четырех процессов: управления, создания инфраструктуры, усовершенствования, обучения. Они применяются в какой-либо организации для создания и реализации основной структуры, охватывающей взаимосвязанные процессы жизненного цикла и соответствующий персонал, а также для постоянного совершенствования данной структуры и процессов.

Процесс обеспечения качества относится к вспомогательным процессам ЖЦ. Однако он входит как составная часть во все основные процессы. Процесс обеспечения качества является процессом обеспечения соответствующих гарантий того, что программные продукты и процессы в жизненном цикле проекта соответствуют установленным требованиям и утвержденным планам. Обеспечение качества может субъективно (внутренне или внешне) зависеть от того, демонстрируются ли доказательства качества продукта или процесса под управлением поставщика или заказчика. При обеспечении качества могут использоваться результаты других вспомогательных процессов, таких как верификация, аттестация, совместные анализы, аудит и решение проблем.

Прежде чем анализировать этот процесс, рассмотрим понятие "Качество программных средств". В понятие "Качество программных средств" входит ряд понятий, определяемых различными нормативными документами. Основными из этих документов являются [1-3] (табл. 1.1).

Таблица 1.1. Характеристики качества программных средств

В [2] определяется качество программного средства как совокупность свойств программного средства, которые обусловливают его пригодность удовлетворять заданные или подразумеваемые потребности в соответствии с его назначением. Свойство про-

26 граммного средства - это отличительная особенность ПС, которая может проявляться при его создании, использовании, анализе или изменении.

Качеству ПС присущ ряд характеристик (набор свойств программного средства, посредством которых описывается и оценивается его качество). В свою очередь, характеристика качества может быть определена путем задания иерархии ее подхарактери-стик. Характеристики и подхарактеристики могут задаваться как количественно, так и качественно. Характеристика качества ПС, обладающая количественным значением, называется показателем качества.

Для того чтобы оценить качество программного средства используются критерии оценки качества - совокупность принятых в установленном порядке правил и условий, с помощью которых устанавливается приемлемость в целом качества ПС. Применение критериев оценки качества призвано обеспечивать получение на основе оценок отдельных характеристик качества программного средства обоснованного заключения о его качестве в целом.

Метрика качества программного обеспечения - количественный масштаб и метод, которые могут быть использованы для определения значения признака, принятого для конкретной программной продукции.

Согласно [3] качество программного обеспечения оценивается следующими* характеристиками:

функциональные возможности - набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности;

надежность - набор атрибутов, относящихся к способности программного обеспечения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени;

практичность - набор атрибутов, относящихся к объему работ, требуемых для использования и индивидуальной оценки такого использования определенным или предполагаемым кругом пользователей;

эффективность - набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях;

27 сопровождаемость - набор атрибутов, относящихся к объему работ, требуемых для проведения конкретных изменений (модификаций);

мобильность - набор атрибутов, относящихся к способности программного обеспечения быть перенесенным из одного окружения в другое. Функциональные возможности включают следующие подхарактеристики: пригодность - атрибут программного обеспечения, относящийся к наличию и соответствию набора функций конкретным задачам;

правильность - атрибуты программного обеспечения, относящиеся к обеспечению правильности или соответствия результатов или эффектов; способность к взаимодействию - атрибуты программного обеспечения, относящиеся к способности его взаимодействовать с конкретными системами; согласованность - атрибуты программного обеспечения, которые заставляют программу придерживаться соответствующих стандартов или соглашений, или положений законов, или подобных рекомендаций;

защищенность - атрибуты программного обеспечения, относящиеся к его способности предотвращать несанкционированный доступ (НСД), случайный или преднамеренный, к программам и данным. Согласно [2], защищенность - это совокупность свойств ПС, характеризующая его способность предотвращать НСД как случайный, так и умышленный, к программам и данным, а также степень удобства и полноты обнаружения результатов такого доступа или действий по разрушению программ и данных. Подхарактеристики надежности включают:

стабильность - атрибуты программного обеспечения, относящиеся к частоте отказов при ошибках в программном обеспечении;

устойчивость к ошибке - атрибуты программного обеспечения, относящиеся к его способности поддерживать определенный уровень качества функционирования в случаях программных ошибок или нарушения определенного интерфейса;

восстанавливаемость - атрибуты программного обеспечения, относящиеся к его возможности восстанавливать уровень качества функционирования и восстанавливать данные, непосредственно поврежденные в случае отказа, а также к времени и усилиям, необходимым для этого.

28 Практичность состоит из следующих подхарактеристик:

понятность - атрибуты программного обеспечения, относящиеся к усилиям пользователя по пониманию общей логической концепции и ее применимости; обучаемость - атрибуты программного обеспечения, относящиеся к усилиям пользователя по обучению его применению (например оперативному управлению, вводу, выводу);

простота использования - атрибуты программного обеспечения, относящиеся к усилиям пользователя по эксплуатации и оперативному управлению. К подхарактеристикам эффективности относят

характер изменения во времени - атрибуты программного обеспечения, относящиеся к временам отклика и обработки и к скоростям выполнения его функций;

характер изменения ресурсов - атрибуты программного обеспечения, относящиеся к объему используемых ресурсов и продолжительности такого использования при выполнении функции. Сопровоэюдаемостъ включает подхарактеристики:

анализируемостъ - атрибуты программного обеспечения, относящиеся к усилиям, необходимым для диагностики недостатков или случаев отказов или определения составных частей для модернизации;

изменяемость - атрибуты программного обеспечения, относящиеся к усилиям, необходимым для модификации, устранению отказа или для изменения условий эксплуатации;

устойчивость - атрибуты программного обеспечения, относящиеся к риску от непредвиденных эффектов модификации;

тестируемость - атрибуты программного обеспечения, относящиеся к усилиям, необходимым для проверки модифицированного программного обеспечения. Мобильность рекомендуется оценивать следующими подхарактеристиками:

адаптируемость - атрибуты программного обеспечения, относящиеся к удобству его адаптации к различным конкретным условиям эксплуатации, без применения других действий или способов, кроме тех, что предназначены для этого в рассматриваемом программном обеспечении;

29 простота внедрения - атрибуты программного обеспечения, относящиеся к усилиям, необходимым для внедрения программного обеспечения в конкретное окружение;

соответствие - атрибуты программного обеспечения, которые заставляют программу подчиняться стандартам или соглашениям, относящимся к мобильности;

взаимозаменяемость - атрибуты программного обеспечения, относящиеся к простоте и трудоемкости его применения» вместо другого конкретного, программного средства в среде этого средства.

Стандарт [3] применяется, для-установления требований к качеству программного обеспечениями оценивания (измерения, ранжирования и оценки) программных продуктов. При этом в нем описывается некоторая модель оценивания качества ПО; но, в то же время, отмечается, что в целях описания и оценивания уровни ранжирования и критерии необходимо установить конкретно для данной организации или для данного применения, или для того и другого.

Процесс оценивания качества программного обеспечения может применяться в любой подходящей фазе жизненного цикла для каждого компонента программной продукции. Рассмотрим выполнение этого процесса применительно к программным системам учебного назначения.

Прежде,всего, выберем необходимые метрики качества ПО применительно к программным системам учебного назначения. Выбор показателей представляет собой достаточно сложный¹ вопрос, решению которого в научной» среде уделяется особое внимание [25, 135, 171, 193, 212, 213, 222, 230, 231, 232, 276, 290, 305, 309]. Относительная важность того или иного показателя обычно определяется при помощи весов. В силу большого количества разнообразных показателей качества и специфики рассматриваемой области данный выбор целесообразно провести на основе метода экспертных оценок.

Выбор и обоснование показателей должны проводиться комплексно, в зависимости от принятой системы показателей качества, выдвинутых гипотез о причинах изменения качества программного продукта, установленных целей статистического анализа и других причин [25]. Всегда есть вероятность того, что не все существенные факторы включены в рассмотрение, а значения некоторых из них неточны. Поэтому при выборе фак-

торов большую роль играет опыт эксперта. Необходимо учитывать, что факторы оказывают различное воздействие на значения показателей качества. Согласно принципу Па-рето, при анализе системы существенны лишь некоторые факторы, причем 20% из них определяют 80% свойств системы [309].

Большой статистический материал, связанный с экспертной оценкой тех или иных факторов, влияющих на качество программ учебного назначения, представлен в работе [135]. В ней, в частности, приводятся результаты экспертных оценок по 15-ти показателям, характеризующих качество ПО, причем эксперты разбиты на две категории: разработчики и пользователи (табл.1.2).

Таблица 1 2. Оценка важности факторов качества программных средств

Прежде всего, отметим, что представление о важности тех или иных показателей качества у пользователя и разработчика существенно расходятся (рис. 1.5). Мы будем проводить анализ по результатам опроса разработчиков, так как данная работа ориентирована на создание методики разработки программного обеспечения.

Рис. 1.5. Относительная важность факторов качества ПО с точки зрения разработчика и пользователя

Проводимый в работе [135] анализ посвящен, в основном, вопросам оценки качества программных систем учебного назначения с точки зрения их методических возможностей ("ощущаемое качество"). Если оценивать приведенные результаты экспертного опроса чисто с технической точки зрения, то среди оцениваемых факторов можно отметить лишь два, которые полностью соответствуют стандартизируемым показателям качества программных средств - это надежность и безопасность, определение которой в [135] соответствует определению подхарактеристики "защищённость" в [3]. Остальные факторы входят составными частями в различные показатели качества (табл. 1.3).

Оценим влияние этих факторов.

Для разработчика вес надежности и безопасности составляет 30,21%, что является весьма существенной долей. Если же выделить из всей совокупности факторов группу, которая характеризует способность системы выполнять необходимые функции, то есть те показатели, которые, собственно, определяют назначение программы и без удовлетворения которым программа вообще не имеет смысла (факторы Fl, Fll, F15), то среди оставшихся факторов весомость надежности и безопасности составит 40,29%, а без учета также фактора добротности, по которому, согласно [135], программа считается хорошей, если она произведена по технологии, вызывающей доверие, - 46,26% (рис. 1.6).

Таблица 1.3. Соотношение показателей качества

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

D Вес остальных факторов

Вес надежности и безопасности

Вес факторов надежности и безопасности среди показателей качества

Be3F1,F11,F15

Всего

Be3F1,F8, F11.F15

Рис. 1.6. Относительный вес факторов надежности и безопасности среди показателей качества Также необходимо отметить, что влияние данных факторов на качество программ-

33 ного продукта в последнее время постоянно возрастает. Так компания Intel резюмирует, что по результатам исследования, проведенного среди европейских компаний, 42% организаций планируют увеличить свои расходы на безопасность в 2007 году по сравнению с 2006 годом и лишь 7% планируют сократить свои расходы на безопасность [184]. В ходе опроса выяснилось, что безопасность была и остается проблемой "номер один". В частности, безопасность была обозначена 52% опрошенных как наиболее приоритетное направление в сфере ИТ на всей территории Европы. Между тем, пять лет назад лишь 37% опрошенных считали, что обеспечение безопасности должно быть наиболее приоритетным направлением. На данный момент одна треть опрошенных считает, что внешние атаки представляют наибольшую угрозу для их сетей, в то время как влияние операционных систем и обновлений приложений упали в рейтинге опроса до 23%.

Ассоциация производителей вычислительной техники (CompTIA) сообщила, что исследования, основанные на опросе более чем тысячи ИТ-специалистов, показали рост расходов на технологию безопасности, обучение и сертификацию в ИТ-компаниях [185, 358]. В 2006 году доля ассигнований на обеспечение безопасности в ИТ-бюджете компаний составила 20%, вместо 15%» в 2005 и 12% в 2004 году. Более двух третей (68%) организаций выделяет какую-то часть своего ИТ-бюджета на обучение или сертификацию, тогда как год назад их было 55%. На эти цели выделяется в среднем 12% бюджета, вместо 8% в 2005 году. 78% опрошенных сказали, что теперь их руководство считает защиту информации высшим приоритетом. Исследователи также установили, что 42% от общих затрат, связанных с безопасностью, приходятся на покупку соответствующих продуктов. Еще 17%о средств затрачивается на поддержание сопутствующих процессов, 15% - на обучение персонала. Согласно отчету CompTIA, в течение следующего года половина опрошенных компаний планирует увеличить расходы на технологии, связанные с безопасностью. А треть респондентов намерены затрачивать дополнительные средства на обучение сотрудников.

Вопросам обеспечения безопасности уделено особое место в Федеральной целевой программе "Развитие единой образовательной информационной среды" [8, 9], в которой среди основных направлений определено формирование концепции информационной безопасности, организация и обеспечение соответствующих образовательных курсов.

На это же нацеливает и Доктрина информационной безопасности Российской Федерации [10], которая, во-первых, ставит задачу развитие системы подготовки кадров,

34 используемых в области обеспечения информационной безопасности Российской Федерации, а во-вторых, создание систем и средств предотвращения несанкционированного доступа к обрабатываемой информации

Анализ результатов экспертных опросов важности различных показателей качества для программ учебного назначения показал, что с точки зрения разработчиков большим весом (от 30 до 46%) обладают суммарные показатели надежности и безопасности программ. Именно эти показатели входят в определение качества программных средств согласно всем действующим в настоящее время нормативным документам. К тому же вес этих факторов в последнее время неуклонно возрастает.

В связи с этим было принято решение использовать надежность и защищенность в качестве базовых показателей при разработке методов и средств обеспечения качества программных систем учебного назначения.

Выбор показателей качества программных систем учебного назначения

Программные средства (ПС) в своем развитии проходят ряд этапов. Их жизненный цикл (ЖЦ) регламентируется нормативными документами, основным из которых служит ГОСТ Р ИСО/МЭК 12207—99 Процессы жизненного цикла программных средств [4]. Этот стандарт делит все процессы ЖЦ на 5 основных, 8 вспомогательных и 4 организационных процесса (рис. 1.4).

Основные процессы жизненного цикла состоят из пяти процессов, которые реализуются под управлением основных сторон, вовлеченных в жизненный цикл программных средств. К ним относятся процессы заказа, поставки, разработки, эксплуатации и сопровождения.

Вспомогательные процессы являются целенаправленными составными частями других процессов, обеспечивающими успешную реализацию и качество выполнения программного проекта. Вспомогательный процесс, при необходимости, инициируется и используется другим процессом. Вспомогательные процессы жизненного цикла включают процессы документирования, управления конфигурацией, обеспечения качества, верификации, аттестации, совместного анализа, аудита, решения проблемы.

Организационные процессы жизненного цикла состоят из четырех процессов: управления, создания инфраструктуры, усовершенствования, обучения. Они применяются в какой-либо организации для создания и реализации основной структуры, охватывающей взаимосвязанные процессы жизненного цикла и соответствующий персонал, а также для постоянного совершенствования данной структуры и процессов.

Процесс обеспечения качества относится к вспомогательным процессам ЖЦ. Однако он входит как составная часть во все основные процессы. Процесс обеспечения качества является процессом обеспечения соответствующих гарантий того, что программные продукты и процессы в жизненном цикле проекта соответствуют установленным требованиям и утвержденным планам. Обеспечение качества может субъективно (внутренне или внешне) зависеть от того, демонстрируются ли доказательства качества продукта или процесса под управлением поставщика или заказчика. При обеспечении качества могут использоваться результаты других вспомогательных процессов, таких как верификация, аттестация, совместные анализы, аудит и решение проблем.

Прежде чем анализировать этот процесс, рассмотрим понятие "Качество программных средств". В понятие "Качество программных средств" входит ряд понятий, определяемых различными нормативными документами. Основными из этих документов являются [1-3] (табл. 1.1).

В [2] определяется качество программного средства как совокупность свойств программного средства, которые обусловливают его пригодность удовлетворять заданные или подразумеваемые потребности в соответствии с его назначением. Свойство про граммного средства - это отличительная особенность ПС, которая может проявляться при его создании, использовании, анализе или изменении.

Качеству ПС присущ ряд характеристик (набор свойств программного средства, посредством которых описывается и оценивается его качество). В свою очередь, характеристика качества может быть определена путем задания иерархии ее подхарактери-стик. Характеристики и подхарактеристики могут задаваться как количественно, так и качественно. Характеристика качества ПС, обладающая количественным значением, называется показателем качества.

Для того чтобы оценить качество программного средства используются критерии оценки качества - совокупность принятых в установленном порядке правил и условий, с помощью которых устанавливается приемлемость в целом качества ПС. Применение критериев оценки качества призвано обеспечивать получение на основе оценок отдельных характеристик качества программного средства обоснованного заключения о его качестве в целом.

Метрика качества программного обеспечения - количественный масштаб и метод, которые могут быть использованы для определения значения признака, принятого для конкретной программной продукции.

Согласно [3] качество программного обеспечения оценивается следующими характеристиками: функциональные возможности - набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности; надежность - набор атрибутов, относящихся к способности программного обеспечения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени; практичность - набор атрибутов, относящихся к объему работ, требуемых для использования и индивидуальной оценки такого использования определенным или предполагаемым кругом пользователей; эффективность - набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях; сопровождаемость - набор атрибутов, относящихся к объему работ, требуемых для проведения конкретных изменений (модификаций); мобильность - набор атрибутов, относящихся к способности программного обеспечения быть перенесенным из одного окружения в другое. Функциональные возможности включают следующие подхарактеристики: пригодность - атрибут программного обеспечения, относящийся к наличию и соответствию набора функций конкретным задачам; правильность - атрибуты программного обеспечения, относящиеся к обеспечению правильности или соответствия результатов или эффектов; способность к взаимодействию - атрибуты программного обеспечения, относящиеся к способности его взаимодействовать с конкретными системами; согласованность - атрибуты программного обеспечения, которые заставляют программу придерживаться соответствующих стандартов или соглашений, или положений законов, или подобных рекомендаций; защищенность - атрибуты программного обеспечения, относящиеся к его способности предотвращать несанкционированный доступ (НСД), случайный или преднамеренный, к программам и данным. Согласно [2], защищенность - это совокупность свойств ПС, характеризующая его способность предотвращать НСД как случайный, так и умышленный, к программам и данным, а также степень удобства и полноты обнаружения результатов такого доступа или действий по разрушению программ и данных. Подхарактеристики надежности включают: стабильность - атрибуты программного обеспечения, относящиеся к частоте отказов при ошибках в программном обеспечении; устойчивость к ошибке - атрибуты программного обеспечения, относящиеся к его способности поддерживать определенный уровень качества функционирования в случаях программных ошибок или нарушения определенного интерфейса; восстанавливаемость - атрибуты программного обеспечения, относящиеся к его возможности восстанавливать уровень качества функционирования и восстанавливать данные, непосредственно поврежденные в случае отказа, а также к времени и усилиям, необходимым для этого.

Разработка структуры комплекса компьютерных обучающих программ по техническим дисциплинам

Состав, структура и особенности использования КОП в значительной степени зависят от области их применения. Рассмотрим это на примере использования КОП для дисциплин специальности 220100 "Вычислительные машины, комплексы, системы и сети". К дисциплинам, поддерживаемым профилирующей кафедрой, по этой специальности согласно образовательному стандарту относится свыше 50% общего объёма дисциплин учебного плана. Подавляющее число этих дисциплин сопровождается практическими и/или лабораторными занятиями. В них реализуется основной принцип обучения, связанный с подготовкой специалистов по техническим дисциплинам: не только дать студентам определённый набор знаний, но и привить необходимые умения и навыки в практическом использовании этих знаний (так называемый, принцип ЗУН - знания, умения, навыки).

В ФЦП РЕОС отмечается, что разрабатываемые электронные учебные комплексы могут включать в себя ряд компонентов: электронное учебное пособие, информационно-справочные материалы, электронный лабораторный практикум, тренажерный комплекс для самостоятельной работы, контрольно-тестирующий комплекс [9].

Подготовленность специалиста определяется совокупностью его знаний, умений и навыков. Традиционное тестирование ориентировано, в основном, на проверку знаний испытуемого. В то же время формирование умения и навыков является неотъемлемой частью подготовки по техническим дисциплинам. Следовательно, здесь необходимо совмещать возможности традиционного компьютерного тестирования с новыми формами программных систем учебного назначения, основное назначение которых - формирование и проверка умений и навыков студента в данной области знаний. Это может быть обеспечено с помощью специальных компьютерных обучающих программ, обладающих следующими возможностями: - представление теоретического материала по изучаемой теме; - возможность тренировочного тестирования с максимально дружественной реакцией на возникающие ошибки; - обеспечение контрольного тестирования по теме обучающей программы; - протоколирование результатов работы КОП; - возможность доступа не только в составе группы к данному уроку, но и в произвольное время к произвольному уроку; - возможность генерации версии КОП для самостоятельной подготовки (без модуля контрольного тестирования); - расширяемость; - максимально унифицированный интерфейс для всех уроков. Модуль администратора выполняет следующие функции: - формирование и изменение списка студенческих групп, использующих компьютерные обучающие программы; - определение прав доступа групп к конкретным КОП; - формирование и изменение списка студентов в группах; - формирование и изменение паролей студентов; - управление порядком выполнения обучающей программы; - протоколирование результатов выполнения КОП по каждому студенту; - формирование отчётов по результатам выполнения КОП согласно заданным параметрам.

Монитор управления тренировочным режимом обеспечивает взаимодействие студента с компьютерной обучающей программой в тренировочном режиме. Его функциями являются - обеспечение доступа к теоретическому материалу в процессе работы студента в тренировочном режиме; - формирование задания для выполнения в данном режиме; - анализ действий обучаемого при выполнении задания: - проверка правильности предъявляемого ответа; - обеспечение возможности повторного выполнения неправильно выполненного задания; - выдача по запросу обучаемого правильного ответа; - выдача обучаемому в необходимых случаях подсказок; - формирование очередного задания или завершение работы в данном режиме по указанию обучаемого.

Монитор управления контрольным режимом предназначен для выполнения следующих функций: - формирование задания для выполнения в контрольном режиме; - проверка правильности предъявляемого ответа; - формирование очередного задания или завершение работы в контрольном режиме согласно принятому в системе критерию, который может меняться в различных обучающих программах. Особое внимание необходимо обратить на процедуру формирования заданий. Здесь целесообразно рассмотреть три подхода: 1. тренировочные и контрольные задания хранятся в единой базе данных; 2. система имеет раздельные базы данных заданий; одна используется в тренировочном, а другая - в контрольном режиме; база данных заданий отсутствует; задания формируются автоматически по мере обращения к соответствующему модулю на их выдачу.

Каждый из этих подходов имеет свои достоинства и свои недостатки.

В первом случае мы имеем простейшую структуру, инвариантную к режиму работы. Она характеризуется наиболее простой программной реализацией, обеспечивает представление равноценных заданий в тренировочном и контрольном режимах, однако имеет ряд существенных недостатков. Во-первых, такая база должна содержать достаточно большое количество заданий, чтобы обеспечить надёжность оценок при контрольном тестировании. А во-вторых, эта конфигурации является наименее защищенной от несанкционированного доступа.

Второй подход требует более сложных программных решений. К тому же трудно гарантировать равносильность заданий, на которых проводилось обучение и на которых проводится тестирование обучаемого. Но она более устойчива к попыткам её взлома.

Третий вариант формирования заданий наиболее сложен с точки зрения его программной реализации. В этом случае необходимо в реальном масштабе времени обеспечить следующие действия: - генерацию логически допустимых вариантов заданий; - генерацию заданий, покрывающих всю изучаемую область; - формирование правильного ответа для сгенерированного задания; - сравнение предъявляемого ответа со сформированным и определение места и характера имеющихся ошибок; - для задания, выполняемого в тренировочном режиме, формирование подсказки, помогающей обучаемому освоить материал.

Однако данный подход имеет существенные преимущества перед двумя предыдущими по степени защищённости.

Разработка имитационной модели надежности компьютерной обучающей программы

Аналитическая модель оценки надежности программных средств не всегда позволяет получить аналитическое выражение вероятности решения задачи при случайном времени её работы в условиях наличия ошибок в программе, не выявленных на этапах её тестирования и отладки. Это связано со следующими факторами: - при произвольных законах распределения случайных величии, определяющих искомую вероятность, выражение (3.1) может не иметь аналитического решения; - вычисление этого выражения затрудняется при конечных пределах интеграла, то есть в случае необходимости определить вероятность решения задачи за определённое время; - при увеличении сложности программного комплекса существенно возрастают размерности величин, используемых для вычислений.

В силу этого оценка вероятности безотказной работы программного комплекса может быть выполнена методами и средствами имитационного моделирования на основе информации о структуре комплекса и данных, полученных на этапе его отладки и опытной эксплуатации. Моделируя процесс решения задачи, можно определить вероятность ее правильного решения. Имитационное моделирование позволяет учесть следующие особенности надежности программного обеспечения по сравнению с надежностью аппаратуры: - для аппаратуры считаем вероятность безотказной работы на участке [trt] при условии, что до tj отказов не было; а для ПО считаем вероятность безотказной работы на участке [tn] при условии, что до tn было выявлено п отказов; - теория надежности аппаратуры ориентирована, в основном, на изучение периода нормальной работы [170, 274], когда интенсивность отказов A-=Const, в то время как для надежности программного обеспечения характерно использование моделей, которые учитывают изменение X со временем.

Вероятность появления ошибки в процессе выполнения программы определяется количеством ошибок, оставшихся в программе после ее тестирования, распределением времен их появления и временем решения задачи, которое также является случайной величиной.

Последовательность действий, описывающая этот процесс, имеет следующий вид:

1. Пусть на этапе тестирования выявлено п ошибок и определены времена ґ,- между их появлением. РІсходя из этого, можно определить наиболее вероятное время обнаружения следующей ошибки (tn+j).

2. Моделируя процесс решения задачи, можно определить вероятность ее правильного решения (отношение числа задач, завершившихся до появления программной ошибки, к общему числу решавшихся задач).

3. Если полученная вероятность меньше величины, заданной в техническом задании на проектирование системы, то необходимо продолжить процесс тестирования программы, обнаружив следующую ошибку и зафиксировав время ее появления. После этого повторить пункты 1-3 до получения необходимого результата. Тем самым определя ется количество ошибок, которое должно быть еще выявлено в программе до ее передачи в эксплуатацию.

Разработанная согласно рассмотренному подходу имитационная модель [67, 68, 74, 80, 118, 119] состоит из модуля анализа времени выполнения электронного урока, модуля определения времени проявления очередной ошибки в программе и модуля сбора статистической информации.

Блок расчета временных показателей урока базируется на графе переходов между состояниями электронного урока (см. рис.3.1). Данный блок используется для определения временных характеристик урока в зависимости от вероятностей переходов между его различными состояниями.

Блок расчета надежностных характеристик позволяет определять показатели надежности разрабатываемого электронного урока на основе статистики по отказам, собранной на этапе отладки и опытной эксплуатации. Для практических целесообразно использовать такую модель надежности программного обеспечения, которая позволит достаточно просто и, в то же время, максимально точно получить требуемые параметры. Наиболее удобной в данном случае представляется, несмотря на ее определенные недостатки, модель Шумана роста надежности программ, которая позволяет по накапли ваемой статистике появления программных ошибок предсказать время появления следующей ошибки.

Математические соотношения, описывающие эту модель, положены в основу разработанной имитационной модели: где N - неизвестное первоначальное количество ошибок в программе, К- величина порога в функции риска, Xj - время между обнаружением (і-І)-й и і-й ошибок на этапе тестирования и отладки; Т - сумма интервалов х; между обнаружениями ошибок на этапе тестирования и отладки.

Эти соотношения позволяют по экспериментально полученным на этапе тестирования и отладки данным оценить общее количество ошибок в программе и предсказать время появления очередной ошибки.

Одним из основных недостатков модели Шумана является то, что она не учитывает возможного изменения величины порога в функции риска по мере отладки программы. Для устранения этого недостатка в имитационной модели использован метод, позволяющий по первоначально накопленной статистике проявления программных ошибок на каждом очередном шаге пересчитывать все получаемые параметры, касающиеся отладки программы, и вновь проводить моделирования процесса отладки. Структура модуля расчета надежности приведена рис.3.3.

Электронные средства поддержки учебного процесса

Согласно требованиям к обеспечению безопасности компьютерных обучающих программ, разработанным в разделе 2.2, была создана система, регистрирующая действия пользователей во время обучения [114]. Она предназначена для регистрации и учета результатов работы студентов с компьютерными обучающими программами и является надстройкой над действующими учебниками.

Структура системы представлена на рис.4.13.

Система состоит из двух модулей: административного и пользовательского. Программа-администратор используется для создания, просмотра, редактирования и удаления записей базы данных (рис.4.14). Она состоит из 7 разделов: "Группы", "Студенты", "Учебники", "Уроки", "Задания", "Права доступа", "Результаты". Разделы "Группы", "Студенты" и "Права доступа" предназначены для ввода первоначальной информации о группах, студенты которых могут пользоваться теми или иными компьютерными обучающими программами. Каждой группе необходимо разрешить доступ к обучающим программам согласно учебному плану. Для групп различных лет обучения, но имеющих одинаковое название, предусмотрено использование признака "Архивный".

Разделы "Учебники", "Уроки" и "Задания" предназначены для ввода информации, соответственно, об учебниках, которые подключены к комплексу, уроках, на которые подразделяются учебники, и заданиях в уроках.

В пользовательской части производится регистрация студентов и им предоставляется доступ к компьютерным обучающим программам в соответствии с учебным планом. Информацией, идентифицирующей студента в базе данных, является его логин и пароль.

С точки зрения описания учебного плана основной объект - это задание. Каждое задание может принадлежать только одному уроку. При функционировании системы генерируется процесс выполнения задания. Этот объект возникает при начале выполнения задания и показывает основные характеристики выполнения задания (такие как время регистрации студента в системе при выполнении задания, время начала выполнения задания, время окончания выполнения задания и оценка). Объект описывает выполнение одного задания одним студентом.

После регистрации студенту предоставляется список учебников, доступных его группе. Из представленного списка студент выбирает последовательно один из учебников, урок в учебнике и задание в уроке. Если обучаемый выполнил задание на оценку, то время начала и окончания выполнения, а также его результат заносятся в базу данных.

Для просмотра результатов работы студентов с заданиями обучающих программ предназначена закладка "Результаты" (рис.4.15).

В этой закладке приводится подробная информация о студенте (ФИО, группа), о выполненном задании (учебник и урок, к которым принадлежит задание), временн ые характеристики (время регистрации, время начала и время окончания выполнения задания), оценка за задание. Система обеспечивает удобный поиск необходимой записи по одному или нескольким критериям: по фамилии, по названию группы, учебника, урока, задания. Фамилия записывается в соответствующее поле, а остальные параметры задаются из выпадающих списков.

Для сбора статистической информации о работе компьютерных обучающих программ, необходимой для определения параметров моделей, в КОП встраиваются специальные инструментальные средства Алгоритм их работы представлен на рис.4.16. Пример статистической информации, получаемой с помощью таких средств, приведен в табл 4.3.

Эти средства помимо решения основной задачи - подготовки исходных данных для моделирования работы электронного урока - могут также использоваться как наиболее эффективное средство повышения защищенности системы путем регистрации действий пользователя согласно мерам, предложенным в разделе 2.2.

Для поддержки различных форм учебного процесса автором разработан и с сентября 2001 года функционирует сайт www.v-v-g.narod.ru.. Сайт содержит информацию об организации занятий на различных потоках студентов. В частности, он включает электронные версии учебных пособий, выпущенных автором лично или в соавторстве [71, 78, 107, 123] и поддерживающих проводимые занятия с использованием компьютерных обучающих программ. Также на сайте представлена информация к тестированию по различным дисциплинам (рис.4.17).

Этот интерес носит периодический характер. Наибольшего значения он достигает в начале каждого семестра, когда студенты просматривают имеющиеся электронные пособия, а также в периоды подготовки к тестированию (середина и конец каждого семестра: вторая половина марта, мая, октября и декабря). В 2008 году среднее количество посетителей в месяц составляет около 1400.

Материал, связанный с работами по курсу "Организация ЭВМ", представлен также на портале Интернет-университета информационных технологий [183]. На этом портале в открытом доступе имеются учебные пособия по курсам "Архитектура и организация ЭВМ" и "Логические и арифметические основы и принципы работы ЭВМ", а также разработанные автором тестовые задания для самостоятельной оценки студентами своих знаний по этим дисциплинам. За два первых года использования этих материалов в Интернет университете (с 2005 года), тестирование по данным курсам прошло около 4000 слушателей Университета. Согласно постоянно проводимому опросу, рейтинг данных курсов составляет около 4,2 по пятибальной шкале, о чем имеется соответствующий Акт.

Электронное учебное пособие по курсу "Основы теории компьютеров"

Электронное пособие по курсу "Основы теории компьютеров" разработано как средство электронной поддержки по наиболее востребованному комплексу компьютерных обучающих программ, предназначенному для облегчения изучения основ вычислительной техники [109, ПО].

Похожие диссертации на Разработка методов и средств анализа и обеспечения качества программных систем учебного назначения

Разработка и исследование стохастических методов и средств защиты программных систем ответственного назначенияИванов Михаил Александрович

Разработка методов и средств обеспечения и анализа надежности отказоустойчивых вычислительных системАлександрович, Андрей Евгеньевич

Разработка методов и средств анализа многомерных баз данных с неполной информациейЗаботнев Максим Сергеевич

Анализ и разработка методов и средств моделирования интернет-приложенийГоршкова, Екатерина Александровна

Исследование методов и разработка программных средств анализа структурной сложности и симметрии графовых моделей системСтаричкова, Юлия Викторовна

Разработка и исследование методов и средств анализа информационных объектов на основе модели Система Взаимодействующих ТаблицСеменов, Александр Сергеевич

Разработка методов и программных средств для анализа сходства ациклических структурИбрахим Али Рашид

Методы разработки и контроля качества программных средств обработки и анализа изображенийБалыков Евгений Александрович

Разработка методов и программных средств для решения задач различения и анализа сложности ациклических структурДжасим Малатх Рахим

Исследование и разработка диалогового обеспечения информационно-вычислительной системы специального назначенияУсманов, Рустамбек Алтнксулович