Содержание к диссертации
Введение
Глава 1. Удовлетворенность пользовательским интерфейсом и ее место в опосредствованной Интернетом трудовой деятельности 17
1.1 Характеристика трудовой деятельности в интернет-среде на современном этапе развития организаций 17
Определение и характеристика понятия «Удовлетворенность программным продуктом» 20
1.3 Роль оценки удовлетворенности интернет-сайтом в человеко-ориентированном проектировании программных продуктов 26
1.4 Связь удовлетворенности пользователя с развитием образа программного продукта и значение удовлетворенности в трудовой деятельности 36
1.5 Обзор существующих методов оценки удовлетворенности пользовательским интерфейсом интернет-сайтов 51
Глава 2. Разработка методики «Оценка пользовательской удовлетворенности сайтом» (ОПУС) 63
2.1 Цели и порядок работ по созданию оригинального тест-опросника для оценки удовлетворенности пользователей интернет-сайтом 63
2.2 Процедура подбора вербального материала для создания предварительного варианта методики 64
2.3 Определение факторной структуры предварительного варианта методики ОПУС 68
2.4 Создание рабочего варианта методики оценки удовлетворенности интернет-сайтом 75
2.5 Предварительная оценка дифференцирующей чувствительности рабочего варианта методики 78
2.6 Сводная характеристика результатов по главе 2 83
Глава 3. Валидизация и эмпирическая верификация методики ОПУС 85
3.1 Целевая направленность эмпирического исследования 85
3.2 Подготовка методического инструментария для валидизации методики в эмпирическом исследовании 86
3.3 Процедура проведения опроса 87
3.4 Проверка конструктной валидности и надежности-согласованности методики 89
3.5 Проверка дифференцирующей чувствительности методики 93
3.6 Проверка критериальной валидности методики 96
3.7 Порядок проведения и результаты повторного опроса для проверки ретестовой надежности методики 102
3.8 Сводная характеристика результатов по главе 3 103
Глава 4. Экспериментальная апробация диагностической пригодности методики ОПУС в рамках комплексной схемы оценки эргономичности интернет-сайтов 105
4.1 Цели и задачи экспериментального исследования 105
4.2 Организация и процедура проведения эксперимента 108
4.3 Методики исследования 114
4.4 Влияние содержательно-конструктивных особенностей сайта и очередности работы на успешность его использования 124
4.5 Дифференцирующая чувствительность методики оценки удовлетворенности сайтом 132
4.6 Анализ корреляций шкал методики ОПУС с другими показателями 141
4.7 Сводная характеристика результатов экспериментального исследования 146
Заключение 151
Выводы 159
Список литературы 162
- Определение и характеристика понятия «Удовлетворенность программным продуктом»
- Процедура подбора вербального материала для создания предварительного варианта методики
- Подготовка методического инструментария для валидизации методики в эмпирическом исследовании
- Влияние содержательно-конструктивных особенностей сайта и очередности работы на успешность его использования
Введение к работе
Актуальность исследования. Совершенствование компьютерных технологий, развитие технологической базы производства, переход к постиндустриальной экономике, увеличение доли работников умственного труда приводят к постоянному увеличению роли компьютеров и других электронных устройств в техническом оснащении современных рабочих мест. Компьютеры перестали быть уделом энтузиастов и стали массовым средством труда. Большая часть затрат организаций на информационно-технологическую (ИТ) инфраструктуру приходится на обслуживание и обучение пользователей, а не на покупку программного и аппаратного обеспечения (Самойлов, Стернина, 2007). Если эта тенденция наблюдается уже более 20 лет (Блеклер, 1995), то в последние годы стало еще более актуальным быстрое внедрение в организации современных телематических технологий: в первую очередь, сети Интернет. Доля интернет-пользователей в России неуклонно растет и к 2014 году достигнет 75-80 % (Фонд Общественное Мнение, 2011b). Интернет-среда позволяет получать доступ к обширным базам знаний, хранящимся на серверах различных организаций, организовывать координацию и управление работой распределенных в пространстве виртуальных организаций (Уорнер, Витцель, 2005; Ackerman et al., 2010), совместную работу сотрудников с документами. Кроме того, люди используют Интернет для доступа к государственным услугам, обучения, общения и отдыха, таким образом, многие интернет-сайты играют важную роль в труде и жизни людей, а их использование сопровождается эмоционально окрашенными переживаниями (Нестеров, 2004). На данный момент, по всеобщему признанию технических специалистов, одной из основных тенденций развития компьютерных технологий является развитие так называемых «облачных» технологий: то есть переноса ИТ-инфраструктуры организаций и домохозяйств на удаленные серверы, доступ к которым осуществляется через Интернет. На этих удаленных серверах происходит хранение информации, производство вычислений, на них
запускаются рабочие программы, которые используют люди. Например, компании Google и Microsoft разработали онлайн-аналоги стандартных офисных пакетов программ. По данным опроса, проведенного компанией IBM, 65,5 % ИТ-специалистов считают, что с высокой вероятностью такой способ внедрения информационных систем в организациях к 2015 году станет ведущим (O'Connell, 2010).
Работа пользователя компьютера существенно отличается по своей специфике от типичного операторского труда, который был объектом исследования традиционной инженерной психологии. Задачи пользователя состоят в манипуляции объектами и их свойствами, которые представлены в рамках интерфейса программного продукта (ПП) (Сугак, 2005). Работа с интернет-сайтами характеризуется специфическим операциональным составом, требует от пользователя овладения совершенно определенным набором знаний и навыков, который, в то же время, позволяет решать уникально широкий круг задач. Кроме того, специфика работы с интернет-сайтами зачастую состоит в наличии широкого выбора альтернативных сайтов. Во многих случаях выбор средства труда остается за самим работником, вследствие чего ключевым фактором в конкуренции между производителями является завоевание симпатий пользователей, их позитивное отношение к сайту.
Такое субъективное отношение к сайту рассматривается с точки зрения понятия «удовлетворенность программным продуктом». Удовлетворенность пользователя, в соответствии с международным стандартом ISO 9241-11 (1998), является неотъемлемой составляющей качества ПП и конструкта «юзабилити», традиционно используемого для оценки эргономичности ПП (Костин, 2011). При этом, в отличие от других составляющих юзабилити — результативности и производительности, которые хорошо операционализированы, общепринятых средств оценки пользовательской удовлетворенности на данный момент нет (Lindgaard, Dudek, 2003; Hornbaek, 2006). С другой стороны, в литературе показана связь
удовлетворенности используемыми ПП с удовлетворенностью трудом в целом (Ang, Soh, 1997), испытываемым сотрудниками стрессом (Ghahramani et al., 2009), эффективностью трудовой деятельности сотрудников (Gelderman, 1998; Etezadi-Amoli, Farhoomand, 1996; Igbaria, Tan, 1997), принятием ПП в организации (Wixom, Todd, 2005), его коммерческой успешностью (Keiningham et al., 2007). Таким образом, проблема оценки и оптимизации удовлетворенности пользователей имеет высокую актуальность для производителей ПП, ИТ служб и кадровых служб в организациях, а также высокую важность с точки зрения качества жизни людей в целом.
Традиционным средством оценки пользовательской
удовлетворенности во всем мире являются стандартизованные опросные методики (Lewis, 2006). Однако на русском языке до настоящего времени не существовало валидизированных методик, созданных специально для оценки удовлетворенности пользователя ПП. Разработка такой методики является актуальной задачей как в рамках психологических исследований труда с использованием компьютеризированных средств деятельности, так и в практике эргономического проектирования, разработки и оценки ПП.
Разработка методики такого типа требует уточнения психологического содержания феномена удовлетворенности ПП, анализа его составляющих и процесса формирования таковой удовлетворенности. Это позволит вести теоретически более обоснованную работу по созданию методических средств оценки удовлетворенности, которые, в свою очередь, позволят более глубоко исследовать сам феномен.
В соответствии со сказанным, представляется крайне важным вести параллельную работу как по развитию содержательного понимания феномена пользовательской удовлетворенности, так и по созданию все более совершенных средств ее оценки. В целом, обозначенный выше комплекс пока еще нерешенных проблем определяет актуальность проведенного нами диссертационного исследования.
Цель исследования состоит в определении, теоретическом,
методическом и практическом обосновании комплексного набора
методических средств, позволяющих оценить удовлетворенность
пользователя программным продуктом, а также создании оригинальной и
полностью валидизированной опросной методики оценки
удовлетворенности пользователя, представляющей собой центральный элемент данного набора методических средств.
Объектом исследования выступила профессиональная деятельность пользователей с использованием программных продуктов, а именно, интернет-сайтов, в качестве основного либо вспомогательного средства труда.
Предмет исследования — анализ психологической природы феномена удовлетворенности пользователя интернет-сайтом как субъективной оценки качества этого сайта, определение его состава и разработка новых методических средств его оценки.
Основная гипотеза исследования состоит в том, что
удовлетворенность пользовательским интерфейсом представляет собой
комплексную оценку качества такого рода программных продуктов,
формирующуюся на основе развития многокомпонентного образа интернет-
сайта, которая включает его разнообразные субъективные характеристики, в
частности, техническую надежность, удобство использования,
функциональное богатство и соответствие специфике деятельности
пользователя. Такой подход к решению проблемы оценки пользовательской
удовлетворенности обосновывает возможность построения
стандартизованной опросной методики для оценки удовлетворенности, включающей несколько шкал, направленных на оценку основных компонентов образа.
Реализация поставленной цели и проверка основной гипотезы исследования осуществляются путем последовательного решения следующих задач исследования:
Проведение теоретического анализа феномена удовлетворенности пользовательским интерфейсом и концептуальное обоснование использования многошкальной опросной методики для оценки этой удовлетворенности.
Обзор существующих методов и методик оценки удовлетворенности пользовательским интерфейсом.
Сбор информации об основных семантических конструктах, используемых отечественными пользователями Интернета для описания субъективно значимых качеств интернет-сайтов.
Разработка рабочего варианта методики оценки удовлетворенности пользовательским интерфейсом интернет-сайта и предварительная оценка его психометрических качеств.
Валидизация методики на основе массового онлайн-опроса, проверка надежности и валидности пунктов и шкал методики, подготовка на этой базе окончательного варианта полностью стандартизованного диагностического инструмента.
Интеграция разработанной методики в комплексную схему экспериментальной оценки эргономичности интернет-сайтов и апробация предложенной схемы в рамках лабораторного исследования, в котором диагностическая пригодность подготовленной методики верифицируется по комплексу разноуровневых показателей эффективности деятельности со стороны успешности работы с сайтом и величины затрат внутренних ресурсов.
Методологическая база исследования. В основу исследования положены основные положения и методологические принципы общепсихологической теории деятельности (Леонтьев, 1974) и их разработка в рамках анализа понятия образа как психологического регулятора
деятельности, выполненная в работах Б. Ф. Ломова, Н. Д. Заваловой и В. А. Пономаренко (Завалова и соавт., 1986; Ломов, 2006), Е. А. Климова (1998), А. Б. Леоновой (2009), а также в рамках психосемантических исследований (Петренко, 2005). Обоснование связи удовлетворенности пользователя с эффективностью трудовой деятельности, успешностью внедрения информационных систем в организациях и качеством жизни пользователя опирается на современные теории трудовой мотивации (Хекхаузен, 2003; Пряжников, 2008), структурно-интегративный подход к оценке функциональных состояний (Леонова, 1998, 2007), модель принятия технологий (Technology acceptance model) (Chuttur, 2009; Venkatesh et al, 2003; Davis, 1989). Разработка новой диагностической методики опиралась на теоретические и методические принципы традиционной психометрики (Бодалев, Столин, 2000; Анастази, Урбина, 2005; Шмелев, 1996), психосемантики, теории репертуарных решеток и личностных конструктов (Франселла, Баннистер, 1987).
Методы исследования. Проведен концептуальный анализ представленных в литературе основных подходов к исследованию удовлетворенности пользователей. Для выявления конструктов, используемых людьми при описании качеств интернет-сайтов, использовался метод интервью и метод репертуарных решеток (Франселла, Баннистер, 1987) (применялись конструкты, полученные в исследовании Д. О. Павлова (2007)). В ходе отбора пунктов для рабочего варианта методики использовались методы свободной сортировки (Петренко, 2005), анкетирования, опосредствованного Интернетом (Бабанин и соавт., 2004), субъективное шкалирование. При валидизации методики проводился массовый опрос, опосредствованный Интернетом. Проведен лабораторный моделирующий эксперимент с использованием объективных методов анализа эффективности деятельности: аудио- и видеофиксации поведения испытуемых, методики бесконтактной регистрации движений глаз, электрокардиографии и кардиоинтервалографии, Для оценки динамики
субъективных показателей текущего состояния пользователей применялись опросные методики «Шкала состояний» (Леонова, Капица, 2003) и сокращенная форма методики Ч. Спилбергера «Ситуативная тревожность» (Леонова, Наумова, 2009). При проведении анализа данных и проверки достоверности выдвигаемых гипотез использовались статистические методы, включая факторный, кластерный и дисперсионный анализ, непараметрические критерии сравнения для связанных выборок, методы оценки согласованности шкал методики и экспертных оценок, а также контент-анализ и метод корреляционных плеяд.
Достоверность полученных результатов обеспечена применением адекватных целям, предмету и задачам исследования методов получения и анализа данных; использованием системного и комплексного набора процедур и методов для обоснования основных положений работы; репрезентативностью выборок, использовавшихся при разработке и валидизации методики (соответственно, 138 и 124 человека). Каждый респондент оценивал несколько сайтов, и всего собрано, соответственно, 340 и 653 бланка методики. Использованы современные статистические методы, соответствующие специфике эмпирических данных. Организация эксперимента, выполненного на выборке из 26 человек, проводилась в соответствии со стандартами, принятыми в экспериментальной психологии и психологии труда.
Научная новизна
Впервые в отечественной психологии проведен всесторонний концептуальный анализ понятия «Удовлетворенность программным продуктом», который трактуется как комплексная субъективная оценка качества программного продукта, возникающая в ходе развития многокомпонентного образа интернет-сайта.
Определены семантические конструкты, которые наиболее значимы для русскоязычных пользователей сети Интернет при формировании их отношения к интернет-сайтам.
3. Разработана новая стандартизованная, валидизированная и хорошо
структурированная опросная методика «Оценка пользовательской удовлетворенности сайтом» (ОПУС) — первый психометрический инструмент оценки пользовательской удовлетворенности, разработанный и эмпирически верифицированный с участием российских интернет-пользователей и с применением внешних объективных критериев успешности интернет-сайта и эффективности работы с ним.
4. Применен комплексный многоуровневый подход к анализу
эффективности деятельности пользователя и эргономичности
программных продуктов, на основе которого подготовлена оригинальная
схема экспериментальной оценки степени эргономичности интернет-
сайтов, учитывающая помимо успешности выполнения задач на сайте и
субъективной оценки удовлетворенности пользователя также ряд
объективных показателей надежности и психофизиологической цены
деятельности пользователя.
Практическая значимость. Необходимость оценки пользовательской удовлетворенности обусловлена ее влиянием на качество жизни пользователей, успешность внедрения информационных систем в организации и эффективность выполнения сотрудниками своих трудовых задач, а также коммерческую успешность программных продуктов.
Разработанная методика пригодна к непосредственному использованию в практике человеко-ориентированного проектирования и оценки юзабилити интернет-сайтов, внедрения информационных систем в организациях, маркетинговых исследований на рынке разработки интернет-сайтов и сервисов. Она позволяет выявить основные «зоны дефицита» с точки зрения дизайна пользовательского интерфейса, ведущие к снижению удовлетворенности пользователей и нарастанию психофизиологической напряженности деятельности, что является основной для проектирования более эргономичных интернет-сайтов.
Апробация работы. Результаты исследования обсуждались на заседаниях кафедры психологии труда и инженерной психологии факультета психологии МГУ имени М.В.Ломоносова (2009, 2011). Основные положения и результаты диссертации представлены на V съезде Российского психологического общества, VII Международной конференции «Психология и эргономика: единство теории и практики» (Тверь, 2011); XVI и XVII Международной конференциях студентов, аспирантов и молодых ученых «Ломоносов-2009» и «Ломоносов-2010» (Москва).
Основные положения и результаты исследования используются в учебном процессе на факультете психологии МГУ имени М.В. Ломоносова при подготовке студентов по специализации «Организационная психология» в рамках курсов «Организационная психология» и «Информационные технологии в виртуальных организациях», а также спецпрактикума «Компьютерные средства поддержки совместной деятельности». Результаты исследования внедрены в практику работы проектных групп в ООО «Рамблер Интернет Холдинг» и ООО «Лаборатория интерактивного дизайна», связанных с проектированием и оценкой интерфейсов программных средств.
Положения, выносимые на защиту
Удовлетворенность интернет-сайтом является комплексной субъективной оценкой пользователем качества этого программного продукта. Она формируется на основе рефлексивных оценок различных компонентов образа данного сайта, возникающих в процессе работы с ним.
Основными семантическими конструктами, используемыми русскоязычными пользователями Интернета при оценке сайтов, являются их эффективность, простота, полезность и эмоциональная привлекательность.
Разработанная оригинальная методика «Оценка пользовательской удовлетворенности сайтом» (ОПУС) является валидизированным и эмпирически верифицированным психодиагностическим инструментом,
который позволяет оценить интернет-сайт по каждому из выделенных основных семантических конструктов и на основании этого провести структурированную диагностику пользовательской удовлетворенности. 4. Разработанная комплексная схема экспериментальной оценки эргономичности интернет-сайтов позволяет провести многоуровневый анализ удобства и эффективности деятельности пользователей на основе показателей удовлетворенности сайтом и субъективного комфорта состояния в сочетании с объективными индикаторами успешности выполнения рабочих заданий на сайте, оптимальности распределения когнитивных нагрузок (по показателям движений глаз) и степени эмоционально-вегетативного напряжения.
Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения, выводов, списка литературы и 4 приложений. Общий объем диссертации составляет 188 страниц. В основном тексте работы содержится 27 таблиц и 21 рисунок. Список использованной литературы включает 151 источник, из них 85 - на английском языке.
Определение и характеристика понятия «Удовлетворенность программным продуктом»
Большинство толковых словарей русского языка трактуют слово «удовлетворенность» как синоним слова «удовлетворение», то есть «чувство удовольствия, испытываемое тем, чьи устремления, желания, потребности удовлетворены» [Большой толковый словарь… 2009]. Однако в «Большом психологическом словаре» (2006) «удовлетворенность» определяется как «субъективная оценка качества тех или иных объектов, условий жизни и деятельности, жизни в целом, отношений с людьми, самих людей, в т. ч. и самого себя (самооценка)». Таким образом, если в обыденном языке эти два понятия не различаются, то с точки зрения научной психологии «удовлетворение» следует рассматривать как эмоциональную реакцию, возникающую в ситуации удовлетворения потребностей человека, а «удовлетворенность» как чувство субъекта по отношению к окружающим людям, объектам, событиям и т. д.
В психологической литературе понятие «удовлетворенность» чаще всего используется в контексте исследований удовлетворенности трудом и удовлетворенности браком [Большой психологический словарь, 2006]. Удовлетворенность трудом определяется как «эмоционально окрашенное оценочное представление субъекта деятельности о результате своей трудовой активности, о самом процессе работы и внешних условиях, в которых она осуществляется» [Кондратьев, Ильин, 2007]. «Удовлетворённость трудом является одним из важных показателей, характеризующих трудовую деятельность с точки зрения её социальной эффективности» [Ильясов, 1988, с. 3].
В рамках когнитивной эргономики удовлетворенность чаще всего рассматривается в контексте удовлетворенности средой трудовой деятельности. Удовлетворенность программным продуктом1, как одним из средств трудовой деятельности, безусловно, вносит вклад в удовлетворенность трудом в целом, так как средства труда являются частью условий труда, важным компонентом трудового поста сотрудника.
С точки зрения двухфакторной теории трудовой мотивации Герцберга, эргономические параметры трудового поста обычно относят к факторам контекста (гигиеническим) [Кондратьев, Ильин, 2007]. Однако в ряде современных работ показано, что некоторые характеристики программного продукта являются своеобразными мотивирующими факторами, способны увеличивать внутренний интерес сотрудника к работе [Cheung, Lee, 2005; Zhang, von Dran, 2000]. Отчасти такой эффект может объясняться с точки зрения модели потока [Чиксентмихайи, 2011]. Непонятный или ненадежный программный продукт может лишать работника чувства контроля над ситуацией, заставлять его концентри роваться на операциях по управлению средством вместо содержательного аспекта его трудовой деятельности. Чиксентмихайи убедительно демонстрирует важную роль средств деятельности в формировании состояния потока: «Около четырехсот раз в день видеокамера останавливалась на его позиции, и у Рико было сорок три секунды, чтобы проверить, соответствует ли звуковая система техническим характеристикам. С течением лет, в которые он экспериментировал с инструментами и движениями аппаратуры, он смог уменьшить среднее время проверки камеры до двадцати восьми секунд. Он был так горд этим своим достижением, как спортсмен на Олимпийских играх, если бы ему
1 Здесь и далее понятие «программный продукт» трактуется расширительно: помимо традиционных программ мы включаем в него и все интернет-сайты, хотя некоторые из них содержат лишь информационное наполнение (текстовое и мультимедийное) и не выполняют никаких алгоритмических сценариев. Тем не менее, с точки зрения пользователя это сходные объекты. Традиционно подход к эргономической оценке и тех, и других практически одинаков. после стольких же лет тренировок удалось пробежать спринтерскую дистанцию в 400 метров за 44 секунды» [Cskszentmihlyi, 1997, с. 105].
Так как удовлетворенность программным продуктом — это субъективная оценка его качества, рассмотрим более подробно само понятие качества программных продуктов.
Качество программных продуктов первоначально исследовалось в рамках инженерных и экономических дисциплин, таких как обеспечение качества (quality assurance) и маркетинг. Специалисты в области обеспечения качества расходятся в подходах к определению качества. Так, Ф. Б. Кросби (Crosby) считал, что если оценивать качество как некую степень привлекательности, то она определяться слишком субъективно, поэтому качество следует понимать как степень соответствия результатов разработки первоначально подготовленным спецификациям продукта и требованиям отраслевых стандартов [Berander et al., 2005]. Другие авторы, такие как У. Э. Деминг (Deming), А. В. Фейгенбаум (Feigenbaum) и К. Исикава (Ishikawa) связывали понятие качества программного продукта с тем, насколько он соответствует потребностям своих пользователей. Дж. М. Юран предложил такую краткую формулировку качества, как «пригодность к использованию» (fitness for use), которая, по его мнению, включает оба аспекта: соответствие потребностям пользователей и отсутствие дефектов разработки [Berander et al., 2005]. У. А. Шьюарт еще в 30-х годах также высказывался о том, что качество следует рассматривать в двух аспектах: объективном и субъективном. «Есть два общих аспекта качества: один из них связан с пониманием качества вещи, как объективной реальности, независимой от существования человека. Другой связан с тем, что мы думаем, чувствуем и ощущаем в результате воздействия этой объективной реальности. Иначе говоря, существует субъективная сторона качества» (Shewhart W. A. Economic control of quality of manufactured product. 1931. Цит. по [Berander et al., 2005, стр. 6]). В современных международных стандартах, посвященных качеству программных продуктов, например ISO 9126-1 [ISO/IEC FDIS 9126-1, 2000], использован системный и комплексный подход к измерению качества программных продуктов, учитывающий как субъективную, так и объективную его составляющие, и подразумевающий измерение целого ряда составляющих качества программного продукта. Первая такая модель качества программного продукта была создана в 1977 году специалистом компании General Electrics Дж. Макколлом [McCall et al, 1977] для нужд армии США. Дж. Макколл постарался объединить в данной модели как качества системы, важные для сотрудников, осуществляющих развертывание, интеграцию и поддержку информационных систем в организациях, так и качества, важные для конечных пользователей, то есть людей, непосредственно использующих продукт как средство своей деятельности. Последние мы будем в дальнейшем называть пользовательскими качествами.
Процедура подбора вербального материала для создания предварительного варианта методики
Показателями повышенной когнитивной нагрузки считаются следующие характеристики глазодвигательной активности: повышение средней длительности фиксаций [Величковский и соавт., 2010; Злоказова, Величковский, 2010], увеличение доли сверхдлительных межсаккади-ческих интервалов [Голиков, Костин, 1999], увеличение индекса пространственного рассеяния фиксаций [Di Nocera, 2007], снижение частоты саккад [Злоказова, Величковский, 2010] и их средней пиковой скорости [Злоказова, Величковский, 2010; Di Stasi et al., 2011], снижение длительности морганий [Злоказова, Величковский, 2010; Ahlstrom, Friedman-Berg, 2006], увеличение диаметра зрачка [Lewis, 1995; Ahlstrom, Friedman-Berg, 2006; Grootjen et al., 2007; Bailey, Iqbal, 2008].
Методы прямой оценки удовлетворенности. Так как удовлетворенность является чувством субъекта по отношению к объекту, она недоступна для прямого измерения техническими средствами, однако может быть оценена количественно благодаря методам контент-анализа, субъективного шкалирования и тест-опросников. Безусловно, люди могут произвольно выражать свое мнение о ПП в виде спонтанных высказываний: реплики пользователей по ходу тестирования могут быть крайне показательными. Также полезен анализ обсуждений продуктов между людьми, например, на форумах и в социальных сетях. Для того чтобы получить не только качественную и количественную информацию на основе этих данных, может быть использован метод контент-анализа. Так, сравнивать удовлетворенность разными продуктами или среди разных групп пользователей можно на основе контент-анализа текстов структурированных интервью [Зотова и соавт., 2010]. Существуют также и более формальные подходы, такие как метод репертуарных решеток, субъективное шкалирование или ранжирование сервисов по степени удовлетворенности ими, а также опросные методики.
Тест-опросники. На Западе существует более десятка в той или иной мере валидизированных опросных методик для измерения удовлетворенности: CUSI [Kirakowski, 1988], QUIS [Chin et al., 1988], SUMI [Kirakowski, Corbett, 1993], ASQ, PSSUQ, CSUQ [Lewis, 1995], SUS [Brooke, 1996], PUTQ [Lin et al., 1997], WAMMI [Kirakowski et al., 1998], USE [Lund, 2001], Product reaction cards [Benedek, Miner, 2002]. Наиболее популярные из них: QUIS, SUMI, CSUQ/PSSUQ и SUS [Lewis, 2006]. Заполнение большинства из этих методик занимает не более 5–10 минут. Для некоторых из них опубликованы данные о надежности-согласованности и валидности, измеренной на основании корреляций с другими опросниками удовлетворенности [Lewis, 2006].
Опросник QUIS [Chin et al., 1988] состоит из 26 пунктов в краткой версии и 71 пункта в полной. Надежность-согласованность общей шкалы опросника высокая: -Кронбаха равна 0,94. Показатели надежности субшкал не публиковались. Субшкалы опросника: (1) общая реакция на систему, (2) качество экранов системы, (3) используемая терминология и представление информации, (4) простота в изучении, (5) возможности системы.
Опросник SUMI [Kirakowski, Corbett, 1993], который пришел на замену опроснику CUSI, состоит из 50 пунктов. Обширные исследования показали надежность и валидность данной методики, кроме того имеется база нормативных данных. Показатель -Кронбаха для субшкал разнится от 0,71 до 0,85. Надежность общей шкалы 0,92. Субшкалы опросника: (1) производительность, (2) аффект, (3) полезность, (4) чувство контроля, (5) простота в изучении. WAMMI [Kirakowski et al., 1998] — версия SUMI, специально адаптированная для оценки удовлетворенности интернет-сайтами. Содержит тот же набор субшкал и 60 пунктов. Показатель -Кронбаха для общей шкалы — 0,96, для субшкал — от 0,70 до 0,90.
В корпорации IBM был разработан целый набор методик для измерения удовлетворенности: After-scenario questionnaire (ASQ) — краткий опросник для предъявления после каждого задания юзабилити-тестирования, состоящий из трех пунктов (-Кронбаха не менее 0,9); Post-study system usability questionnaire (PSSUQ) — опросник из 19 пунктов для предъявления по окончанию юзабилити-тестирования; Computer system usability questionnaire (CSUQ) — аналогичная PSSUQ по составу методика, отличающаяся лишь тем, что формулировки пунктов адаптированы не для ситуации юзабилити-тестирования, а для ситуации отдельного опроса. Надежность общей шкалы для CSUQ и PSSUQ — 0,94. Надежность субшкал разнится от 0,83 до 0,91. Субшкалы методик: полезность, качество информации, качество интерфейса [Lewis, 1995].
SUS [Brooke, 1996] состоит из 10 пунктов и не имеет субшкал. Данные о надежности и валидности не публиковались, хотя авторы заявляют, что методика надежна.
PUTQ [Lin et al., 1997] состоит из 100 пунктов. Показатель -Кронбаха для субшкал разнится от 0,59 до 0,81. Субшкалы методики: (1) совместимость, (2) последовательность, (3) гибкость, (4) простота в изучении, (5) минимизация необходимых действий, (6) минимизация нагрузки на память, (7) соответствие перцептивным ограничениям, (8) справочная информация.
USE [Lund, 2001] состоит из 30 пунктов. Данные о надежности и валидности отсутствуют. Субшкалы: (1) полезность, (2) простота в использовании, (3) простота в изучении, (4) общая удовлетворенность. Структура некоторых опросников, QUIS и в особенности PUTQ, ориентирована на составляющие качества системы, выделяемые инженерами, но не характеристики, которые несут первостепенную важность для пользователей. В связи с этим при разработке опросника важно включать в процесс представителей массовой пользовательской аудитории.
Методика Product reaction cards состоит в том, что испытуемому предъявляется набор из 118 карточек с прилагательными, различным образом характеризующими продукт. Пользователь должен выбрать из них 5 штук, которые, по его мнению, лучше всего описывают данный продукт. На основании выбранных карточек в дальнейшем с ним может быть проведено краткое интервью. Также анализируются массивы карточек, которые испытуемые выбрали для различных сравниваемых сайтов, количество положительных, отрицательных и нейтральных характеристик среди них и т. д. [Benedek, Miner, 2002]
На русском языке удалось обнаружить лишь 3 опросные методики, ни одна из которых должным образом не валидизирована: 1) Несколько вариантов перевода на русский язык набора прилагательных из методики Product Reaction Cards. 2) Перевод опросника PUTQ [Lin et al., 1997], выполненный в рамках дипломной работы Я. В. Карандашева (2007). К сожалению, в работе не приведено никакой информации о способе перевода и каких-либо мероприятиях по валидизации методики. 3) Используемый некоторыми специалистами опросник из 12 пунктов, предложенный В. В. Головачом в статье «Юзабилити-тестирование по дешевке» [Головач, 2005], который, по признанию самого автора, не является надежным.
Кроме того, имеются русскоязычные методики, имеющие косвенное отношение к предмету нашего исследования: опросники для оценки установок по отношению к Интернету [Губенко, 2006], ощущения присутствия при работе с иммерсивными средами [Сергеев, 2011b], ряд методик для оценки интернет-зависимости, например, шкала интернет-зависимости А. Е. Жичкиной (2004).
В то же время, разработку русскоязычного опросника желательно не сводить к простому переводу иностранной методики и последующей его эмпирической валидизации, так как само понимание пользователями важности отдельных качеств ПП является специфичным для разных культур [Frandsenhorlacius et al., 2009].
В связи с этим основной целью проведенного нами эмпирического исследования была разработка и валидизация оригинальной опросной методики оценки удовлетворенности пользовательским интерфейсом, пригодной для использования как в теоретических исследованиях, так и в практике человеко-ориентированного проектирования и внедрения интернет-сайтов. Для этого необходимо было разработать рабочий вариант опросника, провести его психометрическую валидизацию, а также апробацию методики в рамках комплексной оценки эргономичности интернет-сайтов.
Подготовка методического инструментария для валидизации методики в эмпирическом исследовании
Основной целью следующего этапа исследования была подготовка и эмпирическая апробация окончательного варианта методики ОПУС на базе описанного выше ее рабочего варианта. Это потребовало проведения независимого исследования, выполненного на другой выборке пользова телей Интернета в форме интерактивного опроса. Полученные в этом исследовании данные послужили основанием для определения основных психометрических характеристик методики и оценки ее валидности: надежности-согласованности попунктного состава, ретестовой надежности, конструктной валидности и уточнения факторной структуры опросника, что было необходимо для уточнения состава его окончательного варианта. Кроме того, важно было получить доказательства критериальной валидности и дифференцирующей чувствительности разработанного психодиагностического инструмента в его завершенной форме.
В соответствие с этим, конкретными задачами данного этапа исследования было: (1) определение набора адекватных внешних критериев для оценки валидности методики; (2) определение репрезентативного набора популярных интернет-сайтов, используемых в трудовой деятельности широким кругом пользователей; (3) проведение массового онлайн-опроса пользователей интернет-сайтов; (4) проведение повторного опроса пользователей для проверки ретестовой надежности методики; (5) статистическая обработка полученных данных, направленная на определение названных выше психометрических характеристик. 3.2 Подготовка методического инструментария для валидиза ции методики в эмпирическом исследовании
При выборе сайтов, которые оценивались в ходе интерактивного опроса, использовались следующие критерии: популярность сайта, возможность использования данного сайта в контексте трудовой деятельности, наличие объективных данных о размере и динамике аудитории сайта, которые можно использовать в качестве критерия для проверки валидности методики. Исходя из этих требований, были выбраны известные российские сайты, данные об аудитории которых регулярно публикуются в панельных исследованиях TNS Web Index компании Taylor Nelson Sofres. В набор, предлагаемый респондентам, были включены сайты, относящиеся к 5 тематическим категориям, по несколько наиболее популярных сайтов из каждой категории: 1) электронная почта («Mail.ru», «Яндекс почта», «Рамблер почта»), 2) социальные сети («В контакте», «Одноклассники», «Мой мир»), 3) Интернет СМИ («Лента.ру», «Росбизнесконсалтинг», «РИА Новости», «Вести», «Комсомольская правда»), 4) агрегаторы новостей, то есть специальные поисковые сайты, собирающие новости с сайтов различных Интернет СМИ («Яндекс Новости», «Mail.ru Новости», «Рамблер Новости»), 5) сайты с прогнозом погоды («Гисметео», «Яндекс погода», «Mail.ru Погода», «Рамблер Погода»). В качестве одной из мер для оценки критериальной валидности методики разработана дополнительная опросная шкала «Общая удовлетворенность». Эта шкала используется только как внешний критерий и не входит в состав методики ОПУС. В нее вошли 3 пункта: 1) «В целом, этот сайт меня вполне удовлетворяет» — данный пункт напрямую ставит перед респондентом вопрос о степени его удовлетворенности сайтом. Ответ на этот пункт, как и на пункты методики, давался по 7-балльной шкале согласия. 2) «Как часто вы пользуетесь этим сервисом (сайтом)?» — данный пункт отражает степень принятия сайта, которая, как показано в литературном обзоре, коррелирует со степенью удовлетворенности. Ответ на этот вопрос давался по 6-балльной шкале со следующими вариантами ответа: «Почти никогда», «Раз в несколько месяцев», «Не реже, чем раз в месяц», «Не реже, чем раз в неделю», «Практически каждый день», «Обычно несколько раз в день».
«Порекомендовали бы вы этот сервис (сайт) своим знакомым?» — этот вопрос традиционно используется для измерения показателя NPR и, как показано в литературном обзоре, он коррелирует со степенью удовлетворенности. Ответ на этот вопрос давался по 5-балльной шкале со следующими вариантами ответа: «Да, и действительно рекомендую», «Пока не приходилось, но вполне мог бы», «Нет, вряд ли», «Скорее порекомендовал бы не пользоваться», «Рекомендую, наоборот, не пользоваться сайтом».
Процедура проведения опроса Сбор данных для валидизации опросника проводился путем специально организованного интерактивного опроса. Лицам, регулярно пользующимся Интернетом, в частности, студентам МГУ им. М. В. Ломоносова и Московского государственного лингвистического университета, предлагалось принять участие в исследовании по оценке их отношения к различным аспектам работы с интернет-сайтами.
Материалы и процедура проведения исследования. Опрос проводился путем заполнения бланка методики, размещенного на специально организованной интернет-странице. Для проведения опроса использовалось серверное приложение LimeSurvey, версия 1.90. На первой странице опросника содержалась инструкция для участника исследования, на второй странице исследования респонденты указывали свое имя или адрес электронной почты, а также дополнительную информацию о себе, на третьей странице они отмечали в списке предлагаемых для оценки сайтов те, «которыми они регулярно пользуются или которые достаточно хорошо представляют». Последующие страницы опроса предъявлялись по числу выбранных сайтов. На каждой странице было приведено название сайта, который надо оценить, полный перечень пунктов рабочего варианта методики (25 пунктов), расположенных в случайном порядке, а также 3 пункта дополнительной шкалы «Общая удовлетворенность» и поля для ввода словесной характеристики сайта.
Рядом с каждым пунктом рабочего варианта методики располагалось семь элементов управления типа «радиокнопка», пронумерованных от 1 до 7 и соответствующих следующим градациям: «1» — «категорически не согласен», «4» — «затрудняюсь ответить», «7 — «полностью согласен».
Респонденты также должны были охарактеризовать свое основное впечатление от каждого оцененного сайта несколькими прилагательными: от 1 до 3 по собственному усмотрению.
Время на заполнение методики не ограничивалось. В случае если респондент не мог оценить все сайты за один раз, он имел возможность сохранить анкету и продолжить заполнение в дальнейшем.
Влияние содержательно-конструктивных особенностей сайта и очередности работы на успешность его использования
Различия оценок результативности и производительности работы на сравниваемых сайтах. Для сравнения этих показателей использовались показатели успешности выполнения заданий и среднее суммарное время выполнения основных заданий (кроме первого, ознакомительного). Полученные результаты показали, что на сайте CreateSurvey задания удавалось решать более успешно и за меньшее время. Кроме того, пользователи успешнее и быстрее решали задания во второй серии эксперимента. В обоих случаях различия в успешности подтверждены по всем трем возможным показателям: количество самостоятельно выполненных заданий (успешность не менее 4), количество выполненных полностью заданий (успешность не менее 3), количество заданий, по которым хотя бы формально выполнены все заданные критерии (успешность не менее 2). Также показано наличие значимого взаимодействия между факторами для количества полностью выполненных заданий.
Вместе с тем, успешность выполнения заданий в случае с сайтом CreateSurvey была примерно одинаково высокой как в первой серии эксперимента, так и во второй. В случае c VirtualExS наличие опыта решения аналогичных задач сильно увеличивало успешность во второй серии, когда работа с сайтом происходила в контексте уже известных испытуемому заданий. Аналогичный механизм взаимодействия показан на уровне тенденции для показателей количества заданий, выполненных хотя бы с успешностью 2, а также для времени выполнения заданий.
На первое, ознакомительное задание испытуемым давалось 2 минуты. Большинство из них всегда использовали это время полностью, но некоторые придерживались иной стратегии и останавливали ознакомление, когда считали, что в достаточной мере изучили сайт. Этот показатель не зависел достоверно ни от одного из факторов. Однако в случае с сайтом CreateSurvey наблюдается тенденция к уменьшению времени ознакомления (p = 0,079), вероятно, за счет его лаконичности и меньшей информационной насыщенности.
Различия субъективных оценок комфортности состояния. Для оценки субъективной комфортности состояния использовался показатель «Индекс субъективного комфорта» (ИСК), полученный при помощи методики «Шкала состояний», а также оценка уровня ситуативной тревожности (СТ).
Во время работы с первым по порядку сайтом ИСК значимо уменьшался (одновыборочный t-критерий -2,23, p = 0,035) независимо от того, какой сайт это был. При работе со вторым по порядку сайтом ИСК увеличивался примерно на 3 балла, если это был CreateSurvey, и еще сильнее снижался, если это был VirtualExS.
СТ значимо снижалась (одновыборочный t-критерий -4,48, p 0,001) при работе с первым сайтом и значимо увеличивалась (одновыборочный t-критерий 3,92, p = 0,001) при работе со вторым сайтом. Первичное снижение СТ можно объяснить тем, что испытуемые испытывают тревогу до начала выполнения заданий из-за того, что не знают их содержания и сложности. Однозначно проинтерпретировать рост СТ за время второй половины эксперимента не представляется возможным. СТ не зависит от выбора сайта и взаимодействия двух факторов.
Различия характеристик глазодвигательной активности. Когнитивная нагрузка, испытываемая пользователями во время работы с сайтами, оценивалась на базе характеристик глазодвигательной активности. На основании прямого сопоставления отдельных параметров этого типа с помощью дисперсионного анализа не удалось установить различий по этим показателям как между двумя использованными сайтами, так и между первым и вторым по очередности сайтом в эксперименте.
Различия изменений показателей ЭКГ и КИГ за время работы с сайтами. Замерялось 8 показателей ЭКГ и КИГ. Они были приведены к 4 факторным оценкам (в анализе использовались Z-значения). В таблице приведены изменения показателей, произошедшие между замером, проводившимся до работы с сайтом, и замером, проводившимся после работы с сайтом. Помимо этих факторных оценок отдельно рассматривался показатель ЧСС (входивший также в фактор вегетативной напряженности), так как он представляет особый интерес для практики, являясь наиболее простым для измерения и понимания. При помощи дисперсионного анализа удалось установить достоверное различие лишь по показателям вегетативной напряженности и ЧСС между изменениями в первой и второй сериях эксперимента. Это можно объяснить тем, что испытуемые по приходу на эксперимент были сильно вегетативно напряжены в связи с наличием физической нагрузки (ходьба, подъем по лестнице, возможно, в спешке), а по ходу эксперимента такая напряженность снижалась.
В случае с ЧСС наблюдается тенденция к взаимодействию между факторами (p = 0,054): при работе со вторым по очередности сайтом конкретный сайт слабо влияет на изменение ЧСС, при работе же с первым сайтом, когда это был CreateSurvey, ЧСС снижался существенно меньше, чем при работе с VirtualExS. Это, по всей видимости, связано с влиянием такого побочного фактора, как длительность выполнения заданий на сайте. Так как пользователи в среднем дольше решали задачи при работе с VirtualExS, первоначальный ЧСС также успевал за это время сильнее снизиться. Чтобы исключить влияние побочного фактора времени, был проведен дополнительный анализ показателей вегетативной напряженности и ЧСС с использованием переменной «Суммарное время выполнения заданий на сайте» в качестве ковариаты, то есть определение различий в зависимости от двух основных факторов определялось при статистическом контроле влияния показатели времени. Результат этого анализа приведен в табл. 22.
Как и предполагалось, в этом случае тенденция к взаимодействиям факторов исчезла, но была обнаружена тенденция (p = 0,068) к влиянию фактора используемого сайта на ЧСС.
Приведенные в этом параграфе данные свидетельствуют о наличии определенного влияния очередности использования сайтов на успешность работы с ними и, как следствие, на оценку удовлетворенности. Однако этот эффект при оценке дифференцирующей чувствительности методики оценки удовлетворенности был нивелирован за счет систематического варьирования очередности работы испытуемых с сайтами, предусмотренного в плане эксперимента. Это позволило в ходе дальнейшей обработки результатов провести анализ различий непосредственно в оценках удовлетворенности сравниваемых сайтов по комплексу прямых и объективирующих косвенных показателей.
