Содержание к диссертации
Введение
1 Разработка методологии планирования мероприятий по локализации последствий чрезвычайных ситуаций в результате аварий на опасных производственных объектах магистрального транспорта газа 10
1.1 Анализ статистических данных показателей аварийности на опасных производственных объектах магистрального транспорта газа 10
1.2 Планирование мероприятий по локализации и ликвидации последствий аварий на объектах магистрального транспорта газа 25
1.3 Организация и проведение противоаварийных тренировок 33
1.4 Выводы по первой главе 42
2 Разработка методики определения готовности персонала газотранспортного предприятия к оперативному реагированию на основе оценки профессионально важных качеств 43
2.1 Анализ профессиональной деятельности оперативного персонала газотранспортного предприятия на примере ООО «Газпром трансгаз Югорск» 43
2.2 Выявление профессионально важных качеств, определяющих уровень готовности оперативного персонала к действиям по локализации последствий аварий 51
2.3 Мотивация выбора профессионально важных качеств, определяющих уровень готовности оперативного персонала к действиям по локализации последствий аварий 65
2.4 Подбор диагностических методик для оценки выделенных профессионально важных качеств оперативного персонала газотранспортного предприятия 74
2.5 Обработка результатов экспериментального тестирования оперативного персонала, участвующего в локализации последствий аварий 78
2.6 Результаты апробации методики оценки ПВК оперативного персонала в ООО «Газпром трансгаз Югорск» 99
2.7 Разработка автоматизированной системы оценки профессионально важных качеств оперативного персонала газотранспортного предприятия 101
2.8 Выводы по второй главе 107
3 Оценка влияния уровня развития профессионально важных качеств оперативного персонала на масштаб последствий возможных аварий 108
3.1 Расчет потерь газа при разрушении участка магистрально газопровода между КС Таежная и КС Новокомсомольская 108
3.2 Влияние уровня развития профессионально важных качеств оперативного персонала на зоны поражения при разгерметизации участка магистрального газопровода «КС Таежная – КС Новокомсомольская» 124
3.3 Выводы по третьей главе 133
Основные выводы 134
Приложение А 135
Приложение Б 137
Приложение В 138
Приложение Г 142
Список использованной литературы 144
- Планирование мероприятий по локализации и ликвидации последствий аварий на объектах магистрального транспорта газа
- Организация и проведение противоаварийных тренировок
- Выявление профессионально важных качеств, определяющих уровень готовности оперативного персонала к действиям по локализации последствий аварий
- Влияние уровня развития профессионально важных качеств оперативного персонала на зоны поражения при разгерметизации участка магистрального газопровода «КС Таежная – КС Новокомсомольская»
Введение к работе
Актуальность темы исследования
Обеспечение надежной и безопасной эксплуатации объектов магистрального транспорта газа является важнейшим стратегическим направлением развития топливно-энергетического комплекса Российской Федерации (РФ).
Комплексный подход при обеспечении безопасности в чрезвычайных ситуациях (ЧС) техногенного характера на опасных производственных объектах (ОПО) магистрального трубопроводного транспорта включает две составляющие. С одной стороны - это снижение вероятности возникновения аварий, приводящих к катастрофическим последствиям, за счет обновления оборудования и технических устройств, совершенствования технологий, организационных мероприятий, а с другой - сокращение размеров ущерба при ЧС в результате реализации аварий за счет обеспечения готовности персонала ОПО к действиям по их локализации.
Для снижения вероятности возникновения аварий на объектах магистрального транспорта газа необходим анализ многих факторов, таких как вероятность внешнего механического воздействия, человеческих ошибок, явлений природного характера и др. Несмотря на некоторую тенденцию к уменьшению количества аварий на газотранспортных объектах, аварии последних лет сопровождаются значительным материальным ущербом. Таким образом, зачастую одни и те же аварийные ситуации могут значительно отличаться по величине ущерба, а также приводить к ЧС техногенного характера. Поэтому предотвращение ЧС на стадии возникновения аварии является перспективным направлением обеспечения безопасности на объектах магистрального транспорта газа.
Известно, что масштабы последствий ЧС техногенного характера в результате аварий на магистральных газопроводах (МГ) зависят от правильности и быстроты действий оперативного персонала при локализации аварии. Слаженность и своевременность действий данного персонала определяется не только уровнем профессиональной подготовки, но и уровнем развития индивидуальных профессионально важных качеств (ПВК) работника.
В работах Е.В. Глебовой, Е.Б. Сажина, Н.Н. Сажиной, М.В. Ивановой,
4 С.А. Грудиной, А.Т. Волохиной была установлена зависимость между уровнем развития ПВК персонала и уровнями аварийности и травматизма на предприятиях нефтегазового комплекса. В данных исследованиях определялись ПВК работников, необходимые для обеспечения безопасного выполнения производственных задач в штатном режиме эксплуатации производственных объектов. В настоящее время актуальной задачей является выявление и оценка ПВК, определяющих готовность персонала к реагированию при реализации возможных аварий.
Цель исследования заключается в предотвращении возникновения ЧС в результате аварий на магистральных газопроводах и снижении масштабов их последствий за счет повышения готовности персонала к оперативному реагированию.
Указанная цель определила постановку и решение следующих основных задач:
выявление факторов, влияющих на масштаб последствий ЧС в результате аварий на объектах магистрального транспорта газа на основе анализа статистических данных аварийности;
разработка методики определения готовности персонала к оперативному реагированию на основе оценки профессионально важных качеств работников ОПО МГ:
выявление ПВК, определяющих готовность персонала к локализации последствий аварий;
подбор соответствующих диагностических методик для оценки выявленных ПВК;
вывод уравнения итоговой интегральной оценки, определяющей степень готовности работников к оперативному реагированию в ЧС;
разработка автоматизированной системы оценки ПВК оперативного персонала;
расчет потерь газа при ЧС в результате аварии на магистральном газопроводе с учетом зон поражения при оперативном реагировании персонала с различным уровнем развития ПВК.
Научная новизна:
на основе анализа производственной деятельности выявлены ПВК, определяющие готовность оперативного персонала к действиям по локализации последствий аварий на объектах магистрального транспорта газа;
разработана методика определения готовности персонала к оперативному реагированию при реализации аварии на основе оценки ПВК;
разработана автоматизированная система оценки ПВК оперативного персонала;
проведена оценка влияния уровня развития ПВК оперативного персонала на масштабы последствий возможных ЧС в результате аварий на объектах магистрального транспорта газа.
Теоретическая и практическая значимость работы
Все эксперименты по разработке методики определения готовности персонала к оперативному реагированию на основе оценки ПВК проводились в ООО «Газпром трансгаз Югорск».
Разработка указанной методики включала следующие основные этапы:
изучение производственной деятельности работников ООО «Газпром трансгаз
Югорск»; экспертную оценку значимости качеств, необходимых для успешного
ведения противоаварийных работ; определение информативности
стандартизованных тестов для оценки выявленных качеств; установление локальных нормативов по каждому тесту и интегрального критерия, позволяющего оценивать степень готовности работника к действиям по локализации последствий аварий. Разработанная методика была реализована в виде автоматизированной системы оценки ПВК оперативного персонала.
Методика определения готовности персонала к оперативному реагированию и её автоматизированный вариант были апробированы и внедрены в ООО «Газпром трансгаз Югорск» (получен акт внедрения).
Разработанная методика определения готовности персонала объектов магистрального транспорта газа на примере ООО «Газпром трансгаз Югорск» к оперативному реагированию систематизирует алгоритм проведения процедуры
6 оценки ПВК работников, участвующих в локализации последствий ЧС в результате аварий.
Автоматизированная система оценки ПВК позволяет выявить работников с низким уровнем готовности к оперативному реагированию при реализации аварии для привлечения их к дополнительным учебно-тренировочным занятиям по методически грамотно разработанным сценариям.
Внедрение разработанной автоматизированной системы позволяет повысить уровень готовности персонала к оперативному реагированию на объектах магистральных газопроводов, что приведет к предотвращению возникновения ЧС в результате аварий и уменьшению масштабов последствий возможных аварий.
Методы исследования
При выявлении ПВК оперативного персонала был использован метод экспертного опроса.
При обработке экспериментальных данных использовались методы математической статистики (определение t-критерия Стьюдента) и корреляционного анализа (определения коэффициента корреляции r-Пирсона).
Для разработки уравнений итоговой интегральной оценки готовности оперативного персонала использовался метод множественного регрессионного анализа.
Основные положения, выносимые на защиту
На защиту выносятся результаты исследований, имеющие научную и практическую ценность, а именно:
методика определения готовности персонала газотранспортного предприятия к оперативному реагированию при реализации аварии на основе оценки ПВК;
автоматизированная система оценки ПВК оперативного персонала, принимающего участие в локализации последствий аварий;
результаты анализа масштабов последствий ЧС в результате аварий при разгерметизации участка магистрального газопровода при реагировании оперативного персонала с различным уровнем развития ПВК.
Достоверность результатов исследования
Достоверность полученных результатов обеспечивается достаточным количеством экспериментальных и статистических данных, корректным использованием апробированных научных методов исследований и современного математического аппарата обработки результатов, а также общепризнанных программных комплексов (MathCad, Токси+Риск и STATISTICA).
Апробация результатов
Результаты работы докладывались и обсуждались на юбилейной десятой всероссийской конференции молодых ученых, специалистов и студентов «Новые технологии в газовой промышленности» (газ, нефть, энергетика) (г. Москва, октябрь 2013), на ХХ Губкинских чтениях (г. Москва, ноябрь 2013), на III Международной конференции и выставке. Экологическая безопасность в газовой промышленности (г. Москва, декабрь 2013), на X Всероссийской научно-технической конференции «Актуальные проблемы развития нефтегазового комплекса России» (г. Москва, февраль 2014).
Публикации
По материалам диссертации опубликовано 9 печатных работ, в том числе 5 статей в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки Российской Федерации.
Структура диссертации
Планирование мероприятий по локализации и ликвидации последствий аварий на объектах магистрального транспорта газа
Результаты данного анализа свидетельствуют о недостаточности внимания к планированию действий организаций, эксплуатирующих ОПО, по предотвращению ЧС в результате аварий.
Это может быть связано с нарушениями регламентов работ при эксплуатации и организации производства работ, нарушениями производственной дисциплины работниками газотранспортных объектов.
Так, например, анализ материалов технического расследования аварий показал, что на магистральных газопроводах ООО «Газпром трансгаз Югорск» диаметрами 1000 мм и 1200 мм с момента их ввода в эксплуатацию не применялись методы диагностирования, позволяющие выявить дефекты труб на ранних стадиях их развития, в том числе метод внутритрубной диагностики. На практике зачастую диагностика осуществляется методом шурфования, который позволяет определить состояние внешней изоляции трубопровода. При этом невозможно выявить реальное состояние сварных швов и стенок трубы. Кроме того, экспертиза промышленной безопасности эксплуатируемых более 30 лет магистральных газопроводов и гидравлические испытания трубы с целью определения технического состояния трубопроводов не проводились [15]. Несмотря на недостаточную оперативность устранения опасных дефектов существующей системы магистральных газопроводов в ряде случаев, общее число аварий в 2013 году сократилось почти на 43% и составило 9 событий. Данное снижение подтверждает эффективность реализации комплексной программы реконструкции и технического перевооружения объектов транспорта газа ОАО «Газпром» в 2011–2015 гг.[15]. Проведенный анализ статистических данных аварийности, основанный на абсолютных величинах, не учитывает изменение общей протяженности системы магистральных газопроводов. Для более объективной оценки ситуации перейдем к относительным величинам (таблица 1).
На основании рисунка 3 можно сделать вывод об отсутствии существенных отличий абсолютных и удельных показателей аварийности. Как видно из диаграммы рисунка 2, удельный показатель аварийности так же не имеет стабильной тенденции к уменьшению. Пик аварийности приходится на 2006 год, что стало следствием применения устаревших подходов к управлению безопасностью на фоне недостаточных темпов обновления оборудования с истекшим сроком эксплуатации [21]. Согласно проанализированным статистическим данным Ростехнадзора [15-23], причины аварий можно условно разделить на шесть групп (Таблица 2).
Как видно из таблицы 2, в 2013 году число аварий по причине коррозионного разрушения металла трубы в сравнении с 2012 годом сократилось в 3 раза и составило минимальные два случая за 8 анализируемых лет. Это напрямую связано с наращиванием темпов модернизации системы газотранспортной сети. Однако с увеличением объемов строительно-монтажных работ растет количество аварий связанных с применением технологий с низким запасом прочности монтажных сварных соединений и низкими механическими характеристиками основного металла труб. Максимальное количество аварий по данной причине было зафиксировано в 2012 году и составило 9 случаев.
Проведенный анализ показал, в зависимости от года происходит изменение процентного соотношения причин аварий (рисунок 4). В 2013 году сократилось число аварий по причинам «Брака строительства / изготовления» и «Коррозии металла трубы (КРН)», однако в 5 раз возросло по причине «Механического воздействия». Металлургические дефекты труб и оборудования связаны с несовершенством технологии изготовления труб или их нарушением при изготовлении [29]. Доля аварий причине «Брака строительства / изготовления» составила 44,4 % от общего числа в 2013 году. Недостаточное внимание к проблемам проведения строительно-монтажных работ приводит к авариям со значительными материальными потерями. 100,0 90,0 80,0 70,0 60,0 50,0 40,0 30,0 20,0 10,0 0,0 28,6 7,1 7,1 7,1 35,7 14,3 2006 2007 2008 2009 2010 2011 2012 2013 1 И2 3 В4 И5 И6 1- Брак строительства / изготовления; 2 - Коррозия металла трубы (КРН); 3 -Ошибочные действия персонала при эксплуатации; 4 - Износ оборудования; 5 -Воздействие стихийных явлений природного происхождения; 6 - Механическое воздействие
Распределение аварий на магистральных газопроводах по причинам в зависимости от года По официальным данным Ростехнадзора ежегодный полный ущерб предприятий, эксплуатирующих ОПО магистрального трубопроводного транспорта исчисляется сотнями миллионов рублей [13,15-18]. Так в 2013 году полный ущерб в результате аварий на магистральном трубопроводном транспорте составил 318 915 тыс. руб., из них прямые потери от аварий составили 74 064 тыс. руб., затраты на локализацию и ликвидацию последствий аварий — 211 555 тыс. руб., экологический ущерб — 4 971 тыс. руб., ущерб, нанесенный третьим лицам, — 332 тыс. руб. [13]
Организация и проведение противоаварийных тренировок
За последние годы в законодательстве Российской Федерации в области промышленной безопасности произошли изменения, направленные на повышение эффективности государственного регулирования в области промышленной безопасности.
Так была введена классификация ОПО по классам опасности: I класс опасности - опасные производственные объекты чрезвычайно высокой опасности; II класс опасности - опасные производственные объекты высокой опасности; III класс опасности - опасные производственные объекты средней опасности; IV класс опасности - опасные производственные объекты низкой опасности. Изменения коснулись также процедуры декларирования промышленной безопасности и периодичности проверок. Закон определил новое понятие «система управления промышленной безопасностью» и требования к её разработке.
Важно отметить, что поправки затронули также и вопросы планирования мероприятий по локализации и ликвидации последствий аварий на ОПО. В соответствии с Федеральным законом № 22-ФЗ «О внесении изменений в Федеральный закон «О промышленной безопасности опасных производственных объектов» [41] введено новое понятие - план мероприятий по локализации и ликвидации последствий аварий (ПЛА). Его разработка обязательна для всех предприятий, эксплуатирующих объекты 1,11,111 класса опасности.
Общие требования к разработке и содержание плана мероприятий регламентируются Постановлением Правительства РФ от 26.08.2013 № 730 «Об утверждении Положения о разработке планов мероприятий по локализации и ликвидации последствий аварий на опасных производственных объектах» [42].
Структура ПЛА включает общие разделы, содержащие общую характеристику ОПО, аналитическую часть о прогнозировании возможных сценариев возникновения аварийных ситуаций и аварий, оперативную часть, а также специальные разделы, определяющие порядок действий в случае аварии на объекте в соответствии с требованиями, установленными федеральными нормами и правилами в области промышленной безопасности. Проведенный анализ текста Постановления Правительства РФ от 26.08.2013 № 730 показал, что данный документ имеет весьма общие требования к разработке ПЛА.
В настоящее время подробный порядок организации и ПЛА содержится в «Рекомендациях по разработке планов локализации и ликвидации аварий на взрывопожароопасных и химически опасных производственных объектах», утвержденных приказом Ростехнадзора от 26.12.2012 № 781 [43], которые вышли взамен Постановления Госгортехнадзора РФ от 18.04.2003 N 14.
Так же с 06 апреля 2014 вступил в силу Приказ Ростехнадзора от 06.11.2013 №520 "Об утверждении Федеральных норм и правил в области промышленной безопасности «Правила безопасности для опасных производственных объектов магистральных трубопроводов. Данный документ охватил широкий круг вопросов, направленных на обеспечение промышленной безопасности и предупреждение аварий на ОПО магистральных трубопроводов. [44]
Данные Федеральные нормы и правила дают общие направления планирования мероприятий по предупреждению и ликвидации аварий.
Таким образом, при разработке ПЛА целесообразно пользоваться рекомендациями Ростехнадзора [44]. Однако, в этом случае возникает некоторое несоответствие в терминологии. На сегодняшний день вопрос относительно названия документов по локализации и ликвидации аварий остается открытым. С юридической точки зрения это два различных документа: план мероприятий по локализации и ликвидации последствий аварий в соответствии с [14] и [42], и план локализации и ликвидации аварии (ПЛА) в соответствии с рекомендациями, изложенными в приказе Ростехнадзора №781 [43]. Вероятнее всего некоторые положения указанного документа будут пересмотрены с целью приведения формулировки названия к единому виду. Проведенный анализ последних изменений в законодательстве в области промышленной безопасности позволил установить, что обеспечение постоянной готовности персонала возлагается на эксплуатирующую организацию и проверяется в ходе учебно-тренировочных занятий. В соответствии с [14,42,43,44] данные тренировки являются составной частью системы постоянного обучения и подготовки работников. В число организаций, эксплуатирующих ОПО магистрального транспорта газа, входит ООО «Газпром трансгаз Югорск» ( Общество). Процедура обеспечения готовности ОПО к действиям по локализации и ликвидации последствий аварий Общества включает следующие этапы: разработка и введение в действие ПЛА; проведение противоаварийных тренировок; разбор результатов проведения противоаварийных тренировок, реализация корректирующих и предупреждающих действий.
Процедура разработки и введения в действие ПЛА включает в себя следующие этапы: определение источников возникновения потенциальных аварий, сценариев их развития и возможных последствий; определение уровней разработки ПЛА и закрепление ответственности за их разработку; разработка, согласование и утверждение ПЛА; доведение ПЛА до сведения всех заинтересованных сторон, обеспечение наличия актуальных версий ПЛА на ОПО; контроль актуальности ПЛА, внесение изменений и дополнений.
Перечень производств (цехов, отделений, участков, установок), для которых разрабатывается ПЛА, утверждается главным инженером Общества. При этом ПЛА должен пересматриваться с определенной периодичностью в зависимости от класса опасности объекта [42]. Согласно приложению 2 [14] объекты транспортирования газа под избыточным давлением более 1,6 МПа относятся ко второму классу опасности ОПО (срок действия ПЛА составляет 3 года). При изменениях технологического процесса, конструкции технических устройств или структурных реорганизаций подразделений, а также при наличии выявленных при расследовании аварий дополнительных данных, в том числе на аналогичных производствах и объектах, ПЛА подлежит корректировке.
Выявление профессионально важных качеств, определяющих уровень готовности оперативного персонала к действиям по локализации последствий аварий
В данной работе для выявления ПВК, определяющих уровень готовности оперативного персонала к действиям по локализации и ликвидации последствий аварий, использовался метод экспертного опроса.
Для получения достоверных результатов при использовании данного метода необходимо правильно подобрать экспертов по качественному и количественному составу. При подборе по качественному составу учитывалось следующее требование - экспертами выступали лица, имеющие опыт успешной практической работы в данной должности (профессии) не менее пяти лет и не имеющие дисциплинарных взысканий из числа непосредственных руководителей. Основным ограничением в выборе эксперта является наличие личной заинтересованности в искажении проводимой оценки (сознательное завышение или занижение уровня требований к профессии).
При подборе экспертов по количественному составу необходимо учитывать следующие требования: оптимальными границами могут быть группы экспертов от 20 до 100 человек при оценке одной специальности. Однако в случае, если столько экспертов обеспечить невозможно, к тому же при этом проводится не только статистический, но и содержательно-психологический анализ результатов опроса, экспертов может быть меньше - 10 человек.
В данной работе минимальное количество экспертов по каждой профессии (должности) (20 человек) было обеспечено. В качестве экспертов выступили 170 работников ООО «Газпром трансгаз Югорск», из которых:
Для проведения опроса эксперту предлагался список качеств, подлежащих оценке. В настоящее время существует достаточно много опросников, в которых оценка профессиональной важности качеств специалиста проводится экспертами количественно (в баллах) либо качественно (с помощью сравнения и ранжирования).
Количественная оценка может проводиться с использованием самых разных шкал. Например, 2-балльная (дихотомическая) шкала предполагает, что эксперт должен оценивать то или иное качество по степени важности для выполнения работы, выбирая одну из двух возможных оценок: 1 балл - нужное качество; 0 баллов - ненужное качество. Такой вариант шкалы относится к разряду однонаправленных векторных шкал. Помимо дихотомической шкалы в эту группу шкал входят 3-, 4-, 5-, 7- и даже 10-балльные шкалы. Главной особенностью всех этих шкал является то, что точка отсчета всегда равна нулю, что свидетельствует о низкой значимости (незначимости) оцениваемого качества для конкретной профессиональной деятельности. Чем выше балл, которым оценивается качество, тем более значимо оно для эффективной деятельности. Примером вынесения экспертной оценки по 3- или 4-балльным шкалам может быть опросник Липмана.
Кроме оценочных однонаправленных векторных шкал при осуществлении экспертного опроса могут использоваться так называемые шкалы с биполярными полюсами. Главной особенностью этих шкал является четкое разграничение между отрицательным и положительным значениями оцениваемого качества для успешной профессиональной деятельности. Например, 3-балльная биполярная оценочная шкала содержит три варианта оценки: «О» - качество не влияет на успешность деятельности, «-1» - качество негативно влияет на успешность выполняемой деятельности (наносит вред), «+1» - качество способствует выполнению профессиональной деятельности (позитивно в отношении выполняемой деятельности). Примером использования биполярной оценочной шкалы может служить опросник Т.П. Зинченко, в котором используется 7-балльная шкала. В работе [8] при выявлении ПВК рабочих основных профессий использовался опросник с биполярной оценочной шкалой. Практический опыт его применения показал, что с помощью данного опросника негативные качества не обнаруживаются. Данное обстоятельство обусловлено тем, что в подавляющем большинстве случаев эксперты склонны оценивать степень положительного влияния того или иного качества на успешность выполнения профессиональных обязанностей. Оценить степень негативного влияния качества на выполняемую деятельность им существенно сложнее. В связи с этим был использован опросник Липмана (Приложение В), который имеет однонаправленную векторную шкалу. Данный опросник представляет собой перечень из 85 свойств (элементов) качеств, объединенных в 11 групп ПВК (таблица
Влияние уровня развития профессионально важных качеств оперативного персонала на зоны поражения при разгерметизации участка магистрального газопровода «КС Таежная – КС Новокомсомольская»
Анализ достоверности различий между показателями лиц руководящего состава (1 группа) и исполнителей работ (2 группа) показал, что мыслительные процессы (результаты тестирования по методике УЗ) находятся на более высоком уровне развития в 1 группе, а познавательные процессы (результаты тестирования по методикам ЧКТ, Шкалы и ЧР) – напротив, во 2 группе. Это свидетельствует о том, что деятельность руководящего состава требует более развитых мыслительных способностей, а для исполнителей работ важнее высокий уровень внимания, оперативной памяти, наблюдательности.
Руководители работ по своим индивидуально-характерологическим особенностям достоверно отличаются от исполнителей высоким уровнем развития организаторских способностей (результаты тестирования по методике КОС 2) и выраженным стремлением к достижению поставленных целей (результаты тестирования по методике ПКС 1).
Полученные в ходе исследования данные свидетельствуют о том, что результаты, полученные при обследовании различных групп специалистов, отличаются между собой. Было проведено ранжирование среднегрупповых показателей, затем определялась достоверность различий между группами (определение t-критерия Стъюдента). Это было сделано для того, чтобы доказать, что та или иная методика действительно «работает», дифференцирует уровни развития ПВК в группах, то есть она может служить инструментом для определения ПВК, и, следовательно, была подобрана правильно. Таким образом, полученные в ходе исследования данные, подтверждают правомерность выбора именно этих методик (таблица 26).
Следующим этапом математической обработки результатов тестирования стала оценка валидности. Известно, что валидность теста – это понятие, указывающее что тест измеряет (какое качество) и насколько хорошо он это делает [46].
В данном исследовании валидность определялась методом сопоставления результатов диагностической методики с независимым от методики внешним критерием успешности в производственной деятельности. При этом использовалась корреляция по Пирсону, так как в нашем случае успех в деятельности, являющейся внешним критерием, прямо пропорционален успеху в выполнении диагностической методики.
В данной работе под успешностью производственной деятельности понимались показатели, полученные в результате оценки действий оперативного персонала при проведении учебно-тренировочных занятий. Общая оценка действий персонала при проведении тренировок складывалась из трех факторов: правильность действий, оперативность действий, достигаемый результат.
По каждому из этих факторов действия работников оценивались руководителями учебно-тренировочных занятий (экспертами) по специально разработанной десятибалльной шкале. При этом детально описанные критерии упрощают работу эксперта по выставлению объективной оценки (таблицы 5-7).
Далее исследовалась корреляционная связь между общей оценкой действий работников в ходе тренировок, которую выставляли эксперты, и показателями, полученными работниками по диагностическим методикам.
Если в ходе корреляционного анализа такая взаимосвязь была установлена для показателей теста, по которому была выявлена лишь тенденция к достижению значимых различий (то есть различия в показателях по этой методике между двумя группами соответствуют р 0,01), то он может использоваться в мероприятиях оценки ПВК. Если же коэффициент корреляции не достиг уровня достоверной значимости, то использовать такой тест не рекомендуется [46].
Ось значимости В случае, когда величина расчетного коэффициента корреляции попала в зону значимости - гипотеза 0 (Взаимосвязь между показателями теста и показателями успешности деятельности отсутствует) отвергается и принимается гипотеза 1 (Показатели теста и показатели успешности деятельности взаимосвязаны).
В результате корреляционного анализа был уточнен набор диагностических методик оценки ПВК, таким образом, были оставлены тесты, по которым коэффициент корреляции достиг уровня статистической значимости (исключенные методики выделены серым) (Таблица 27). Таблица 27 – Результаты корреляционного анализа результатов пилотажного тестирования с результатами учебно-тренировочных занятий
Введение стандартных показателей необходимо для того, чтобы сравнить полученные индивидуальные данные с нормативной группой, а также, чтобы иметь возможность наглядного сопоставления результатов, по различным тестам, т.к. первичные данные выражаются в различных значениях, поэтому несопоставимы.
В данном исследовании при стандартизации результатов тестирования была использована равноинтервальная стэновая шкала, интервалы которой соответствуют долям стандартного отклонения (каждый из них равен 1/2)(рисунок 21). Среднее арифметическое результатов тестирования по каждой методике принимается за среднюю точку и ей присваивается значение равное 5,5 стэнов. Таким образом, исходя из известного значения длины интервалов, можно определить числовое значение каждого стэна[46].