Введение к работе
Актуальность исследования. Политические и социальные тенденции, доминирующие в России XXI в., привели к резкому возрастанию значения проблем, связанных с повышением качества образования в условиях поиска новых подходов к росту эффективности управления образовательными системами. Понятие «качество образования» из сферы обсуждения в рамках узкого круга специалистов переместилось в сферу государственной политики, стало предметом общественных и научных дискуссий представителей самых разных профессий.
Проблемы качества непосредственно смыкаются со стратегией развития науки и инноваций в Российской Федерации на период до 2015 г., в соответствии с которой в государственный сектор образования должны войти укомплектованные квалифицированными кадрами учебные заведения, способные обеспечить построение экономики России, основанной на знаниях. Сходные приоритеты обозначены в выступлениях Президента России, руководителей Министерства образования и науки, а также ведущих ученых и педагогов, где с нарастающей интенсивностью звучит проблема повышения качества отечественного образования.
На фоне роста актуальности общих проблем качества образования повысилась потребность в современных контрольно-оценочных системах, необходимость создания которых заложена в приоритетных направлениях развития образовательной системы нашей страны. В документах, ориентированных на эти направления, отмечается, что необходимо «…сформировать общенациональную систему оценки качества образования, получаемого гражданином, и реализуемых образовательных программ». Составляющими такой общенациональной системы должны быть региональные системы оценки качества образования, обеспечивающие комплексный подход к анализу всех аспектов процессов и результатов функционирования образовательных систем в условиях высокой объективности и обоснованности выводов о качестве образования.
Таким образом, развитие региональных оценочных систем становится одним из приоритетных направлений модернизации отечественного образования. В новых условиях эти системы должны опираться на общенаучные принципы, гарантирующие эффективность их функционирования, базироваться на современных научных разработках в области педагогических измерений, обеспечивать информационный базис для повышения качества результатов образования и прогнозирования динамики его изменения, а также учитывать стратегические приоритеты и особенности развития региональных систем образования.
На протяжении всей истории развития отечественной педагогики многие ученые внесли свой значимый вклад в совершенствование контрольно-оценочных систем в образовании. К этим исследованиям можно отнести работы по общим проблемам контроля и диагностики, выполненные рядом отечественных (Т.Э. Ав-рукина, В.П. Беспалько, Д.Н. Богоявленский, П.П. Борисов, В.И. Гинецинский, В.И. Звонников, Н.Ф. Ефремова, А.В. Иванова, И.И. Легостаев, И.Я. Лернер, Н.А. Мен-чинская, Е.И. Михайлова, В.М. Полонский, М.Н. Скаткин, Т.И. Степанова, Н.Ф. Та-лызина, М.Б. Челышкова и др.) и зарубежных ученых (Б. Блум, Р. Гронлунд, К. Ингенкамп, В. Оконь и др.). Сюда же примыкают работы по индивидуализации обучающих и контрольно-корректировочных воздействий со стороны педагога (М.К. Акимова, С.В. Алек-сеев, С.К. Боголюбов, Е.В. Бондаревская, В.И. Гладких, А.С. Границкая, В.В. Давыдов, Л.В. Занков, А.А. Кирсанов, В.В. Краевский, И.Я. Лернер, А.Н. Леонтьев, О.Б. Лошнова, В.Я. Ляудис, Н.А. Менчинская, В.М. Монахов, П.И. Пидкасистый, Л.Н. Рожинова, Г.К. Селевко, В.В. Сериков, М.Н. Скаткин, Т.И. Степанова и др.).
Необходимой составляющей научного фундамента современных контрольно-оценочных систем являются исследования по компьютеризации оценочных процессов, проведенные Н.В. Апатовой, М.Ф. Королевым, В.Н. Крюковым, П.Д. Лебедевым, В.И. Нардюжевым, В.В. Петрусинским, Л.М. Поддубной, А.О. Сер-геевым, А.Н. Тихоновым, А.О. Татуром, А.Г. Шмелевым и др. Несомненно, важен контекст оценивания, связанный с мониторингом качества образования, представленный в трудах Н.Н. Булынского, Н.Ф. Ефремовой, В. А. Кальней, Г.С. Ковалевой, Э.Л. Красновского, А.А. Макарова, Е.И. Михайловой, Н.А. Селезневой, А.И. Субетто, С. Е Шишова и др. Особенности развития оценочных систем, характерные для ряда регионов России, нашли свое частичное отражение в трудах ученых по проблемам национальных школ (В.Ф. Афанасьев, У.А. Винокурова, Г.Н. Волков, А.А. Григорьева, Д.А. Данилов, П.П. Кондратьев, А.Г. Корнилова, А.В. Мордовская, Н.Д. Неустроев, Е.П. Жирков, А.Д. Семенова).
Таким образом, вопросы научного обоснования систем оценки качества образования привлекают внимание большого числа ученых, управленцев и преподавателей, в трудах которых к настоящему моменту накоплен значительный научный арсенал для совершенствования оценочных систем в образовании. Тем не менее, на сегодняшний день остается нерешенным целый круг проблем, связанных с созданием концептуально-методологических основ систем оценки качества образования, функционирование которых, с опорой на эти основы, должно протекать в условиях высокой объективности (надежности), обоснованности (валидности) и сопоставимости обеспечиваемой ими информации. Решение этих проблем осложняется в регионах, обладающих значительной территориальной разобщенностью, школами с национальными или социокультурными особенностями, где развитие оценочных систем предполагает использование специальных методик, исключающих возможное влияние дискриминирующих факторов для принятия административно-управленческих решений на основе анализа данных о качестве образования.
В частности, такие условия функционирования оценочных систем характерны для Республики Саха (Якутия), которая обладает значительной территориальной разобщенностью учебных заведений и большим числом малокомплектных национальных школ. Несмотря на трудности, связанные с этими особенностями, в системе образования Якутии широко ведется экспериментальная работа в области совершенствования современных систем оценки качества образования. Анализируются различные аспекты участия выпускников школ Якутии в Едином государственном экзамене, идет процесс развития системы государственной аккредитации образовательных учреждений, совершенствуются процедуры контроля и надзора в сфере образования, создаются инновационные модели школьных оценочных систем.
Однако необходимо отметить, что на фоне значительных практических успехов модернизация оценочной системы республики на сегодняшний день носит эклектический характер в силу отсутствия концептуально-методологической базы, определяющей научные подходы к развитию оценочных систем. В связи с этим, была выбрана тематика данного исследования «Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями (на материала системы полного среднего образования в Республике Саха Якутия)» и определена ведущая исследовательская проблема, которая состоит в том, чтобы разработать адекватные современной теории, практике образования и региональной специфике концептуально-методологические и методические подходы к построению системы оценки качества образования, функционирующей в условиях высокой надежности, валидности, двухуровневости (сочетания количественных и качественных данных о качестве образования), динамичности, сопоставимости и прогностичности информации о качестве результатов образования. В соответствии с исследовательской проблемой была поставлена цель исследования, выбраны его объект и предмет.
Цель исследования – разработка концептуально-методологических и методических основ научной организации региональной системы оценки качества образования с учетом современных научных достижений теории образовательных систем, теории педагогических измерений, бипарадигмальной методологии эвалюации в образовании, требований компетентностного подхода к трактовке качества результатов образования и особенностей функционирования системы образования в ряде регионов России.
Объект исследования – региональная оценочная система, включающая компоненты различного предназначения и уровня управления и создающая информационную среду образовательной системы для реализации ее функций.
Предмет исследования – теоретико-методологическое и методическое обоснование оценки качества результатов образования, обеспечивающее рост эффективности функционирования региональной оценочной системы на основе надежной, валидной, динамичной, сопоставимой и прогностичной информации о качестве результатов образования, в том числе в условиях регионов, обладающих территориальными и национальными особенностями образовательной среды.
Аналитическая работа, проведенная в процессе работы над диссертацией применительно к ее предмету, по изучению трудов ученых в сфере фундаментальных исследований, показала, что в отечественной педагогической науке недостаточно представлены возможности методологии педагогических измерений, не исследован ряд ее положений, способствующих научной организации оценивания в образовании. Остались неразработанными теоретические основы построения эффективных оценочных процессов в образовании, не определены научные требования к качеству компонентов оценочных систем и к качеству обеспечиваемой ими информации. Не решены проблемы, связанные с определением места и роли эвалюации в современной концептуальной модели оценочной системы на различных уровнях управления. Недостаточно полны классификационные схемы видов измерителей. Существуют значительные пробелы в понятийном аппарате той области педагогической науки, которая связана с построением и развитием оценочных систем.
В сфере прикладных исследований отсутствует должное обоснование совокупности измеряемых показателей качества результатов обучения для системы полного среднего образования с учетом требований современного компетентностного подхода. Существующий методический аппарат, разработанный вне связи с методологией и теорией педагогических измерений, не позволяет с высокой достоверностью определять воздействующие на качество образования факторы и не обеспечивает эффективную информационную поддержку управленческих решений в образовании. Не разработаны научные подходы к определению критериев сформированности компетенций в рамках количественных и качественных уровней измерения. Отсутствуют методики шкалирования в условиях интеграции количественных и качественных результатов оценочных процессов, ориентированные на компетентностный подход.
Остались вне внимания исследователей вопросы научного и методического обеспечения систем оценки качества образования в регионах, обладающих значительной территориальной разобщенностью, малокомплектными или национальными школами (Республика Саха (Якутия), Красноярский край, Хабаровский край, Чукотка и т.д.). Эти нерешенные проблемы методологического, теоретического и методического характера были положены в основу выбора гипотезы и формулировки задач данного диссертационного исследования, результаты которого строятся с опорой на имеющиеся отечественные и зарубежные наработки.
Гипотеза исследования. В основе исследования лежит предположение о том, что эффективность функционирования региональной оценочной системы увеличится, если теоретико-методологические и методические основы ее построения будут:
- обеспечивать высокую информативность результатов оценочных процессов, что предполагает выполнение требований высокой надежности, валидности, двухуровневости, динамичности, сопоставимости и прогностичности информации о качестве образования;
- учитывать возможность совмещения педагогических измерений с традиционными оценочными процессами в пропорциях, необходимых для успешной реализации функций по управлению качеством образования;
- отражать общую направленность современного обучения на компетентностную трактовку качества результатов образования;
- опираться на операционализируемую совокупность показателей качества результатов обучения;
- включать преимущественную ориентацию средств измерения на проверку продуктивного уровня усвоения, интеллектуальных умений обучающихся за счет использования инновационных видов измерителей, аутентично отражающих требования компетентностного подхода;
- включать научно-методический аппарат для обеспечения справедливости результатов оценочных процессов, в том числе в условиях ряда регионов России, обладающих спецификой образовательных систем.
Поставленная цель и сформулированная гипотеза реализуются в ходе решения следующих задач исследования:
- анализ и обобщение результатов научных исследований (отечественных и зарубежных) по рассматриваемой в диссертации проблеме с целью выявления позитивных тенденций и перспективных направлений для совершенствования региональных систем оценки качества образования;
- развитие методологических основ научной организации региональных систем оценки качества образования на основе бипарадигмальной методологии измерений, классической и современной теории тестов, теории генерализации и эвалюации в контексте современных подходов к обеспечению высокой эффективности оценивания для принятия обоснованных решений в управлении качеством образования;
- разработка концептуальных основ региональных систем оценки качества образования, предполагающих ориентацию на приоритет инновационных технологий обучения; инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности обучающихся;
- формирование совокупностей показателей качества процесса и результатов обучения, адекватных задачам функционирования региональных систем оценки качества образования;
- создание классификации видов современных измерителей и требований к их характеристикам для аутентичного оценивания и реализации научных подходов к совершенствованию измерителей в контексте современных трактовок качества учебных достижений;
- разработка научно-методического аппарата для формирования полного информационного базиса образовательной системы в условиях высокой надежности и валидности, двухуровневости, динамичности, сопоставимости и прогностичности результатов оценочных процессов с учетом контекстных характеристик образовательной среды региона при оценке качества результатов обучения;
- разработка методического аппарата для обеспечения справедливости оценок учебных достижений обучающихся в регионах, обладающих территориальной, социокультурной или национальной спецификой;
- разработка научных методов шкалирования результатов оценивания в условиях многомерности, высокой сопоставимости и корректной интеграции количественных и качественных данных о качестве результатов обучения в рамках компетентностного подхода.
Ввести
гипотезу
Методологической основой исследования послужили:
- синергетический подход, предполагающий интеграцию и использование связей между элементами структуры региональной оценочной системы, благодаря которым достигается согласованное поведение ее подсистем, возрастает степень ее упорядоченности и уровень самоорганизации;
- системный подход, позволяющий осуществлять анализ качества обучения, рассматривая его как совокупность свойств образовательной системы, протекающего в ней образовательного процесса и результатов обучения;
- бипарадигмальная методология эвалюации в образовании, закладывающая научный базис теоретических подходов к интеграции количественных и качественных данных о качестве образования;
- методология педагогических измерений, включающая классическую, современную теории тестов и теорию генерализации;
- методология социально-педагогического проектирования, служащая научной базой для проведения научно-практических исследований в области управления качеством образования.
Теоретическую базу исследования составляют:
- теория педагогических измерений (Алгина Дж., Анастази А., Крокер Л., Н.Ф.Ефремова, В.И.Звонников, А.С.Масленников, Е.А.Михайлычев, В.Г.Наводнов, Ю.М.Нейман, М.Б.Челышкова, Berk R.A. Birnbaum А., Campbell R.N., Hambleton R., Keeves J. P., Lord F., Rasch G., Swaminathan Н., Thorndike E.L., Thurstone L.L., Weiss D.J.);
- педагогические концепции построения оценочных систем в образовании (Т.Э. Аврукина, В.П. Беспалько, Д.Н. Богоявленский, И. П. Волков, В.И. Гинецинский, В.В. Давыдов, И.Я. Лернер, В.М. Полонский, М.Н. Скаткин, Н.Ф. Та-лызина, И. С. Якиманская, Е. А. Ямбург);
- общая теория управления педагогическими системами (Борк Дж., Букович У., А.В. Вебер, А.Д. Данилов, Джексон П., В. П. Панасюк, Уильямс Р.);
- фундаментальные и прикладные теоретические исследования в области качества образования (В.И. Байденко, А.В. Вроейнстийн, Н.А. Селезнева, Спенсер Л., Спенсер М., Ю.Г. Татур, А.В. Хуторской, А.Н. Чекмарев).
Методы исследования. В работе использовались общенаучные методы теоретического и эмпирического исследования и специальные методы, нацеленные на педагогические измерения и статистическое обоснование результатов исследования.
В число методов теоретического исследования вошли классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование. К группе общенаучных методов эмпирического исследования можно отнести наблюдение, экспертизу, моделирование, измерение. К группе специальных методов следует отнести математическое моделирование в рамках теории IRT, дисперсионный анализ, линейное иерархическое моделирование.
Исследование осуществлялось на протяжении трех этапов:
1 этап (2003 - 2004 гг.) – подготовительный и аналитико-поисковый, который включал анализ практических проблем, сложившихся в области оценки качества образования на примере эксперимента по введению ЕГЭ и развития региональных систем оценки качества образования в России, анализ литературных источников (свыше 400 источников), постановку и обоснование проблемы диссертационного исследования; определение круга задач исследовательской работы, моделирование объектов исследования.
2 этап (2005 - 2008 гг.) – аналитико-синтетический, который был нацелен на обобщение практического опыта, разработку концептуальной и методологической части результатов исследования, проведение развернутого статистического анализа данных ЕГЭ по тематике исследования в контексте его проблемы и смежной проблематике в рамках республиканских проектов в Якутии по мониторингу результатов ЕГЭ с привлечением соисполнителей для обработки данных из числа сотрудников Якутского государственного университета, Института повышения квалификации работников образования, сотрудников Регионального центра обработки информации и Республиканского центра аттестации и контроля качества образования. Под руководством автора диссертации в отделе контроля качества образования Государственной службы по контролю и надзору в сфере образования и науки при Президенте Республики Саха (Якутия) велась разработка анкет и проводилось широкомасштабное анкетирование школьников в Республике Саха (Якутия).
Автором исследования анализировались и обобщались статистические данные для подтверждения правдоподобности гипотезы исследования, в соответствии с полученными решениями задач исследования. По результатам второго этапа были подготовлены две монографии, опубликованы статьи, проведена апробация результатов исследования на конференциях, симпозиумах и совещаниях, а также при проведении занятий в системе повышения квалификации работников образования.
3 этап (2009 - 2010 гг.) исследования – заключительный. На этом этапе велось обобщение данных анализа, разрабатывались выводы, подводились итоги исследования, осуществлялось внедрение его результатов в практику отечественного образования. Были опубликованы новые статьи и одна монография, содержащая окончательные результаты исследования, оформлена диссертация, разработаны методики и рекомендации по использованию результатов исследования при построении региональных систем оценки качества образования.
Экспериментальная база исследования включала представительную выборку образовательных учреждений системы общего образования Республики Саха (Якутия). В частности, в эксперимент вошли школы Абыйского улуса (Белогорская средняя школа), г. Алдана (средние школы №1 и №2), Аллаиховского улуса (Чокурдахская средняя школа), Верхнеколымского улуса (Зырянская средняя школа, Нелемнинская средняя школа), Вилюйского улуса (Вилюйская сменная очно-заочная школа), Горного улуса (Бердигестяхская школа № 2, Дикимдинская средняя школа), г. Ленска (средняя школа № 1, 1 Нерюктяйинская школа), Мегино-Кангаласского улуса (Нижнебестяхская средняя школа № 1), г. Мирного (средняя школа № 3), г. Нерюнгри (средняя школа №1, муниципальная гимназия № 2), Намского улуса (Намская средняя школа № 2), Нюрбинского улуса (Нюрбинская средняя школа № 2), Сунтарского улуса (Сунтарский лицей), Таттинского улуса (Ытык-Кюельская средняя школа № 1), Усть-Алданского улуса (Мюрюнская средняя школа № 2), Чурапчинского улуса (Диринская агрошкола), Эвено-Бытантайского улуса (Саккырырская средняя школа), г. Якутска (средние школы №2, № 5, № 7, № 26, Тулагинская, Хатасская). Всего в эксперименте участвовали 503 учащихся, 76 учителей.
Научная новизна исследования заключается в том, что:
- разработаны концептуальные основы региональных систем оценки качества образования, которые представлены в соответствии с классифицированными в диссертации разноуровневыми моделями оценочных систем. Построена типологическая схема моделей региональных оценочных систем, в соответствии с которой предложены различные модели для ее функционирования;
- разработаны фундаментальные методологические положения теории научной организации оценочных систем, включающие, в том числе, новые принципы и функции, ориентированные на задачи эвалюации и мета-эвалюации, и гарантирующие качество результатов оценочных процессов на основе бипарадигмальной методологии измерений;
- получены результаты сравнительного анализа методологических подходов к осуществлению педагогических измерений (классическая теория, современная параметрическая теория IRT и непараметрическая теория IRT), на основе которого разработаны рекомендации по выбору доминирующей методологии измерений в региональной системе оценки качества образования. Сформулированы условия применимости параметрических и непараметрических моделей IRT в региональной системе оценки качества образования;
- разработаны методологические подходы к генерализации данных педагогических измерений, необходимые для распространения результатов выборочных исследований на генеральные совокупности обучаемых, и обоснованного выбора управленческих решений в региональной системе оценки качества образования. Предложены дизайны генерализации, сочетающие различные фасеты для решения задач региональной системы оценки качества образования, в том числе, в условиях существования территориальных и национальных особенностей образовательной системы;
- предложены научные подходы к обеспечению высокой объективности и обоснованности оценок качества результатов обучения в региональной оценочной системе, базирующиеся на теории валидности и надежности в рамках классической и современной теории тестов. Разработаны дидактические и технологические требования к качеству педагогических измерений, рассматриваемых как основополагающий подход к оцениванию в региональных системах оценки качества образования, необходимый для формирования полного информационного базиса образовательной системы;
- предложена совокупность измеряемых (на качественном или количественном уровнях) показателей качества образования в регионе, необходимая для выработки управляющих воздействий на стадии проектирования и функционирования региональных оценочных систем;
- дополнен понятийный аппарат педагогической науки путем ввода ряда определений (региональная система оценки качества образования, оценивание, полный информационный базис, антидискриминационная валидность, фасетный дизайн генерализации, операционализируемость конструкта, образовательный эффект, эвалюация, уровневая шкала, компетенция, аутентичное оценочное средство, конструктная валидность, содержательная валидность, прогностическая валидность и др.), адекватных современным направлениям совершенствования контрольно-оценочных систем в образовании;
- разработаны научные требования к осуществлению комплексного системного подхода в эвалюации, рассматриваемой как основная научно обоснованная составляющая процесса оценивания в образовании и обязательный функциональный компонент современных региональных оценочных систем. Среди предложенных требований важнейшим является требование обязательного сочетания целевой парадигмы и динамического подхода к трактовке качества образования;
- предложены и апробированы методики (линейного иерархического моделирования, дисперсионного анализа ANOVA) учета контекстных характеристик (демографических, социально-экономических, в районах расположения школ и др.) в процессе анализа оценок подготовленности учащихся, эффективности деятельности образовательных учреждений, педагогического состава учебных заведений и прогнозирования изменения качества образования. Применение методик позволит обоснованно выявлять наибольшие отклонения от средних значений по группам объектов (учебных заведений, учащихся, учителей) с учетом различных факторов влияния для принятия управленческих решений и осуществления бенчмаркинга;
- разработан и апробирован (на данных ЕГЭ 2009 г. по русскому языку и математике для представительной выборки выпускников школ республики) подход к обеспечению справедливости оценок учебных достижений обучающихся в регионах, обладающих территориальной и национальной спецификой, на основе нивелирования влияния дискриминирующих факторов и систематических ошибок измерения на оценки качества результатов обучения. Введено понятие «антидискриминирующая валидность» задания, предложена формула для ее оценки;
- предложена совокупность показателей качества процесса и результатов обучения, адекватных различным уровням функционирования систем оценки качества образования. В частности, предложен набор ключевых компетенций для выпускников системы полного среднего образования;
- создана логически исчерпывающая типология видов современных измерителей, ориентированных на преимущественную проверку компетенций, продуктивного уровня усвоения, интеллектуальных умений и приоритеты когнитивного обучения;
- разработана методика шкалирования результатов оценивания в условиях компетентностного подхода к трактовке качества учебных достижений, обеспечивающая сопоставимость результатов оценочных процессов в региональной системе оценки качества образования.
Теоретическая значимость исследования обеспечивается решением ряда инновационных теоретических задач общенаучного и специального характера. В частности, в результате исследования:
- систематизированы представления о категории «качество образования», обоснованы наиболее перспективные подходы к выбору ключевых компетенций для системы полного среднего образования,
- разработаны концептуальные основы региональных систем оценки качества образования и модели оценочных систем, в соответствии с созданной в исследовании типологической схемой;
- разработаны требования к осуществлению комплексного системного подхода в эвалюации, классифицированы ее виды, предложены модели, введено требование сочетания целевой парадигмы и динамического подхода к трактовке качества образования;
- проведена систематизация и дополнение понятийного аппарата педагогической теории и ее методологических основ;
- предложены современные подходы к трактовке качества результатов педагогических измерений, объединяющие в единую систему теории надежности и валидности, сформулированы требования, обеспечивающие их повышение в процессе измерений;
- выделены и структурированы совокупности показателей качества результатов обучения для региональной системы оценки качества образования;
- предложены теоретические подходы к снижению действия дискриминирующих факторов в условиях регионов с территориальной или национальной спецификой при использовании оценок для сравнительных исследований в управлении качеством обучения и принятия административных решений в образовании;
- разработаны теоретические подходы к шкалированию результатов педагогических измерений в условиях компетентностного подхода, обеспечивающие сочетание количественного и качественного уровня измерений и высокую сопоставимость данных о результатах обучения.
Практическая значимость исследования достигается за счет значительных методических наработок, апробированных на представительной выборке выпускников школ республики (методика линейного иерархического моделирования, методика дисперсионного анализа ANOVA, методика оценки систематических ошибок измерения для обеспечения справедливости оценок учебных достижений обучающихся, методика шкалирования результатов оценивания в условиях компетентностного подхода к трактовке качества учебных достижений, обеспечивающая сопоставимость результатов учащихся по годам и внутри одного года).
Достоверность и обоснованность новых научных результатов исследования обеспечивалась путем использования современных источников информации в области педагогики, теории педагогических измерений, теории управления образовательными системами, теории генерализации, теории надежности и валидности, бипарадигмальной методологии эвалюации и методологии IRT, получивших признание научной общественности. Достижению должного общенаучного уровня диссертационного исследования и обоснованности его результатов способствовало использование системного подхода, соблюдение логики общенаучного подхода с опорой на методологию педагогической науки.
Повышению обоснованности методических подходов, предлагаемых в диссертационном исследовании для решения ряда поставленных в нем проблем, содействовало проведение эмпирических проверок инновационных методических разработок, апробированных на результатах ЕГЭ 2009 года, полученных выпускниками школ Якутии по русскому языку и математике. Результаты эмпирических проверок приведены в приложениях к диссертационному исследованию.
Апробация и внедрение результатов исследования. Основные положения диссертационного исследования отражены в публикациях автора в виде статей в журналах, входящих в перечень изданий, рекомендуемых ВАК МО и Н РФ. Основные идеи диссертации докладывались и были представлены в форме обсуждения на научных конференциях и семинарах разного уровня, в том числе:
на международных конференциях: «Republic of Sakha and International Education: Development prospects” (Якутск, 2000 г.), «Республика Саха и международное образовательное пространство: перспективы развития» (Якутск, 2001 г.), «Оценка образовательных достижений в рамках национальных экзаменов» (Москва, 2004 г.), «Национальные экзамены в системе оценки качества образования» (Москва, 2005 г.), «Этнос. Образование. Личность» (Якутск, 2005, 2007 г.г.);
на Всероссийских конференциях, совещаниях и семинарах: III Всероссийская научно-практическая конференция «Управление качеством» (Москва, 2004 г.), XIV Всероссийское совещание «Проблемы качества образования» (Москва, 2004 г.), IV Всероссийская научно-практическая конференция «Управление качеством» (Москва, 2005 г.), II Межрегиональный семинар «Построение общероссийской системы оценки качества образования» (Москва, 2005 г.), Межрегиональная научно-практическая конференция «Организация и задачи эксперимента по введению единого государственного экзамена» (Санкт-Петербург, 2004 г.), Межрегиональная научно-практическая конференция «Мониторинг качества образования: опыт, модели и проблемы» (Санкт-Петербург, 2005 г.), Межрегиональное совещание «Проблемы разработки общероссийской системы оценки качества образования» (Москва, 2006), Всероссийская научно-практическая конференция «Управление инновациями в образовании» (Санкт-Петербург, 2006 г.), V Всероссийская научно-практическая конференция (Сочи, 2001 г.), VIII Всероссийская научно-методическая конференция Федерального центра тестирования «Развитие тестовых технологий в России» (Москва, 2006 г.), IX Всероссийская научно-методическая конференция Федерального центра тестирования «Развитие тестовых технологий в России» (Москва, 2007 г.), Межрегиональный семинар «Создание и апробация организационных систем оценки качества общего и профессионального образования на региональном уровне» (Москва, 2007 г.); Всероссийская научно-практическая конференция (Сочи, 2009 г.);
на региональных конференциях: научно-практическая конференция «Качество высшего образования» (Якутск, 1999 г.), научно-практическая конференция «Информационные технологии в науке, образовании и экономике» (Якутск, 2001 г.), научно-практическая конференция «Новые технологии в образовании. Тестирование и аттестация качества образования» (Вилюйск, 2002 г.), научно-практическая конференция «Единый государственный экзамен, его роль в системе оценки качества образования» (Якутск, 2002 г.), научно-практическая конференция «Физика и окружающий мир» (Якутск, 2005 г.), региональная межвузовская конференция «Организационно-методические аспекты управления качеством образовательного процесса в вузе» (Якутск, 2007 г.).
В ходе работ по подготовке диссертационного исследования проведены учебно-методические семинары для учителей математики (2007, 2010 г.), русского языка (2008 г.), физики (2007 г.), обучающие семинары для тестологов, в содержании которых апробировались результаты проведенной научно-исследовательской работы.
Результаты исследования легли в основу создания и функционирования Центра аттестации и контроля качества образования при Правительстве РС (Я), Государственной службы по контролю и надзору в сфере образования и науки при Президенте РС (Я), разработки и функционирования системы оценки качества образования в РС (Я). Диссертационное исследование является результатом многолетней научно-педагогической работы автора в системе общего, начального и среднего профессионального образования республики.
Основные положения, выносимые на защиту:
1. Под системой оценки качества образования понимается структурированная целостность научных, методических, нормативно-правовых, организационных, технологических, функциональных и материально-технических компонентов, обеспечивающих оптимальное выполнение оценочных функций, действующих на единой концептуально-методологической основе и способствующих повышению эффективности управления качеством образования. Результаты анализа систем оценки качества образования в регионах России, проведенного в историческом и сравнительном контекстах, показали их эклектичность и отсутствие научных составляющих, что позволило сделать вывод об актуальности темы исследования. Научный базис оценочных систем в регионах, обладающих значительной территориальной разобщенностью, национальными школами или другими социокультурными особенностями, требует создания специальных методик и технологий оценивания для исключения влияния дискриминирующих факторов для принятия обоснованных административно-управленческих решений на основе анализа данных о качестве образования.
2. Основой научно обоснованного оценивания в образовании и обязательным функциональным компонентом современных региональных оценочных систем является эвалюация. Современная теория проектной и программной эвалюации должна опираться на бипарадигмальную методологию, методологию мета-эвалюации, теорию педагогических измерений (современную и классическую), и обеспечивать три главных направления деятельности: поддержку конкурентоспособности образовательной системы, проведение научных разработок для осуществления оценочных процессов, обеспечение информационной базы качества образования. Модели эвалюации (целевая модель, ресурсно-потенциальная модель, модель «вход - выход» и модель «вход - процесс - выход») определяют приоритеты в оценке результатов образовательных воздействий и строятся на основе четко очерченного дизайна и иерархии показателей функционирования. Результаты эвалюации определяются образовательными эффектами, оценка которых должна базироваться на сочетании количественных и качественных уровней анализа для получения обоснованных данных по приросту качества и прогнозирования тенденций его изменения, проверки гипотез относительно взаимного влияния показателей качества образования, построения иерархии показателей, разделения компонент дисперсии и ковариации для углубленного анализа факторов влияния на эффективность образовательного процесса.
3. Построение эффективной контрольно-оценочной системы и научных подходов к ее функционированию на различных уровнях управления должно опираться на сочетание целевой и динамической трактовок качества результатов образования при условии преимущественной ориентации на последнюю в силу того, что она позволяет осуществить модернизацию контрольно-оценочных систем в направлении повышения объективности и обоснованности результатов оценивания, является наиболее адекватной компетентностной трактовке качества результатов образования и обеспечивает полный информационный базис оценочных систем, необходимый для их эффективного функционирования.
4. Методологический базис теории педагогических измерений должен быть пополнен теорией валидизации, актуальность которой резко возрастает в связи с введением компетентностно-ориентированного подхода к трактовке качества результатов образования. Оценка качества результатов образования в рамках компетентностного подхода требует анализа содержательной, конструктной и прогностической валидности. При функционировании оценочных систем в регионах с высокой территориальной разобщенностью, национальными школами или другими особенностями, необходима оценка антидискриминантной валидности отдельных заданий и измерителя.
5. Процесс оценивания регламентируется рядом общих принципов (принципов релевантности и доступности, научности, полноты и всесторонности информации, систематичности оценивания, сочетания внешней и внутренней оценок качества образования, прогностической направленности оценивания, сочетания количественных и качественных уровней измерения, информационной безопасности) и специфическими принципами, ориентирующими на эффективное функционирование контрольно-оценочных систем. К числу важнейших специфических принципов следует отнести принцип функционально-структурного строения целостной региональной системы оценки качества образования, принцип повышения управляемости качеством образования на основе прогнозирования, принцип репрезентативности состава и данных оценочных процессов, принцип динамичности при оценивании показателей качества образования, принцип минимакса и контроля дисперсии результатов оценочных процессов, принцип систематического роста числа функций региональной системы оценки качества образования, принцип высокой надежности и валидности оценок, принцип учета специфичности объектов эвалюации и запросов пользователей, принцип контекстного анализа при интерпретации результатов эвалюации.
6. Концепция региональной системы оценки качества образования основывается на приоритете педагогических измерений, инновационных технологий обучения, операционализируемых показателей качества обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности. Такой концептуальный подход должен носить комплексный характер и строиться на сочетании динамического (включение временного фактора в обработку и интерпретацию результатов измерения), сравнительного (сопоставление результатов измерения по отдельным показателям качества), дифференцирующего (соотнесение баллов учащихся со среднестатистическими нормами и последующая качественная интерпретация для установления причин смещения личностных показателей относительно статистических норм) и прогностического (выявление тенденций в изменении качества образования) анализа на различных уровнях управления качеством образования.
7. Для эффективного функционирования систем оценки качества образования необходимо формирование полного информационного базиса, обеспечиваемого выполнением требований высокой надежности результатов оценивания, высокой валидности (содержательной, конструктной, прогностической, антидискриминантной (для отдельных регионов)) результатов оценивания, аутентичности методов и средств оценивания в соответствии с доминирующей парадигмой качества результатов обучения. Формирование полного информационного базиса основано на применении аппарата теории педагогических измерений, используемого для обоснования качества оценок, минимизации ошибок измерения и перехода в количественную шкалу типа интервальной на базе вероятностных моделей современной теории тестов (Item Response Theory). Для оценки уровня объективности результатов оценочных процессов в региональной системе оценки качества образования необходимо применение теории генерализации и учет ряда смещающих факторов, ориентированных на специфику региона.
В регионах с высокой территориальной разобщенностью учебных заведений необходимо обращение к адаптивному тестированию, обеспечивающему высокую эффективность, высокий уровень секретности, индивидуализацию темпа выполнения оценочных процедур, повышение уровня мотивации к оценочным процедурам у учащихся, высокую сопоставимость результатов оценивания, исключение неоправданных временных, организационных и финансовых затрат, возникающих при традиционном оценивании.
В регионах с национальными школами должны обеспечиваться специальные требования, направленные на выполнение принципа справедливости оценочных процедур и связанные с минимизацией негативного влияния систематических ошибок и повышением валидности измерителей.
Структура диссертации. Диссертация состоит из введения, четырех глав, выводов, заключения, списка литературы и 5 приложений, содержащих результаты обработки данных ЕГЭ 2009 г. по компьютерным программам (SPSS, ANOVA, ConQuest и HLM).
