Содержание к диссертации
Введение
Глава I. Теоретические основы, формы и средства оценки учебных достижений в системе общего образования
1.1. Краткая истории развития оценки в России 12
1.2. Теория педагогических измерений как научный базис оценочных процессов в образовании
1.3. Оценка (оценивание), её функции в системе общего образования. Единый государственный экзамен как форма оценки учебных достижении.
1.4. Инновационные формы и средства оценки учебных достижений, требования к качеству контрольных измерительных материалов
1.5. Надежность педагогических измерений, её связь с объективностью 39
1.6. Валидность педагогических измерений, её виды 45 Выводы по I главе 48
Глава И. Результаты единого государственного экзамена как информационная основа системы общего образования
2.1. Модель мониторинга ЕГЭ, дидактические и технологические требования к ее реализации
2.2. Роль мониторинга ЕГЭ в управлении качеством общего образовании на региональном и федеральном уровнях
2.3. Методики оценивания надежности и валидности результатов ЕГЭ 83
2.4. Методики шкалирования и выравнивания данных ЕГЭ в условиях сопоставимости по вариантам и по годам
2.5. Анализ и интерпретация данных ЕГЭ в управлении качеством образования
Выводы по II главе 130
Заключение 132
Список публикаций 134
Список литературы 13 5
Приложения 145
- Краткая истории развития оценки в России
- Надежность педагогических измерений, её связь с объективностью
- Роль мониторинга ЕГЭ в управлении качеством общего образовании на региональном и федеральном уровнях
- Методики шкалирования и выравнивания данных ЕГЭ в условиях сопоставимости по вариантам и по годам
Введение к работе
Необходимость и актуальность объективного контроля качества образования является одной из важнейших задач, зафиксированных в Федеральной целевой программе развития образования на 2006-2010 годы и Концепции модернизации российского образования на период до 2010 года. Формирование национальной системы обеспечения качества образования, разработка и совершенствование государственных образовательных стандартов, внедрение в учебный процесс новых образовательных технологий и другие процессы, протекающие в образовании в настоящее время, вызывают потребность в повышении точности и обоснованности оценок подготовленности обучающихся в силу того, что педагогическая оценка является не только одним из показателей качества образования, но одним из факторов, влияющих на повышение этого качества.
В связи с этим, особую важность приобретают исследования, направленные на совершенствование контрольно-оценочных процессов на основе аппарата и методов теории педагогических измерений с целью обеспечения высокой объективности данных о качестве учебных достижений, их сопоставимости в сравнительном и прогностическом анализе при проведении мониторинга и накоплении информации о качестве образования. Актуальны также исследования, нацеленные на разработку научных подходов к интерпретации результатов педагогических измерений, поскольку в период проведения эксперимента по введению единого государственного экзамена (ЕГЭ) у руководителей образовательных учреждений, органов управления образованием разных уровней, у учителей и самих учащихся сформировалась потребность в объективной информации о качестве образования.
ЕГЭ является одним из основных механизмов функционирования общероссийской системы оценки качества образования (ОСОКО), создание которой согласно решению Государственного Совета Российской Федерации в марте 2006 года входит в число ключевых направлений образовательной
политики в стране. Эксперимент по введению ЕГЭ проводится в России с 2001 года в соответствии с утвержденным правительством Российской Федерации Планом действий в области социальной политики и модернизации экономики на 2000-2001 годы и соответствующими постановлениями Правительства Российской Федерации. Основной его целью является введение формы независимой оценки уровня учебных достижений обучающихся с использованием заданий стандартизированной формы (контрольные измерительные материалы), выполнение которых позволит установить уровень учебных достижений обучающихся по освоению федерального компонента государственного образовательного стандарта среднего (полного) общего образования.
Анализ результатов эксперимента показывает, что ЕГЭ оказывает существенное влияние на систему образования, выполняя роль связующего и регулирующего звена между общеобразовательными учреждениями и профессиональными учебными заведениями, обеспечивая единство требований к качеству подготовки выпускников системы общего образования. Результаты ЕГЭ закладывают информационную базу, которая может использоваться для сравнительных оценок качества образования (на федеральном и региональном уровнях и на уровне отдельного образовательного учреждения) и прогнозирования тенденций для повышения обоснованности принятия оперативных и стратегических управленческих решений.
Эксперимент по введению ЕГЭ переходит в завершающую фазу. Правительством Российской Федерации внесен на рассмотрение Государственной Думы Федерального Собрания Российской Федерации проект федерального закона «О внесении изменений в Закон Российской Федерации "Об образовании" и Федеральный закон "О высшем и послевузовском профессиональном образовании" в части введения единого государственного экзамена», принятый Государственной Думой в первом чтении 20 октября 2006 г.
Такая постановка вопроса вызывает необходимость проведения глубокого
анализа и теоретического обоснования ЕГЭ как современной формы оценки учебных достижений в условиях высокой объективности (надежности) и валидности. В частности, в развернутом научном обосновании нуждаются процедуры оценивания качества эмпирических данных (оценка надежности и валидности), шкалирования результатов, требования к инструментарию ЕГЭ (контрольным измерительным материалам), анализу и интерпретации данных ЕГЭ в режиме мониторинга для управления качеством образования. Таким образом, актуальность проведения данного диссертационного исследования обусловлена необходимостью решения современных образовательных и социальных проблем, непосредственно связанных с проведением государственной политики в области образования.
Многие аспекты оценочной деятельности уже освещены в педагогической науке - среди них: история развития педагогической оценки знаний в России и ее современное состояние (В.М.Полонский, С.А.Стинова и др.); развитие оценочной деятельности учителя и учащихся в учебно-воспитательном процессе (Н.В.Селезнев и др.); методика контроля готовности к профессиональной деятельности студентов средних специальных учебных заведений (Л.Г.Семушина и др.) и многие другие. Однако проблема оценки учебных достижений в форме ЕГЭ ранее не выступала в качестве специального самостоятельного предмета исследования.
В данном исследовании ЕГЭ рассматривается как современная форма оценки учебных достижений, основанная на использовании инновационных измерителей - КИМ. В отличие от традиционных средств контроля и оценки учебных достижений КИМ разрабатываются по специальной технологии, опирающейся на теорию педагогических измерений, и отвечают научно обоснованным критериям качества, выдвигаемым теорией педагогических измерений и обеспечивающим высокую объективность и обоснованность результатов выпускников.
Таким образом, основу научных подходов к созданию КИМ и их применению в ЕГЭ закладывает теория педагогических измерений,
6 систематические исследования в области которой ведутся В.С.Аванесовым, В.А.Болотовым, Н.Ф.Ефремовой, В.И.Звонниковым, Г.С.Ковалевой, В.Ж.Куклиным, В.Г.Наводновым, Н.Н.Найденовой, Ю.М.Нейманом, А.О.Татуром, В.А.Хлебниковым, М.Б.Челышковой, А.Г.Шмелевым и др., а также многочисленными учеными за рубежом.
Несмотря на многолетние исследования в области педагогических измерений по направлениям, связанным с научным обоснованием подходов к созданию КИМ и использованию результатов ЕГЭ в режиме мониторинга, на сегодняшний день все еще существуют не решенные вопросы, проблемный характер которых усугубляется рядом противоречий между:
- расширением масштабов использования научно-обоснованных методов
педагогического измерения в ЕГЭ и преобладанием практики традиционного
субъективного контроля в школах;
современными подходами к трактовке качества образования и традиционными методиками разработки тестов с выбором ответов, ориентированных на приоритет проверки умений репродуктивного уровня;
- введением инновационных форм заданий в практику ЕГЭ,
увеличивающих разброс результатов измерений за счет экспертных методов, и
требованиями теории педагогических измерений, обуславливающими
необходимость обеспечения высокой надежности измерений и максимальной
стандартизации оценочных процедур;
- потребностью в повышении качества процесса и результатов обучения
и недостаточностью разработки научных подходов к получению объективной
информации о качестве образования, отвечающей требованиям теории
педагогических измерений (в т.ч. высокой надежности, валидности и
сопоставимости);
- потребностью в накоплении и использовании статистической
информации, полученной по данным ЕГЭ, для управления качеством
образования и отсутствием разработанных в достаточной степени методик её
сбора, обработки, шкалирования, анализа и интерпретации в условиях сопоставимости данных в рамках систем мониторинга качества образования.
Разрешение данных противоречий, заключающиеся в выявлении сущностной основы единого государственного экзамена как современной формы оценки учебных достижений и определило основную проблему настоящего исследования.
Объект исследования: оценка в системе образования.
Предмет исследования: единый государственный экзамен как современная форма оценки учебных достижений.
Цель исследования: на основе обобщения и систематизации эмпирических данных, полученных в ходе проведения ЕГЭ, теоретически обосновать ЕГЭ в качестве современной формы итоговой оценки учебных достижений, обеспечивающей высокую надежность и валидность результатов измерения.
Гипотеза исследования единый государственный экзамен обеспечивает оценку учебных достижений выпускников с высокой надежностью и валидностью, если его научная организация строится в парадигме сочетания количественных и качественных уровней измерения; для измерений в ЕГЭ используется научно-обоснованный инструментарий, эффективные методы шкалирования и выравнивания; обработка, анализ и интерпретация результатов ЕГЭ основывается на современной методологии педагогических измерений (теории IRT), а получаемая информация позволяет проводить лонгитюдные исследования в режиме мониторинга.
Цель исследования и выдвинутая гипотеза определили следующие задачи исследования:
- проанализировать и обобщить основную литературу по проблеме исследования, выявить основные тенденции совершенствования оценки учебных достижений и определить место единого государственного экзамена в системе современных оценочных средств и методов, интегрирующих количественные и качественные оценки подготовленности учащихся;
- обобщить эмпирические данные, полученные в ходе проведения
единого государственного экзамена и дать дидактическую характеристику ЕГЭ
как современной формы оценки учебных достижений;
обобщить и систематизировать дидактические требования к инструментарию, процедурам шкалирования, анализа и интерпретации результатов ЕГЭ;
- спроектировать модель мониторинга, обеспечивающую эффективное
использование информации для управления качеством образования.
Методологическую основу исследования составили:
- фундаментальные исследования по проблемам качества образования и
его сущности (В.И.Байденко, В.П.Беспалько, В.А.Караковский, В.А.Качалова,
В.С.Лазарев, О.Е.Лебедева, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый,
М.М.Поташник, Н.А.Селезнева, В.М.Соколов, А.И.Субетто, О.Г.Хомерики,
В.Д.Шадрикова, Е.А.Ямбург и др.);
-современная методология конструирования и применения тестов в образовании - Item Response Theory (В.И.Звонников, Г.С.Ковалева, В.Г.Наводнов, Н.Н.Найденова, Ю.М.Нейман, А.О.Татур, М.Б.Челышкова, А.Г.Шмелев, A.Birnbaum, R.Hambleton, J.Keeves, F.Lord, G.Rasch, D.Weiss и
др-);
- научные исследования по проблемам единого государственного экзамена
(В.А.Болотов, Н.Ф.Ефремова В.И.Звонников, Г.С.Ковалева, В.Ж.Куклин,
М.Б.Челышкова, А.Г.Шмелев и др.);
-исследования по проблемам оценки и контроля (В.С.Аванесов, Ю.Ф.Гущин, В.А.Кальней, Г.С.Ковалева, А.С.Королев, В.Ф.Одоевский, Н.И.Пирогов, В.М.Полонский, К.Д.Ушинский, С.Е.Шишов и др.);
- исследования в области мониторинга качества образования
(Т.И.Алексеева, В.И.Андреев, В.А.Кальней, В.Ж.Куклин, А.Н.Майоров,
С.Е.Шишов и др.);
- методологические основы управления образовательными системами
(В.П.Беспалько, В.Н.Бураков, Э.М.Коротков, В.С.Лазарев, А.А.Макаров, Н.Д.Малахов, Д.А.Новиков, М.В.Рыжаков, П.И.Третьяков и др.);
В соответствии с логикой диссертационного исследования для решения поставленных задач и проверки гипотезы использованы следующие методы исследования: анализ литературы, обобщение, моделирование, статистические методы анализа данных, сравнение, индукция и дедукция, научное доказательство, абстрагирование.
На защиту выносятся следующие положения:
1. Единый государственный экзамен является современной формой
государственной (итоговой) аттестации, обеспечивающей высокую надежность
(по Кронбаху), валидность (прогностическую и содержательную) результатов
оценивания учебных достижений при выполнении требований теории
педагогических измерений (репрезентативность отображения требований ГОС
в содержании КИМ, высокая дифференцирующая способность заданий КИМ,
адекватность трудности заданий КИМ подготовленности выборки
выпускников, оптимальная длина КИМ, высокая гомогенность содержания
заданий и т.д.).
2. Модель мониторинга учебных достижений, предложенная в работе,
обеспечивает эффективное использование данных в управлении качеством
образования, если используемые результаты педагогических измерений
(единого государственного экзамена и иных оценочных процедур)
удовлетворяют условиям комплексности и сопоставимости, что достигается в
случае выполнения приведенных в работе дидактических и технологических
требований к процедурам шкалирования и выравнивания, структурирования
информации в соответствии с уровнями управления образованием, учету
дополнительных факторов социально-экономического характера и
стандартизации методик интерпретации полученных результатов.
Научная новизна и теоретическая значимость исследования состоит в следующем:
- показано, что оценки уровня учебных достижений выпускников в ЕГЭ
могут быть интерпретированы в контексте современных дидактических
требований к содержанию среднего (полного) общего образования, поскольку
задания КИМ ориентированы на проверку различных уровней деятельности, в
том числе, на проверку творческих умений выпускников;
- получены оценки надежности и валидности результатов ЕГЭ,
установлено их соответствие требованиям теории педагогических измерений;
- показано, что оценки учебных достижений, получаемые в процессе
государственной (итоговой) аттестации в форме ЕГЭ, закладывают
информационную базу ОСОКО в форме образовательной статистики,
отвечающей требованиям объективности, сопоставимости и прогностичности;
предложена модель мониторинга данных ЕГЭ с учетом информационных потребностей различных уровней управления качеством образования;
обоснована целесообразность совместного использования данных ЕГЭ и результатов, полученных при проведении иных измерительных процедур (портфолио, тестов практических умений, кейс-измерителей).
Практическая значимость исследования заключается в разработке совокупности методик для оценивания надежности и валидности данных ЕГЭ, шкалирования баллов выпускников в условиях сопоставимости данных по вариантам КИМ одного года и по годам. Разработаны практические рекомендации по анализу и интерпретации результатов ЕГЭ для работников органов управления образованием, методистов и школьных преподавателей в режиме мониторинга данных ЕГЭ.
Апробация результатов
Результаты проведенного исследования обсуждались на заседаниях кафедры педагогических измерений Исследовательского центра и докладывались на научных конференциях, совещаниях, семинарах и симпозиумах: межрегиональных совещаниях- семинарах по подготовке и проведению эксперимента по введению единого государственного экзамена (гг. Краснодар, Великий Новгород, 2002 г., г.Хабаровск, 2005 г.); региональной
11 научно-практической конференции «Единый государственный экзамен в региональной системе управления качеством образования» (г.Ростов-на-Дону, 2003 г.); региональных конференциях и семинарах (гг.Якутск, 2005 г., Волгоград, 2002 г.); на XI Симпозиуме «Квалиметрия в образовании: методология, методика, практика» (г.Москва, 2006 г.); Всероссийском совещании-семинаре ответственных секретарей приемных комиссий высших учебных заведений по вопросам организации приема в вузы (г.Москва, 2006 г.); на VII Региональной научно-практической конференции «Профессиональная ориентация и методики преподавания в системе школа-вуз в условиях перехода к единой форме государственной аттестации выпускников общеобразовательных учреждений» (г.Москва, 2006 г.); на II международной конференции «Оценка качества образовательных достижений в системе общего образования» (г.Москва, 2006 г.).
Основные этапы исследования
На первом этапе (2002 - 2003 гг.) проводился теоретический анализ литературы по проблемам контроля и оценивания учебных достижений, в том числе методами теории педагогических измерений, изучался отечественный опыт по созданию систем мониторинга качества образования. Этап носил аналитико-поисковый и научно-исследовательский характер, на нем осуществлялась подготовка теоретической базы исследования, формулировалась проблема, определялись цели и задачи исследовательской работы, исследовался опыт первых лет эксперимента по введению ЕГЭ для выявления возможностей использования данных ЕГЭ в управлении качеством образования, фиксировались позитивные и негативные последствия применения данных тестирования при выработке решений на различных уровнях управления образованием.
На втором этане исследования (2004 - 2005 гг.), имеющем аналитико-синтетический характер, интегрировался и обобщался практический опыт, были получены основные теоретические результаты (с использованием системного подхода), анализировался банк эмпирических данных и данных
анкетирования, проводилась разработка и апробация методик для использования данных ЕГЭ в управлении качеством образования.
На третьем этапе (2006 г.) выполнялась работа по определению направлений практического использования полученных результатов, их апробации, подведению итогов исследования и их оформлению в виде диссертационной работы.
Структура диссертации: Диссертация состоит из введения, двух глав, заключения, списка литературы, приложений.
Краткая истории развития оценки в России
Оценка в том или ином виде всегда присутствовала в образовании. В процессе исторического развития образования менялись лишь формы и средства, приоритеты в оценках и приемы их выставления, интенсивность проведения контрольных мероприятий, меры воздействия на учащихся, акценты при интерпретации результатов.
Оценка, являясь необходимым элементом образовательного процесса, связывает образовательный процесс с результатом, оказывая влияние не только на организацию и повышение эффективности данного процесса, но и на развитие самого обучающегося - субъекта образования, в частности, на формирование его самооценки как стержневой личностной характеристики. Понятия оценки как деятельности педагога по определению степени соответствия знаний обучающихся требованиям, предъявляемым на данном этапе обучения, сопоставления его знаний с нормами, заложенными в государственных образовательных стандартах (ГОС) и образовательных программах, и отметки как способа фиксации этой оценки в виде определенного знака часто не дифференцируются в педагогической литературе, хотя отличие их понятийного содержания отмечалось еще А.В.Захаровой в конце XX в. Оценивание (в англоязычной литературе - Assessment). - это процесс формирования оценки учебных достижений, в котором интегрируются и представляются в определенной шкале или шкалах данные, полученные при тестировании, использовании портфолио, проведении экзаменов, выполнении практических работ учащимися, рейтинговании их результатов, а сами учебные достижения рассматриваются как итоговые результаты обучения и являются синонимом термина «подготовленность» [57, 152].
Оценивание является необходимым компонентом процесса контроля, результаты которого имеют большое значение для учащихся и их родителей, поскольку школьные оценки влияют в той или иной степени на будущее ребенка и вносят элемент соревнования в отношения учащихся. Казалось бы, такие аргументы достаточно важны для учителя, чтобы стремиться к максимальной объективности и беспристрастности, однако, этого часто не происходит, например, в тех случаях, когда оценки ставятся в спешке или включают элемент влияния личностных отношений между учителем и учеником, посещаемости занятий, поведения учащегося на уроках и т.д..
Исследователи отмечают, что отдельные теоретические представления об оценке сложились достаточно давно - в конце XVIII - начале XIX века. Их основа была заложена в работах педагогов того времени (В.Ф.Одоевский, Н.И.Пирогов, К.Д.Ушинский и др.) и касалась, в основном, оценки репродуктивных знаний учащихся (по образцу, предложенному педагогом). В целом в этот исторический период оценка чаще всего рассматривалась исключительно в контексте принуждения к обучению, с ее помощью подводился итог определенным этапам обучения и акцентировались воспитательные воздействия на учащихся.
Проблема педагогической оценки, как известно, нашла отражение еще в трудах Я.А.Коменского, В.Г.Белинского, Н.И.Пирогова и других, которые подчеркивали демократическое значение оценки в организации школы и образования в целом. Позднее проблема педагогической оценки получила развитие в работах Ш.А.Амонашвили, Ф.В.Костылева, Е.И.Перовского, В.М.Полонского, С.А.Отиновой, С.А.Осокиной и др. Большое значение в решении проблемы педагогической оценки имели исследования ее истории (А.Д.Егоров, Ф.Ф.Королев и др.); процесса оценивания (Ю.К.Бабанский, Т.А.Ильина, П.И.Пидкасистый и др.); методики оценки качества усвоения учебного материала (В.Н.Белобородов, А.О.Татур и др.); проблемы квалиметрии знаний (В.П.Беспалько, В.С.Идиатулин, В.С.Леднев, В.М.Соколов, А.И.Субетто, В.С.Черепанов и др.); психолого-педагогических требований к организации оценочных ситуаций (Е.Д.Божович); зарубежного опыта оценки качества образования и качества подготовки (О.Л.Ворожейкина, М.В.Кларин, Г.С.Ковалева, К.Н.Цейкович, C.Follin, D.Kolardyn, R.F.Mager, P.Maisonneuve, P.Rossano, P.Vanroose, F.Viallet и многие др.) [106].
He меньший интерес представляют исследования оценочных технологий, в частности, тестового контроля знаний (В.С.Аванесов, В.Ю.Переверзев, И.А.Рапопорт, А.О.Татур, М.Б.Челышкова, G.de Landesheere, J.-C.Mothe и др.); компьютерных оценочных технологий (Е.В.Дикарева, В.И.Душенко, З.Д.Жуковская, Л.В.Лаврова, В.И.Михеев, И.А.Сальников, D.Bougrain, A.Lumsdaine, MMontmoliin, G.Otman и др.); рейтингового контроля (И.Г.Бондарев, Л.А.Дитяткина, Ф.Ш.Сесаманлы, В.М.Жоликова, С.И.Марков, А.М.Половко и др.); экспертной оценки (Н.В.Кузьмина, Н.Ф.Талызина и др.).
В целом, как показывает анализ, проблема оценки и формирования оценочных суждений рассматриваются в отечественной науке достаточно широко. Так, работы В.Л.Беспалько, И.Л.Лернера, В.М.Полонского, Н.М.Скаткина, С.Д.Некрасова и других посвящены методологическому обоснованию процесса педагогического оценивания, рассматриваемого в контексте контролирующей, обучающей и корректирующей функций оценки и в единстве с требованиями, предъявляемым к формируемым знаниям, умениям, навыкам обучающихся. В трудах многих исследователей (Ш.А.Амонашвили, А.В.Захарова, А.И.Липкина, В.А.Кан-Калик, С.Д.Некрасов, Л.А.Рыбак и др.) на первый план выходят психологические аспекты оценки, ее ориентирующая, развивающая, управляющая и воспитывающая функции, сущность оценки, структура и механизмы оценочных актов.
В современной трактовке оценка как процесс (оценивание), который реализуется в ходе контроля знаний, представляет собой измерение и определение степени выраженности выделенных желаемых признаков качественно или в принятой шкале - количественно. В зависимости от выбора шкалы различают оценки в виде оценочных суждений, которые качественно характеризуют состояние успеваемости, и оценки в виде отметки (для которых чаще всего используются числовые или символьные последовательности). В соответствии с современной трактовкой с конца XX века оценивание, как правило, рассматривается в мировой и отечественной науке более широко, в сочетании с общими проблемами управления качеством образования и модернизации его содержания. Во многих работах (СИ. Архангельский, В.Л. Беспалько, Т.А. Ильина, В.Г. Казанович, Е.С. Коломиец, Л.В. Макарова, А.Т. Молибог, Н.М. Розенберг, Н.А. Селезнева, А.И. Субетто, Н.Ф. Талызина, Ю.Г. Татур и др.) определены количественные и качественные аспекты оценки, информационно-статистические методы измерения, надежность и эффективность различных видов проверочных заданий, описаны тестовые системы контроля знаний, рассмотрено использование индивидуального рейтинга, обоснованы методологические основы педагогической квалиметрии.
Надежность педагогических измерений, её связь с объективностью
Одной из основных задач проектирования ЕГЭ является создание объективного инструмента оценки учебных достижений, где объективность определяется двумя основными характеристиками - надежностью и валидностью.
Объективность всегда считалась неотъемлемой характеристикой результатов тестирования в силу их независимости от субъективных суждений педагога, но абсолютная объективность - это недостижимая характеристика результатов любых, в том числе и педагогических, измерений в силу существования ошибочных компонентов и случайных факторов, которые неизбежно влияют на результаты любого измерения. Поэтому при использовании тестов можно лишь говорить о высокой или низкой объективности, оценка которой основана на выявлении надежности и валидности педагогических измерений.
Термин «объективность измерений» в педагогических измерениях различают как: процедурная объективность, классическая (традиционная) объективность и инвариантная (специфическая) объективность [8,48,61].
Процедурная объективность подразумевает независимость результатов тестирования от субъективных суждений педагога, и обеспечивается равенством условий тестирования для всех учащихся, использованием для одной группы тестируемых параллельных (совпадающих по трудности и другим характеристикам) вариантов теста, стандартизацией процедуры проверки результатов и максимальной ее автоматизации. Но для получения объективных данных недостаточно просто перейти от традиционных экзаменов к любым тестам, устранив влияние педагога, поскольку при таком подходе не выдвигается никаких требований к качеству теста.
Применение теория IRT позволяет оценить подготовленность обучаемых независимо от трудности заданий теста, обеспечивает достижение инвариантной объективности измерений, которая превышает объективность, обеспечиваемую при использовании классической теории тестов.
Согласно основным положениям теории IRT, инвариантная объективность характеризуется тем, что на оценку каждого испытуемого выборки не влияют оценки других испытуемых и трудность заданий теста. Благодаря этому получаемые оценки подготовленности учащихся будут более точными, чем те, которые получаются при использовании традиционной теории для конструирования и применения тестов. Правда, достижение эффекта специфической объективности требует также применения специальных процедур подгонки данных тестирования к требованиям моделей теории IRT и длительной и серьезной работы над тестом [49, 52, 60].
Надежность, равно как и рассматриваемая ниже валидность являются взаимосвязанными свойствами, характеризующими различные аспекты качества педагогических измерений, чему предшествуют определение размерности. Выявление размерности является необходимым предварительным этапом работ по оцениванию надежности результатов измерений. Таким образом, качество полученных данных тестирования при педагогических измерениях проходит процесс анализа и научного обоснования в отличие от традиционного контроля, где не формируются никакие представления об оцениваемых переменных, их соответствия планируемым целям контроля и точности их оценок.
Как уже было отмечено ранее, надежностью называется характеристика точности тестовых результатов и их устойчивости к действию случайных факторов. Повышению надежности педагогических измерений способствует снижение субъективизма при оценке результатов выполнения заданий теста. Субъективизм оценок является непременным атрибутом оценок при включении в тест заданий со свободно конструируемыми ответами. При анализе результатов их выполнения всегда наблюдаются различия между подходами экспертов и между ответами одного и того же испытуемого при повторном выполнении теста, следствием которых является снижение надежности теста. Наиболее эффективный метод преодоления отмеченного недостатка -использование закрытых заданий, которые благодаря возможности объективной оценки результатов выполнения теста, при прочих равных, ведут к повышению его надежности [47, 52, 65].
Приемлемые оценки надежности варьируют в довольно небольшом диапазоне и зависят от целей использования результатов измерений. Для управления качеством усвоения новых знаний в текущем учебном процессе вполне достаточно, чтоб оценки надежности колебались на уровне 0,7. При использовании тестов в рубежной или итоговой аттестации учащихся, проводимой силами школы, желательно, чтобы оценки надежности были выше и достигали, хотя бы, 0,8. Если тест разрабатывают профессионалы для внешних оценок в регионе или, например, в ЕГЭ, то к нему предъявляют более жесткие требования и значения коэффициента надежности должны превышать 0,8. Как правило, в тестологической практике надежность стандартизированных тестов в центрах тестирования колеблется в интервале (0,8; 0,9). В целом, на надежность теста влияют многочисленные факторы, к которым, в первую очередь, относится качество средств измерения, процедур сбора эмпирических данных и репрезентативность выборок испытуемых, использованных для оценивания надежности [48, 66].
Роль мониторинга ЕГЭ в управлении качеством общего образовании на региональном и федеральном уровнях
Эксперимент по введению единого государственного экзамена, проводимый в Российской Федерации с 2001 года, может рассматриваться как составная часть модернизации системы образования, ориентированная на повышение доступности, качества и эффективности образования и предусматривающая с этой целью создание и развитие новых организационных, финансовых и экономических механизмов управления образованием; внесение структурных изменений в систему образования; обновление содержания образования.
Целью эксперимента по введению ЕГЭ являлась разработка и апробация различных моделей проведения ЕГЭ, отвечающих основным целям его введения, а именно:
- повышение профессиональной доступности образования в первую очередь, для способной молодежи из малообеспеченных семей и отдаленных от вузовских центров мест проживания за счет обеспечения преемственности между различными уровнями образования;
- формирование системы независимой внешней оценки подготовки выпускников общеобразовательных учреждений и абитуриентов;
- повышение объективности системы оценивания; создание предпосылок для становления и развития общероссийской системы оценки качества образования;
Для достижения поставленных целей решались следующие основные группы задач:
- разработка нормативного правового обеспечения проведения ЕГЭ;
- формирование предложений но внесению изменений в законодательные и нормативные акты; создание и совершенствование контрольных измерительных материалов;
- разработка, апробация и совершенствование технологий проведения ЕГЭ;
- разработка и введение информационных систем сопровождения ЕГЭ при проведении государственной (итоговой) аттестации в школах и приеме вузы;
- обеспечение информационной безопасности процедур проведения ЕГЭ;
- подготовка специалистов, обеспечивающих проведение ЕГЭ;
- создание системы мониторинга учебных достижений.
Для организации и управления проведением ЕГЭ созданы нормативная правовая база и система организационного обеспечения. Организационные схемы проведения ЕГЭ на федеральном и региональном уровнях приводятся в приложениях 8 и 9 соответственно.
Технологический цикл подготовки и проведения ЕГЭ включает формирование баз данных федерального и регионального уровней: федеральная база свидетельств, выданных по результатам сдачи ЕГЭ; банк данных контрольных измерительных материалов, позволяющей формировать варианты экзаменационных работ в автоматизированном режиме; региональные базы данных ЕГЭ о выпускниках и образовательных учреждениях; региональные базы данных об абитуриентах, поступающих в высшие и средние профессиональные образовательные учреждения по результатам ЕГЭ. Технологический цикл ЕГЭ отвечает требованию информационной безопасности и учитывает протяженность страны, включающей 9 часовых поясов, что приводит, в частности, к необходимости создания большого количества вариантов экзаменационных работ.
В настоящее время особую актуальность приобретает задача разработки и введения в действие ОСОКО, одним из механизмов которой должна стать система мониторинга ЕГЭ. Рассматривая ЕГЭ как базовый элемент ОСОКО, необходимо обеспечить постепенное развертывание аналогичных систем на других уровнях и ступенях образования. Соответственно, по мере становления ЕГЭ как основной формы государственной (итоговой) аттестации, потребуется отслеживание и анализ процессов формирования и согласованного развития аналогичных механизмов объективного контроля на других уровнях и ступенях образования. Для этого в рамках мониторинга необходимо обеспечить условия повышения координации и информационного взаимодействия участников работ.
К числу ожидаемых результатов введения ЕГЭ относится также возможность формирования системы мониторинга учебных достижений, что в перспективе, позволит объективно оценивать различные тенденции в системе образования, методики и технологии, и, в конечном итоге, создать механизм повышения качества общего среднего образования.
Понятие «мониторинг» обычно связывается с наблюдением за состоянием некоего объекта, контролем его состояния (основными или определяющими параметрами объекта), выявлением тенденций и прогнозом их развития. В общем случае мониторинг в образовании можно определить как систему постоянного сбора данных, их обработки, анализа и интерпретации с целью обеспечения общества и системы образования достоверной, достаточно полной, дифференцированной по уровням использования и значимой информацией о соответствии процессов и результатов образования нормативным требованиям, происходящих переменах в образовании и прогнозируемых тенденциях.
Научные исследования последнего десятилетия способствовали выделению в мониторинге его характерных признаков: длительности и непрерывности изучения того или иного педагогического явления; систематичности и системности его отслеживания исходя из целей образовательной деятельности; способности выявлять динамику изменений.
В структуру элементов мониторинга в образовании можно отнести: объекты и субъекты мониторинга, комплекс мониторинговых показателей, инструментарий мониторинговых обследований, системы накопления информации, процедуры анализа и переработки информации, методы педагогической интерпретации и форматы предъявления результатов, базы данных, программно-инструментальные средства обработки данных, методики анализа данных, осуществления прогнозов дальнейшего развития образовательной системы и входящих в нее элементов. Объектом мониторинга в образовании является образовательная система и её отдельные элементы.
Как система мониторинг представляет собой совокупность взаимосвязанных элементов: цели его проведения, объекта отслеживания, субъектов организации и осуществления мониторинга, комплекса критериев и показателей оценки, методов сбора информации, одновременно выступая подсистемой управления образованием. Цель является системообразующим элементом мониторинга как и любой деятельностной системы: чтобы система работала, необходимо определить, ради чего она должна действовать. Цель как центральная нить мониторинга пронизывает все остальные элементы системы: исходя из цели, выделяется комплекс критериев и показателей оценки качества образования, подбираются методы изучения, выстраивается процедура проведения мониторинга [137].
Методики шкалирования и выравнивания данных ЕГЭ в условиях сопоставимости по вариантам и по годам
Одной из важных проблем современного образования является повышение его качества (Байденко В.И., Селезнева Н.А, Шадриков В.Д., Болотов В.А., Татур Ю.Г., Татур А.О., Ковалева Г.С. и др.). В этом контексте практически во всех регионах России, принимающих участие в ЕГЭ, проводится анализ полученных данных, используемых как для оценки учебных достижений, так для мониторинга качества образования. Чаще всего, в регионах приводят данные сравнительного анализа, в котором сопоставляются результаты региона со среднероссийскими либо анализируется распределение процентов учащихся с определенными школьными оценками (столбиковые диаграммы) и результатами ЕГЭ. Проводится сравнение результатов региона (процент учащихся с конкретными школьными отметками) со среднероссийскими в стратификационном разрезе: центр региона с районными стратами, города республики, села с развернутой информацией по каждому городу и сельскому району региона. Строятся гистограммы итоговых тестовых баллов в сравнении с первичными итоговыми баллами по частям А, В и С контрольных измерительных материалов. Нередко в сборниках, подготовленных по результатам ЕГЭ, приводятся списки городов и районов, имеющих лучшие рейтинги в регионе. К достоинствам сборников обычно можно отнести большое количество таблиц, что увеличивает наглядность статистических данных.
За годы эксперимента ЕГЭ стал значимым элементом в региональной системе управления качеством обучения, обеспечивая широкие возможности образовательного мониторинга учебных достижений всех уровней: индивидуальный, классный, школьный, территориальный, региональный и федеральный, каждый их которых обеспечивает свои специфические функции:
- индивидуальный - накопление и анализ результатов обучения каждого учащегося, выявление способностей и предрасположенности каждого из них к определенному спектру дисциплин, дифференциация и индивидуализация обучения;
- на уровне класса - предоставление необходимой информации учителям для совершенствования собственных квалиметрических навыков оценивания и выработка более объективных критериев оценки учебных достижений школьников и собственной образовательной и практической деятельности;
- муниципальный - предоставление информации администрации и органам управления образованием о сильных и слабых сторонах для принятия решений по группам образовательных учреждений;
- региональный - анализ состояния качества образования по отдельным территориям и видам образовательных учреждений и решения кадровых вопросов;
федеральный - позволяет центральным органам управления образования получать и анализировать информацию о результатах единого экзамена по всем предметным областям и иерархическим уровням системы образования [38, 97].
По значениям средних баллов ЕГЭ по различным предметам можно определять образовательный рейтинг регионов, проводить диагностику качества подготовки школьников по различным территориям, типам образовательных учреждений, наблюдать динамику качества подготовки выпускников. Объективность (надежность) и валидность такой информации, сопоставимость результатов по различным массивам обучающихся с учетом временного фактора являются основой для выявления динамических тенденций развития образования в стране.
За шесть лет проведения эксперимента по введению ЕГЭ произошло значительное увеличение численности участников ЕГЭ: на рис 2,5.1, и 2.5.2 представлена динамика участия выпускников в ЕГЭ по России, а на рис.2.5.3 и 2.5.4. - динамика участия выпускников в ЕГЭ от общего числа выпускников России и участия выпускников России в ЕГЭ по нескольким предметам в июне в 2006-2007 годах.
Являясь средством, позволяющим проводять итоговую аттестацию выпускников средней школы и отоор аоигуриептов в высшие и средние специальные учебные заведения, единый государственный экзамен аккумулирует информацию об уровне и качестве подготовки выпускников и, следовательно, позволяет опосредованно оценить эффективность образовательного процесса в средней школе, а также определить сильные и слабые стороны преподавания отдельных учебных дисциплин. По значениям средних баллов ЕГЭ по различным предметам можно определять образовательный рейтинг регионов, проводить диагностику качества подготовки школьников по различным территориям, типам образовательных учреждений, наблюдать динамику качества подготовки выпускников.
