Содержание к диссертации
Введение
Глава 1. Научно-педагогические основы тестирования как средства экспертизы качества образования 15
1.1. Проблемы современной тестологии: концептуальный аппарат, цели, уровни, виды педагогического тестирования 16
1.2. Функции централизованного тестирования 42
1.3. Экспертиза качества образования: цели, задачи, основные понятия, критерии оценивания 63
1.4. Организационно-функциональная структура централизованного тестирования 80
Глава 2. Педагогический анализ качества образования на основе интерпретации результатов экспериментальной системы тестирования 89
2.1. Диагностическое исследование практики централизованного тестирования 90
2.2. Дидактический анализ статистических результатов централизованного тестирования 105
2.3. Личностно-ориентированный анализ статистических результатов централизованного тестирования 128
2.4. Содержательный анализ результатов централизованного тестирования 144
Заключение 166
Список используемой литературы 170
Приложения 183
- Проблемы современной тестологии: концептуальный аппарат, цели, уровни, виды педагогического тестирования
- Функции централизованного тестирования
- Диагностическое исследование практики централизованного тестирования
- Дидактический анализ статистических результатов централизованного тестирования
Введение к работе
В последние годы диагностика качества образования стала превращаться в относительно самостоятельную, быстро развивающуюся отрасль педагогической науки и образовательной практики. Анализ литературы по данной проблеме (В.С.Аванесов, Т.И.Батурина, С.И.Высоцкая, И.Зарецкий, И.Я.Лернер, В.В.Краевский, А.Н. Майоров, Е.И.Петровский, В.М.Полонский, М.Н.Скат-кин, В.П.Стрезикозин и др.) свидетельствует, что само это понятие трансформировалось от более общего - «проверка и учет знаний учащихся», количественного - «оценка знаний и умений» к более жесткому, авторитарному - «контроль и учет знаний и умений», далее - к неопределенному и аморфному -«отслеживание учебных достижений учащихся» и более диагностичному -«измерение достижения учащимися образовательного стандарта» и, наконец, к современным понятиям - «диагностика качества образования» и «экспертиза качества образования». Но и до настоящего времени непроизводительные, необъективные, малодиагностичные подходы к оценке результативности педагогической деятельности, как отмечают многие специалисты в области педагогической квалиметрии, остаются тормозом в развитии системы образования; они противоречат общим тенденциям реформирования и развития образовательного процесса, его гуманистической и гуманитарной ориентированности.
Актуальность данного исследования определяется необходимостью поиска наиболее адекватных средств экспертизы качества образования, их теоретического и практического обоснования, определения места и функций в системе экспертизы и оценки уровня развития личности.
Влияющее воздействие (Impact - вклад) на общественное развитие в XXI столетии - веке интеллекта и образования - по мнению многих ученых будет оказывать тестология, которую считают призванной «активизировать работу по интеллектуальному совершенствованию и качеству образования» (В.А.Хлебников). Тестирование становится органической частью современного образовательного процесса, важнейшим средством установления обратной
4 связи; благодаря ему обучение в полном смысле слова превращается в дифференцированный и личностно-ориентированный процесс, обеспечивая индивидуальный темп обучения, устраняя субъективизм, авторитаризм в оценке знаний и умений учащихся.
Еще в 20-е годы, в предисловии к сборнику «Тесты: теория и практика» ГШ.Блонский писал: «Тесты - это больше, чем средство контроля; это средство рационализации всего школьного дела ... и образования в целом»; «... они представляют образовательные процессы не в идеальном, а в реальном свете», - добавляет современный специалист в области тестологии В.П.Аванесов. Одновременно отмечается существенное отставание российской системы образования в уровне и качестве развития теории тестов, подготовке тестологов, числе публикаций, финансировании научных исследований, технической и программно-вычислительной оснащенности тестового процесса, что не может не сказаться на практике педагогического тестирования.
Последние 15-20 лет прошли под знаком ажиотажного интереса практики к проблемам педагогического тестирования: выходит множество брошюр с тестами по различным учебным дисциплинам, тестовые измерители учебных достижений учащихся вводятся во временные государственные образовательные стандарты; все большее количество тестов распространяется в машинописном виде. Как следствие, образовательную практику буквально «затопило» множество непрофессиональных, дискредитирующих саму идею тестирования, тестовых материалов. 70-80-е годы XX столетия В.П.Аванесов назвал «нецивилизационным периодом» в применении тестов.
Качественные сдвиги в тестологии, практике тестирования произошли с созданием Центра тестирования (1989г.), который взял на себя разработку, апробацию и корректировку тестовых материалов по базовым дисциплинам общего образования, проведение через региональные представительства репетиционного, аттестационного, абитуриентского тестирования, подведение итогов, оформление отчетов STATTNFO. Заслугой централизованного тестирования является создание определенной культуры тестирования, приобщение МО-
5 лодого поколения россиян к тестированию как необходимому элементу образования, самообразования и жизни в целом.
В последние годы многие специалисты, работающие в области педагогической квалиметрии (Н.О.Бильчаева, М.Б.Гузаиров, Н.Н.Голышева, О.З.Кузнецова, Н.А.Кулемин, П.М.Мухамедьянова, Т.В.Мирская, В.М.Моко-сеев, А.И.Севрук, В.А.Хлебников и др.), отмечают возможности централизованного тестирования как в отслеживании качества образования, так и, посредством этого, в его совершенствовании (Всероссийская конференция «Развитие системы тестирования в России», ноябрь, 1999г.). Так, централизованное тестирование называют «каналом наблюдения за качеством образования выпускников основной и средней школы» (А.А.Севрук); «линейкой, измеряющей уровень образования», средством, «показывающим объективную картину качества образования» (В.А.Хлебников). В результате деятельности системы централизованного тестирования накоплен значительный опыт по разработке пакетов тестов по многим учебным дисциплинам, созданы предпосылки для формирования сферы индустриального производства тестов, заложены основы создания единой структуры Центра, приобредшего в настоящее время статус Федерального Центра тестирования при Минобразовании России. В настоящее время, как пишет Н.А.Кулемин, «... тестовые технологии составляют основу мониторинга качества образования в образовательных учреждениях любого типа». С 1997 года внедряется система компьютерного тестирования с использованием Интернета- «Телетестинг».
Однако этот, высказываемый многими специалистами тезис о роли централизованного тестирования в экспертизе качества образования, не нашел отражения в исследованиях как самостоятельная, новая и актуальная научная проблема, имеющая большое теоретическое и практическое значение для современного этапа развития образования в стране. Не подвергнут всестороннему педагогическому анализу огромный статистический материал, накопленный этой системой, не разработаны методы его педагогической интерпретации, не изучены возможности централизованного тестирования в экспертизе
качества образования.
Совершенно очевидно, что экспертиза качества образования не сводится только к измерению уровня знаний и умений учащихся: современные ученые, разрабатывающие теоретические основы личностно-ориентированного образования, называют аксиологический (ценностный), когнитивный (знаниевый), деятельностно-творческии и личностный компоненты такого образования, а критериями образованности - качества свободной, гуманной, духовной, творческой, практичной личности (Е.В.Бондаревская). Необходимо определить, каковы же функции централизованного тестирования в этом понимании качества образования и какими методами можно оперировать в процессе анализа его результатов.
Совокупность изложенных выше факторов и определяет актуальность разрабатываемой проблемы.
Объектом исследования является педагогическое тестирование как одно из средств экспертизы качества образования.
Предметом исследования является система централизованного тестирования, ее место и функции в экспертизе качества образования.
Цель исследования заключается в изучении и определении возможностей централизованного тестирования в экспертизе качества образования, разработке и обосновании методов педагогического анализа результатов централизованного тестирования для независимой, объективной и многофакторной оценки качества общего образования (по определенным показателям) на муниципальном, региональном и локальном (школьном) уровнях.
Гипотеза исследования состоит в предположении о том, что централизованное тестирование может быть использовано в следующих направлениях экспертизы качества образования:
при измерении содержательных (знаниевых) показателей качества образования в целом и по отдельным предметным и образовательным областям;
для определения уровня учебных достижений учащихся по отдельным учебным элементам, разделам, блокам, определении наибольшей и наймень-
7 шей успешности обучения при сравнении статистических показателей по отдельным образовательным учреждениям, регионам, стране;
- в исследовании динамики развития качества образования на протяже
нии определенного отрезка времени - как в целом по стране или региону, так и
по отдельному образовательному учреждению.
если:
будет проведена сравнительно-аналитическая и графическая обработка результатов тестирования;
осуществлен многофакторный анализ статистических и графических результатов тестирования и их экспертная педагогическая интерпретация;
в централизованном тестировании будет принимать участие статистически допустимое количество учащихся, обеспечивающее рандомизацию случайных, неизмеримых в процессе тестирования педагогических факторов.
Конкретизация цели исследования и проверка гипотезы осуществлялись посредством решения следующих задач исследования'.
Упорядочение и совершенствование концептуального аппарата тестирования.
Научно-теоретическое обоснование содержания деятельности Центра тестирования с позиций системно-деятельностного подхода.
Разработка методов многофакторного анализа результатов тестирования и их экспериментальная апробация.
Диагностическое исследование практики организации и проведения тестирования Региональным представительством Центра тестирования ДГТУ (здесь и далее - РПЦТ ДГТУ) и педагогическая интерпретация результатов централизованного тестирования, определение его возможностей в экспертизе качества образования.
Методология и методы исследования'. Теоретико-методологической основой исследования являются:
- философская концепция системно-структурного анализа (В.Г.Афанасьев,
А.КБерг, И.В.Брауберг, Ю.А.Конаржевский, В.Н.Садовский, Б.Г.Юдин и др.);
- методология и методы педагогического исследования (С.И.Архангельс
кий, Ю.К.Баранский, В.П.Беспалько, В.И.Загвязинский, И.Я.Лернер, Ф.Ф.Ко
ролев, Н.В.Кузьмина,. М.Н.Скаткин и др.);
- концепция управления по результатам (Я.А.Лейман, В.С.Лазарев,
В.А.Кальней, Н.Д.Малахов, П.И.Третьяков, С.Е.Шишов и др.);
концепция личностно-ориентированного образования (Е.В.Бондаревс-кая, В.В.Сериков, В.Т.Фоменко, И.С.Якиманская и др.);
теория содержания образования (И.Я.Лернер, В.П.Леднев, В.В.Краевс-кий, М.Н.Скаткин, В.Т.Фоменко и др.);
- концепция оптимизации учебно-воспитательного процесса (Ю.К.Ба-
банский, М.М.Поташник и др.).
В решении поставленных цели и задач использовались следующие методы исследования:
системный, проблемно-ориентированный анализ литературных источников;
методы тестирования, анкетирования, ранжирования, рейтинга;
метод контент - анализа;
естественный педагогический эксперимент;
анализ данных «STATINFO»;
методы моделирования;
методы математической и графической статистики;
методы многофакторного анализа педагогических явлений.
Базой исследования явилось Региональное представительство Центра тестирования Донского государственного технического университета (РПЦТ ДГТУ), общеобразовательные учреждения г.Ростова-на-Дону и Ростовской области, проводившие абитуриентское тестирование в данном представительстве. Деятельность РПЦТ ДГТУ мы рассматриваем как естественный эксперимент, т.е. реальный, научно организованный процесс, обеспечивающий получение необходимой научной и статистической информации, проверку гипотезы, решение цели и задач данного диссертационного исследования. Диссер-
9 тант в течение четырех лет, со дня создания Регионального представительства, активно включена в его работу, с одной стороны, в качестве начальника отдела маркетинга ДГТУ, а с другой, непосредственно участвуя в процедурах тестирования, их статистической и графической обработке и педагогической интерпретации. В качестве контрольных использовались данные, полученные по материалам «Стат-отчетов» Центра тестирования, других региональных представительств; среднестатистические показатели по стране использовались в качестве контрольных.
Исследование осуществлялось в 5 этапов:
7 этап (7996г.) - подготовительный: изучалась литература по проблемам тестирования, по вопросам диагностики, экспертизы качества образования; исследовался опыт централизованного тестирования.
этап (1997г.) - аналитико-поисковый: производился проблемно ориентированный анализ литературных источников, обеспечивающий выбор, формулировку и обоснование проблемы исследования, определение целей и формирование задач исследовательской работы.
этап (1998г.) - научно-исследовательский: разрабатывалась теоретическая база исследования, проводилось моделирование объектов исследования, разрабатывались структурно-функциональные схемы, методы многофакторного анализа статистических данных, средства их визуализации.
этап (7999г.) - аналитико-синтетический: осуществлялся многофакторный педагогический анализ результатов педагогического тестирования, обобщались выводы, полученная информация доводилась до сведения органов управления образованием.
этап (2000г.) - заключительный: подведение итогов исследования, оформление диссертационного исследования, разработка рекомендаций по использованию результатов тестирования в абитуриентском тестировании.
Достоверность и объективность результатов научного исследования обусловлены:
- методологической и научно-педагогической обоснованностью иссле-
10 дования, их соответствием цели, предмету и задачам исследования;
сочетанием в исследовании теоретических аспектов проблемы с практическими, их логической взаимосвязью и взаимообусловленностью;
репрезентативностью выборочной совокупности испытуемых, надежностью тестовых материалов, прошедших несколько ступеней апробации, ва-лидностью результатов, полученных в процессе исследования;
результатами исследования, в целом подтвердившими гипотезу исследования, использованием разнообразных методов педагогического исследования.
Научная новизна и теоретическая значимость исследования заключается в следующем:
проведены систематизация и уточнение понятийного аппарата тестоло-гии как науки, исследующей теоретические основы педагогического тестирования;
разработаны уровни педагогического тестирования, определено место среди них централизованного тестирования, составлены алгоритм деятельности образовательного учреждения по подготовке учащихся к централизованному тестированию и алгоритм разработки педагогического теста;
разработана модель процесса тестирования, структурно-функциональная схема тестирования;
дано обоснование централизованного тестирования с позиций системного и деятельностного подхода, а также в контексте современных образовательных технологий;
проведен педагогический анализ функций централизованного тестирования: социальной, дидактической, диагностической, корректировочной, воспитательной, развивающей, мотивационно-побудительной, организационной;
разработаны и описаны методы многофакторного анализа результатов централизованного тестирования: дидактический, личностно-ориентирован-ный, содержательный;
- определено место и возможности централизованного тестирования в
экспертизе знаниевого компонента качества образования. Практическая значимость определяется тем, что:
содержащиеся в работе теоретические положения и выводы объективно обосновывают значение и место централизованного тестирования в экспертизе знаниевого компонента качества образования;
разработанные и апробированные в процессе диссертационного исследования методы анализа статистических результатов тестирования могут быть использованы в дальнейшем при анализе результатов тестирования как по отдельному учреждению, так и на уровне образовательного пространства города, региона, страны;
проведенный дидактический, личностно-ориентированный и содержательный анализ результатов централизованного тестирования может быть использован и используется для решения разнообразных управленческих задач в системе педагогического менеджмента различного уровня;
в процессе исследования получены и проанализированы данные о качестве образования (содержательные компоненты) на образовательном пространстве Ростовской области, особенностях развития естественно-научного и гуманитарного образования, уровнях его усвоения по отдельным содержательным линиям внутри каждой учебной дисциплины, проведено сравнение этих величин со среднестатистическими показателями по стране;
- разработанная организационно-функциональная модель централизо
ванного тестирования может быть использована для дальнейшей оптимизации
структуры региональной системы централизованного тестирования и, в част
ности, РПЦТ ДГТУ, улучшения планирования ее деятельности, совершенство
вания управления, прогнозирования и проектирования развития.
На защиту выносятся следующие положения:
Централизованное тестирование является объективной потребностью как общества в целом, так и развивающейся российской образовательной системы.
Централизованное тестирование должно войти в систему экспертизы
12 качества образования как наиболее современное, объективное, оперативное, ресурсосберегающее средство анализа и экспертной оценки содержательных (знаниевых) компонентов образования.
3, Централизованное тестирование, являясь необходимым условием со
хранения единого образовательного пространства на региональном и феде
ральном уровне, выполняет важные социальные, дидактические, коррекцион-
ные, диагностические, воспитательные, развивающие, мотивационно-
побудительные, организационные функции, способствует переводу знаниевого
компонента образования в пространство гуманистической педагогики.
4. Расширение социальных субъектов - пользователей результатами
централизованного тестирования - обусловливает широкую востребованность
в расширении и совершенствовании деятельности Центра тестирования и его
Региональных представительств, что в свою очередь, вызывает необходимость
совершенствования методов количественного и качественного анализа резуль
татов, повышение уровня информированности о деятельности Центра тестиро
вания органов управления системой образования и широкой общественности.
Апробация и внедрение результатов исследования:
Основные положения диссертации опубликованы в 13 публикациях; материалы исследования были представлены на трех Всероссийских конференциях: «Российский вуз: в центре внимания - личность» (1998г., Ростов-на-Дону); «Роль классических университетов в развитии единого научного и образовательного пространства России (1999г., Ростов-на-Дону); «Развитие системы тестирования в России» (1999г., Москва) и двух региональных научно-методических конференциях: «Инженерно-техническое образование на рубеже XX века (1999г.,. Ростов-на-Дону) и «Направления и пути совершенствования образовательного процесса на основе современных образовательных технологий» (1999г., Ростов-на-Дону); на научно—практическом семинаре «Образовательный процесс в системе «Школа-вуз» (2000г., Ростов-на-Дону).
Разработанная автором программа «Педагогические основы тестирования» используется в практике подготовки учителей и представителей вузов к
13 проведению тестирования и педагогическому анализу его результатов.
Обобщенные результаты централизованного тестирования ежегодно представляются Министерству образования Ростовской области и Городскому управлению образованием.
По теме исследования опубликованы:
О развитии государственного централизованного тестирования в регионе. - Ростов-на-Дону: РО ИПК и ПРО, 1998. 13 с. (в соавторстве).
Мониторинг регионального среднего образования средствами гостестирования // Инженерно-техническое образование на рубеже XXI века: проблемы и перспективы: Тез. докл. науч. метод, конф. вузов Сев.-Кавк. региона. 4-5 февр. 1999г.- Ростов-на-Дону: ДГТУ. 1999. С.197-198.
Особенности подготовки выпускников школ к государственному тестированию // Инженерно-техническое образование на рубеже XXI века: проблемы и перспективы: Тез. докл. науч.-метод. конф. вузов Сев.-Кавк. региона. 4-5 февр. 1999г. - Ростов-на-Дону: ДГТУ. 1999. С.240-241, (в соавторстве).
Тестирование как образовательная технология // Проблемы качества университетского образования: Тез. докл. науч.-метод. конф. РГУ, 16 алр. 1999г. 4.3. - Ростов-на-Дону. 1999. С. 18-20.
Государственное тестирование как форма независимой экспертизы знаний учащихся // Проблемы качества университетского образования: Тез. докл. науч.-метод. конф. РГУ, 16 апр. 1999г. 4.4. - Ростов-на-Дону. 1999. С.46-50. (в соавторстве).
Итоги и перспективы централизованного тестирования в регионе // Направления и пути совершенствования образовательного процесса на основе современных педагогических технологий: Тез. докл. Межрегиональной науч.-метод. конф. руководящего и преподавательского состава вузов, 24 ноября 1999г. РВИ РВ. - Ростов-на-Дону. 1999. С.20-23. (в соавторстве).
Роль педагогического тестирования в учебном процессе. // Направления и пути совершенствования образовательного процесса на основе современных педагогических технологий: Тез. докл. межрегиональной науч.-метод. конф. руководящего и преподавательского состава вузов, 24 ноября 1999г. РВИ РВ. - Ростов-на-Дону. 1999. С.23-25.
Централизованное тестирование - помощник учителю // Советы учителю. Методический журнал. №11. - Ростов-на-Дону: РО ИПК и ПРО, 1999. С.48-51. (в соавторстве).
Опыт централизованного тестирования в регионе // «Экология и технология»: Ежегодник. - Ростов-на-Дону: ДГТУ, 1999. С.80-83. (в соавторстве).
10. Централизованное тестирование как основа педмониторинга // Разви
тие системы тестирования в России: Тез. докл. Всероссийской науч.-практич.
конф., 25-26 ноября 1999г. 4.1. -М.: Прометей, 1999. С.55-57. (в соавторстве).
Проблемы современной тестологии: концептуальный аппарат, цели, уровни, виды педагогического тестирования
С проблемами измерения качества образования непосредственно связан ряд отраслей педагогической науки, отличающихся особо интенсивным развитием в последнее десятилетие, таких, как педагогическая квалиметрия, образовательный мониторинг, тестология.
Педагогическую квалиметрию (лат. «квали» - качество, «метрос» - измеряю) определяют как науку, разрабатывающую теоретические и прикладные проблемы измерения и оценки педагогических объектов и характеристик [130, с.273], область педагогических исследований, направленную на диагностику специальных профессиональных качеств педагогов и результатов их педагогической деятельности. Практическая реализация квалиметрических измерений осуществляется в последние годы через систему мониторинга, представляющего собой «постоянное наблюдение за каким-либо процессом с целью выявления его соответствия желаемому результату или исходному положению» [105,с.12].
Образовательная система как объект мониторинга рассматривается в работах Л.Г.Борисовой, Л.Ф.Колесникова, Ю.А.Конаржевского, А.Н.Майорова, Л.Б.Сахарчука, П.И.Третьякова, В.Н.Турченко и др. Как отмечают специалисты, в настоящее время можно говорить о существовании локальных систем мониторинга не только в нашей стране, но и в других странах мира. В одной из наиболее фундаментальных работ по мониторингу - «Мониторинг в образовании» А.Н-Майорова - приводится «гипотетическая система классификации мониторинга», которая, по мнению автора, может быть реализована в ближайшее время. В эту систему включен: информационный мониторинг, направленный на сбор, накопление, систематизацию и распространение информации: базовый (фоновый) мониторинг, предполагающий выявление новых проблем и опасностей в той или иной образовательной системе или по тем или иным направлениям деятельности системы образования; проблемный мониторинг, ориентированный на выявление закономерностей, процессов, проблем, которые важны с точки зрения управления; управленческий мониторинг, целью которого является отслеживание и оценка эффективности, последствий и вторичных эффектов решений, принятых в области управления [105, с.135]. Разработаны и направления педагогического мониторинга: социологический, педагогический, психологический, валеологический, образовательный и др.
Во всех видах и направлениях мониторинга немаловажное место отводится тестированию, научные основы которого разрабатываются в тестоло-гии - науке, исследующей теоретические вопросы разработки тестов для объективного контроля знаний, умений, навыков и представлений [5, с.11].
Определение тестологии как «прикладной науки о педагогических (подч. нами - Л.С.) тестах, методах их разработки и эффективного применения» [5, с. 138], на наш взгляд, существенно снижает рамки этой науки, предмет ее исследования. Развитие социального, психологического и других направлений тестирования позволяют определить тестологию как науку о принципах разработки, научной апробации и эффективном применении тестов, проведении тестирования и анализа результатов в различных областях человеческой деятельности.
Тестология как теория и практика тестирования разрабатывается в течение более 120 лет, накоплен опыт использования тестов в различных сферах человеческой деятельности, в том числе и в образовании.
В области отечественной тестологии в настоящее время, на наш взгляд, осуществляются кардинальные преобразования, выводящие эту прикладную отрасль квалиметрии на передние рубежи развития теории и практики образования. Исследуются методологические и теоретические основы тестологии (ВС.Аванесов, А.В.Абрамова, М.С.Бернштейн, С.Г.Геллерштейн, М.И.Победов); ее место в системе педагогической науки (Б.П.Битинас, Л.И.Натаева, И.И.Тихонов, И.П.Подласый и др.); типология тестовых заданий (В.С.Аване-сов, В.П.Беспалько, Э.А.Вербас, Н.В.Володин, Д.С.Горбатов, Н.Грондлунд, Г.С.Косткж, ИЛПодласый, Б.У.Родионов, Н.М.Розенберг, А.О.Татур и др.); анализируется зарубежный опыт тестирования (М.С.Бернштейн, Дж.Гласс, К.Ингекамп, Г.С.Ковалева, Дж.Стэнли, Э.Стоунс и др.); особенности психологического тестирования (А.Анастази, Л.Ф.Бурлачук, В.К.Гайда, В.П.Захаров, П.Клайн, С.Н.Морозов и др.). Многие исследователи отмечают громадную динамику развития тестирования на уровне региональных школьных и вузовских образовательных систем.
В тестологии разработана система ключевых понятий, определяющих ее как науку о стандартизированных педагогических, психологических, социальных измерителях: тестирование, тест, тестовое задание, матрица результатов тестирования, тестовый балл испытуемого и др. Мы считаем уместным также выделить такое понятие, как тестография - область тестологии, занимающаяся разработкой тестов и непосредственно связанная с содержанием тестовых заданий, а также тестотехника - система требований, предъявляемых к процедуре проведения тестирования. Таким образом, «лицо, производящее тестирование» - «тестер», как его сейчас называют в литературе, - можно назвать тестотехником, по аналогии с тем, как игротехником называют ведущего игру. К тестотехнику предъявляется ряд требований: он должен иметь зафиксированный статус по отношению к испытуемым (учитель, завуч, официальное лицо центра тестирования и др.); должен обладать рядом психологических характеристик (уметь контролировать себя, быть уравновешенным, тактичным); должен понимать задачи и специфику тестирования; быть подготовленным к проведению тестирования и т.д. Помимо тестотехника, в процедуре массового тестирования, особенно централизованного, должен принимать участие наблюдатель - лицо, фиксирующее процедуру проведения и соответствие действий тестотехника сценарию тестирования.
Тестирование в педагогической литературе рассматривается как целенаправленное, одинаковое для всех испытуемых обследование, проводимое в строго контролируемых условиях, позволяющее объективно измерить изучаемые характеристики педагогического процесса» [130, с.59]; стандартизированную процедуру измерения учебных достижений учащихся, обработки, количественного и качественного анализа результатов, направленную на объективную экспертизу качества образования. Цели, уровни и результаты тестирования представлены на рис. 1.1. Пользователями результатов тестирования в настоящее время могут быть органы управления системой образования на различном уровне, работника социальной сферы, учителя и сами тестируемые -учащиеся, абитуриенты, студенты.
Особое место в системе тестирования занимает иентрализованное тестирование, которое можно считать высшим уровнем педагогического тестирования (рис.1.1).
В нашей стране система централизованного тестирования создана в 1996 году на базе накопленного опыта массового тестирования, проводимого в Mill У с 1989 года, в результате чего был создан Центр тестирования при МПГУ, который с декабря 1999 года стал центром тестирования при Министерстве образования РФ. За четыре года центром организовано более 170 представительств, создана развитая система централизованного тестирования по всей территории страны. В Ростовской области в настоящее время действуют пять представительств, из них два в г.Ростове-на-Дону.
Функции централизованного тестирования
Развитие современной системы образования во многом зависит от диаг-ностичности, точности, объективности и воспроизводимости системы отслеживания результатов познавательной деятельности учащихся, полноты, глубины, своевременности, оперативности количественного и качественного анализа полученных данных. Как уже говорилось в предыдущих параграфах, одним из наиболее технологичных способов проведения контроля знаний и умений обучающихся с заранее заложенными параметрами качества является педагогическое тестирование и особенно - созданная в последние годы в стране система централизованного тестирования.
В литературе по тестологии, как и в теории педагогики, достаточно подробно анализируются дидактические функции тестирования в целом (В.С.Аванесов, В.П.Беспалько, М.С.Бернштейн, Б.П.Битинас, С.Г.Геллерш-тейн, Д.С.Горбатов, Г.С.Ковалева, Л.И.Натаева, М.И.Победов, И.П.Подласый, Д.Стэнли, Э.Стоунс, И.И.Тихонов и др.). В данном параграфе мы попытаемся более подробно проанализировать функции централизованного тестирования, поскольку именно это определяет его большую или меньшую пригодность в качестве педагогического средства экспертизы качества образования. Рассмотрим ряд функций централизованного тестирования.
1. Социальные функции. Анализируя социальные функции централизованного тестирования, следует прежде всего отметить его гуманистическую направленность, поскольку сама процедура тестирования обеспечивает соблюдение равных условий для всех испытуемых независимо от пола, возраста, национальности, социального статуса и т.д. Ориентируясь на значительную вариативность в количестве баллов, определяющих уровень знаний и умений учащихся при переводе на принятую в российской системе образования пятибалльную шкалу, оно предоставляет школьнику право на ошибку, в отличие от многих способов контроля, при которых ошибка с неизбежностью ведет к снижению оценки (письменные, устные экзамены, различные приемы опроса и др.). Следует также отметить демократичность тестирования, особенно централизованного, которое выражается в его массовости, добровольных началах, равных условиях для всех испытуемых, сравнительно низкой цене одного тестирования, ориентированности на гуманистические принципы современного образования.
Оказывая позитивное влияние на качество обучения в целом (дидактические функции), массовое или широкомасштабное централизованное тестирование способствует повышению образовательного уровня населения, уровней культуры, менеджмента, а посредством этого - социально-экономических условий в целом. Немаловажное социальное значение централизованного тестирования заключается также в его роли в формировании и сохранении единого образовательного пространства Российской Федерации.
Более того, хорошо поставленная система независимого централизованного тестирования способна принести существенный доход государству, решать вопрос о занятости населения: определенного числа высококвалифицированных кадров тестологов, разрабатывающих общую теорию тестирования; тестографов, создающих пакеты тестовых заданий; тестотехников, непосредственно проводящих тестирование. Как отмечают специалисты, доходы от этих услуг в Австралии, например, занимают третье место в национальном бюджете страны. Таким образом, тестирование «способствует превращению образовательной деятельности в ведущую отрасль общественного производства» [5, с.6].
В то же время тестирование является наименее затратным и трудоемким и наиболее управляемым способом мониторинга знаний и умений обучающихся. При наличии достаточного количества вариантов тестов (что уже обеспечено в Федеральном банке Центра тестирования) и подготовленных тестотехников оно предоставляет возможность проведения тестовых испытаний для достаточно большого массива учащихся, абитуриентов, студентов. В литера-туре приводятся сравнительные данные о расходывании средств на тестирование по сравнению с другими способами контроля знаний и умений учащихся, свидетельствующие о возможностях значительного уменьшения финансирования со стороны государства различных контрольных процедур (прежде всего выпускных и вступительных экзаменов) при увеличении массовости тестирования [105, с.211].
И, наконец, тестирование выполняет важную государственную функцию, усиливая в качестве независимой экспертизы персональную ответственность каждого педагога, образовательного учреждения в целом за результаты своей педагогической деятельности, обеспечение достижения государственного образовательного стандарта всеми учащимися. Благодаря тестированию, возрастает категория пользователей объективной информацией о качестве образования: учащиеся, получающие независимую информацию о своих учебных достижениях; учителя, оценивающие результаты своей педагогической деятельности на основе данных тестирования; руководители системы образования, определяющие стратегию развития образования, родители и все общество в целом, получающие независимую информацию о качестве образования. Централизованное тестирование, при условии его широкого развертывания, способно предоставлять информацию для построения педагогической модели развития системы образования в стране, каждом отдельном регионе, образовательном учреждении.
2. Дидактические функции. Основное преимущество централизованного тестирования в дидактическом аспекте заключается в его возможностях отслеживания знаний, представлений, умений испытуемых по всему объему контролируемой информации, по любой учебной дисциплине - физике, химии, биологии, географии и т.д., изучаемым на протяжении всего процесса обучения в общеобразовательном учреждении. Таким образом, имеется возможность с достаточной полнотой и доказательностью проанализировать соответствие качества подготовки учащегося требованиям государственного образовательного стандарта (образовательного минимума), определить объем знаний, превышающих стандарт. Одновременно тесты централизованного тестирования, публикуемые в специальных сборниках, могут быть использованы учителем, органами управления образованием для промежуточного или итогового контроля знаний; в качестве выпускных экзаменов в основной и средней школе; для студентов в качестве входного контроля и т.д.
Интерпретация результатов централизованного тестирования выводит на анализ содержательной характеристики знаний и умений учащихся: знание ими законов, процессов, явлений, фактов, истории науки, ее прикладных вопросов; анализу подвергаются также степень усвоенности различных разделов данного курса. Правильно составленные, прошедшие экспериментальную апробацию тесты к тому же ориентированы на измерение учащимися диагностически сформулированных целей.
Одновременно предоставляется возможность получить качественную характеристику знаний и умений учащихся: полноту, глубину, обобщенность, доказательность, гибкость и др. Слабо исследована возможность использования тестирования для измерения уровня сформированности внепредметных умений учащихся: их способностей к анализу, обобщению, классификации, нахождению сходства и различия, установлению причинно-следственных связей и пр.
Педагогическое тестирование позволяет получить объективную информацию не только о качестве знаний и умений учащихся, но и определить круг наиболее слабо усвоенных разделов, тем, отдельных вопросов и ввести своевременную корректировку в процесс обучения. Одновременно оно предоставляет возможность самим учащимся обнаружить пробелы в своих знаниях и принять меры для их устранения.
Тестирование представляет собой дидактическое средство, имеющее достаточно широкий диапазон применения: не только для контроля знаний и умений обучающихся, но также и для проведения репетиционного тестирования; использоваться на разнообразных подготовительных курсах, учителем - в обучающем режиме, учащимися - для самостоятельной работы, самоконтроля, самокоррекции и т.д. Уже сейчас специалисты отмечают значительный обучающий потенциал тестовых заданий, использование которого станет одним из эффективных направлений практической реализации принципа единства и взаимосвязи обучения и контроля [5,с.150-151].
Централизованное тестирование имеет еще одно дидактическое преимущество по сравнению с другими способами контроля знаний и умений учащихся, поскольку только для тестов установлены жесткие требования обязательной проверки качества как самих тестовых заданий, так и методики расчета результатов тестирования. При этом процедура отбора тестов для централизованного тестирования такова, что обеспечивает постоянное совершенствование состава тестовых заданий в тесте, так как постоянно осуществляется выбраковка тестовых заданий по результатам очередных тестовых испытаний.
Диагностическое исследование практики централизованного тестирования
Как было показано в предыдущем параграфе, к настоящему времени, причем за минимальные сроки, в Российской Федерации создана система централизованного тестирования, имеющая Центр тестирования и постоянно увеличивающееся число региональных представительств. В 1999 году Центр тестирования отметил десятилетие со дня основания; региональное представительство при ДГТУ (РПЦТ ДГТУ), деятельность которого является объектом нашего исследования, созданное в 1996 году - свое четырехлетие. Таким образом, деятельность регионального представительства, его четырехлетний срок функционирования можно принять в качестве широкомасштабного системного эксперимента, а итоги работы анализировать, обобщать, интерпретировать с позиций системно-деятельностного подхода, современной личностно-ориентированной педагогики. Однако, прежде чем анализировать результаты централизованного тестирования в качестве исходных данных для независимой экспертизы качества регионального образования, необходимо провести оценку и проблемно-ориентированный анализ деятельности регионального представительства Центра тестирования, учитывая мнение самих потребителей услуг по тестированию - старшеклассников, проходивших тестирование.
Для проведения такого исследования была разработана диагностическая шкала, в которой респонденты методами рейтинга и закрытого выбора давали оценку различных аспектов деятельности представительства Центра тестирования, своего отношения к тестированию, готовности к подобным процедурам (см. Приложение №3). Частично были использованы также данные анкетирования, проводимого в представительстве по «Анкете выпускника», разработанной Центром тестирования (см. Приложение №3).
Оценивание респонденатами предложенных в диагностической шкале критериев производилось по 5-бальной шкале: «5» - критерий имеет наибольшее значение; «4» - выше среднего; «3» - критерий имеет среднее значение; «2» - ниже среднего; «1» - наиболее низкое значение критерия; «0» - затрудняюсь ответить.
Обработка результатов диагностического исследования проводилась методами математической статистики. По ряду вопросов подсчитывалось процентное соотношение вариантов ответов; по результатам рейтинга производилось вычисление среднего арифметического значения (J) по формуле: где xt - различные значения или уровни наблюдаемого признака; mt - количество наблюдений значения при общем числе наблюдений п. По полученным данным строились рейтинговые шкалы, в которых исследуемые критерии располагались по убывающей их среднеарифметического значения, графики, гистограммы.
Разброс мнений определялся с помощью вычисления статистической дисперсии (s2) по формуле: и среднего квадратического отклонения (s) по формуле:
Выборочная совокупность составила 417 респондентов, что представляет собой более 10% от генеральной совокупности проведенных в 1999 году абитуриентских тестовых испытаний и более 22% от общего числа протестированных в этом году учащихся г.Ростова-на-Дону (поскольку многие учащиеся участвовали в тестировании по 2-3-м предметам). Таким образом, по объему выборочной совокупности полученные данные можно считать достаточно репрезентативными, а обобщенные результаты и выводы можно трансформировать на всю генеральную совокупность.
Как показало диагностическое исследование, наибольшее участие в абитуриентском централизованном тестировании принимают дети из семей, в которых один или оба родителя имеют высшее образование (см. рис. 2.1.).
Как видим, к малообеспеченным семьям относится 56,7% тестируемых — в статистике по стране около 60% населения относят к этой социальной группе; 39,4% - с так называемым средним достатком - также соответствует статистическим показателям по стране; 4% - высокооплачиваемых, как и предыдущие цифры, можно считать адекватными среднестатическими показателям. И все же приведенные выше данные нельзя считать достаточно объективными, поскольку они получены в результате анкетирования самих учащихся, которые могут быть не вполне осведомлены о всех видах доходов семьи, а возможно, чтобы не показать свою неосведомленность, внесли наиболее, на их взгляд, приемлемые цифры.
По типу получаемого в школе образования большинство учащихся, проходящих тестирование, обучаются в муниципальных общеобразовательных школах - 71,6%, в гимназиях, лицеях - 18,2%, в средних профессиональных и прочих образовательных учреждениях - 10,2%. Как видим, данное соотношение учащихся, проходивших тестирование из различных типов образовательных учреждений региона Ростовской области примерно соответствует соотношению учащихся, обучающихся в школах, гимназиях, лицеях. Однако эта закономерность практически не распространяется на учащихся средних профессиональных учебных заведений ( училищ, техникумов, колледжей) - число участвующих в централизованном тестировании из них совершенно незначительно. Таким образом, сведения о результатах тестирования можно использовать только в процессе экспертизы качества общего образования.
Распределение числа тестируемых по географическим пунктам Ростовской области, естественно, прежде всего зависит от количества населения, а, следовательно, и учащихся, обучающихся в 10-11-х классах. Однако, как показывает практика, это бывает обусловлено также и рекламой, пропедевтической деятельностью, проводимой региональными представительствами Центра тестирования, работающими на образовательном пространстве области: созданием подготовительных групп тестирования, проведением консультаций.
Дидактический анализ статистических результатов централизованного тестирования
За четыре года в деятельности Ростовского регионального представительства Центра тестирования ДГТУ накоплен значительный статистический материал, позволяющий по многим параметрам осуществлять анализ качества регионального общего образования на основе тех критериев, которые, как было показано в первой главе, могут измеряться с помощью педагогического тестирования. Немаловажное место в этом анализе займут и проводимые среди испытуемых вспомогательные процедуры социально-психологического тестирования. Однако для того, чтобы экстраполировать выводы по результатам тестирования на весь образовательный массив выпускников Ростовской области, в ряде случаев мы считаем необходимым воспользоваться как данными, полученными по всем пяти региональным представительствам, так и результатами тестирования по стране, представленными в «Ежегоднике Результатов централизованного тестирования выпускников общеобразовательных учреждений России» [66]. Такой подход позволяет в сотни раз повысить величину выборочной совокупности, что значительно повышает репрезентативность, объективность и достоверность выводов исследования. Динамика развития централизованного тестирования такова, что ежегодное увеличение числа тестируемых достигает от 120 до 237%% (см. табл. 2.5), что также делает выводы по результатам тестирования все более достоверными и надежными. Несмотря на то, что на практике проводилось репетиционное, аттестационное и абитуриентское тестирование, мы считаем необходимым ориентироваться только на данные абитуриентского тестирования как наиболее подготовленного и организованного.
Совершенно очевидно, что использование данных по всем региональным представительствам Федерального центра тестирования, работающим на территории Ростовской области, необходимо не только для повышения репрезентативности исследования, но и для включения в анализ сельских районов (хотя наше представительство распространяет свою деятельность и на сельские школы) и таких крупных городов области как Таганрог, Шахты, где действуют свои региональные представительства. Экстраполяция же выводов, сделанных на основе анализа результатов тестирования по всей стране, требует особого внимания и специального исследования обоснованности переноса данных по стране на отдельные регионы, в том числе и на образовательный регион Ростовской области.
Другая сложность анализа результатов централизованного тестирования заключается в том, что работая в экспериментальном режиме, Центр тестирования апробирует различные системы подсчета баллов, затрудняющие сравнение результатов тестирования по годам. Так, до 1999г. использовалась система подсчета баллов, когда отводилось по одному баллу за каждое решенное тестовое задание, в результате чего максимальное количество баллов по каждому предмету было различно в зависимости от количества тестовых заданий, включенных в тест (от 20 до 60).
В 1999 году введена новая система подсчета результатов тестирования: в качестве тестового балла используется процент выполнения теста с учетом трудности каждого тестового задания (100% шкала оценивания). Для этих целей, как отмечает директор Федерального центра тестирования В.А.Хлебников, разработан эффективный метод расчета уточненной трудности заданий, используются модели учета трудностей тестовых заданий при выставлении испытуемому тестового балла. Помимо этого, в Центре тестирования разработана и апробируется программа анализа отдельных тестовых заданий и тестов в целом по критериям классической теории тестов. По словам В.А.Хлебникова, коэффициент надежности вариантов тестов в среднем составляет 0,85, что свидетельствует о хорошем качестве тестов.
Поскольку все тестовые материалы региональные представительства получают от Федерального центра тестирования, это имеет немаловажное значение для доказательства достоверности выводов по нашему исследованию.
По количеству учащихся, прошедших в 1999 году централизованное (абитуриентское) тестирование, Ростовская область входит в пятерку регионов, в которых наиболее успешно работают региональные представительства: в 1999 году в абитуриентском тестировании приняли участие: в г.Москве 38442 человека (13,5% от общего числа испытуемых); в Башкирии - 23096 (8,18%); в Ростовский области 19251 (6,8%); в Красноярском крае - 16,635 (5,8%); в г.Санкт-Петербурге - 11753 (4,13%).
Из пяти работающих на территории Ростовской области региональных представительств количество учащихся абитуриентского тестирования РПЦТ ДГТУ составляет 1979 человек или около 10% от общего числа участников по
Ростовской области. Поскольку имеется возможность делать выводы о качестве регионального образования не только на основе абитуриентского тестирования, следует иметь в виду, что в репетиционном тестировании в РПЦТ ДГТУ в 1999 году приняло участие более 800 человек, а в аттестационном -около 1000, что составляет более 80% к данным по абитуриентскому тестированию.
Достаточно ли репрезентативна выборка из 19251 проведенного абитуриентского тестирования, если оно не будет дополняться результатами репетиционного и аттестационного тестирования для выводов о качестве общего образования в регионе Ростовской области по тем параметрам, которые можно интерпретировать на основе данных централизованного тестирования? Если учесть, что общее количество выпускников по области в 1999году составило 35 тыс. человек, то если бы они, допустим, все приняли бы участие в 2-х (в среднем) процедурах тестирования, это дало бы около 70000 тестирований. Таким образом, количество эпизодов абитуриентского тестирования составляет 28% от общего числа возможных - статистически достаточный показатель для экстраполирования выводов на всю генеральную совокупность. Исходя из этого, большинство выводов мы будем формулировать на основе данных, полученных по всем пяти представительствам, а некоторые результаты, имеющие значение для анализа деятельности РПЦТ ДГТУ как экспериментальной базы, будут сделаны только на основе продукта его функционирования.
Похожие диссертации на Централизованное тестирование как средство экспертизы качества образования
