Содержание к диссертации
Введение 4
ГЛАВА 1 14
Концептуальный анализ подхода к использованию тестирования в процессе
обучения 14
1,1. Унифицированный контроль знаний в образовательном пространстве
12. Об особенностях педагогической диагнретики 20
1,3, Из истории психологической^и^востики 23
] ,4- Функции оценивания в педагогическом процессе ' 30
1.5- Сравнение различных форм контроля знаний 35
}^й^UШ^ШRЫJfPAШWJf^^ЯШLQJ^MI^JJЛ 42
ІІФункіщи_п_^^ 45
1.8- Методические критерии качества измерений 48
ГЛАВА 2 55
Педагогическое тестирование и методики использования научно^
обоснованных тестов 55
2Л. Особенности,педагогического тестирования 55
2Г2. Основные понятия педагогической тестологии 57
Этапы создания научно- обоснованных тестовых материалов 70
Этапы развития тестового контроля 79
2.5. Адаптивная оценка трудности педагогических тестов на основе
одно параметрической модели Г. Раша 99
2.6. Об иерархии информационной ценности заданий в системе тестов
.114
ГЛАВАЗ 123
Реализация педагогического тестирования как одного из средств контроля
знаний 123
31, Искушенность в тестировании. Анкета школьника. 123
3.2. Функция тестирования по прогнозированию успешности
последующего обучения. 134
3.3, Функция тестирования по сравнению учебных достижений различных
выборок_и_спытуемых. - НО
ЗА Реализация функции, коррекции обучения „.на_ пр.имере
содержательного наполнения тестов по математике 159
3.5. Тестирование как объективный механизм выявления массовых
пробелов в знаниях учащихся 166
ЗАКЛЮЧЕНИЕ 178
Сщсок^шодь^ 184
Приложения,
Введение к работе
Актуальность исследования.
В настоящее время в сфере образованияшироко развивается новая система контроля и оценки учебных достижений учащихся, ориентированная на широкое использование педагогических тестов. Актуальность и важность развития тестовых методов определяются их технологическими возможностями, позволяющими получить объективную информацию о качестве подготовки обучающихся и способствующими осуществлению государственной политики по обеспечению конкурентноспособности качества образования в России.
Изучением вопросов, связанных с педагогическими измерениями, еще в начале века занимались такие педагоги, как М.С. Бернштейн, ГГГІ.. Блонский, А.П, Болтунов, Е.В, Гурьянов, Грабарь М.И., А.Б. Залкинд, К.А, Краснянская, A.M. Мандрыка, А.А, Смирнов, Н.Н. Соколов и др. Начиная с шестидесятых годов появляется новая волна публикаций, обосновывающих эффективность программированного обучения и контроля, а также по применению тестовой формы контроля знаний (В.П. Беспалько, ELA. Венгер, КМ, Гуревич, А.З. Зак, З.И. Калмыкова, Б.И. Кущев, А,В. Левин, А,Н. Леонтьев, А-Р. Лурия, A.M. Мандрыка, Н.Ф. Неклюдова, Н.И. Непомнящий, В,И. Огарелков, Н.М. Розенберг, Г.А. Сатаров, М.А, Соколов, М.Ю. Сыркин). В последнее время вопросами разработки и совершенствования разнообразных методов объективного контроля и оценки знаний занимались такие авторы, как B.C. Аванесов, Ш.А, Амонашвили, С.VI. Архангельский. В,И. Гипецинский, АН. Гусев, ГГ. Городничий, ТА Ильина, HP Иоганзен, В.В. Карпов, А,В, Кочергин, И.И. Кобыляцкий, Н.И, Кувшинова, Н,В. Кузьмина, И.Я, Лерпер, С.А. Маничев, А.В. Мальцев, А,А. Маслак, MR. Михалевская, Н.Д. Никандров, В.М. Полонский, Б.У, Родионов, Л.И
Рувинский, В.А. Садовничий, Н.Ф. Талызина, А.О. Татур, В.А. Тюнин, МБ. Челышкова и др. Среди зарубежных ученых можно отметить A. Bimbaum, B.S. Bloom, К, Yngenkamp, W,A, Fergusson, R,W. Gagne, H, Gulliksen, G.F. Kudcr, D.N, Lawly, P.F. Lasarsfcld, L.L. Thurstonc, N.W. Richardson, G. Rascli и
Однако, несмотря на углубленное внимание к вопросам тестового
контроля учебных достижений, обнаруживается основное противоречие: с одной стороны, педагогическая общественность осознает необходимость создания в стране новой оценочно - контролирующей системы, основанной на развитии и совершенствовании тестовых методов для целей аттестации, для осуществления текущего контроля учебных достижений школьников и студентов, для сбора информации об образовании в целях мониторинга его качества, С другой стороны, в практике оценивания преобладают привычные традиционные формы контроля учебных достижений, от которых большинство педагогов не могут и не хотят отказываться. Кроме того, отсутствуют единые концептуально-методологические основы, необходимые для правильного решения всех проблем качества образования и создания стандартизированного инструментария по его оценке. Для разрешения обозначенного противоречия необходимо найти ответы на ряд вопросов, каковы должны быть методики моделирования тестов? Каков должен быть процесс апробации тестов? Каким должно быть шкалирование результатов тестирования1^ Кроме того, необходимо проверить, обладают ли тестовая форма контроля высокой прогностической валидностью и каким должно быть оптимальное содержание комплектов тестовых заданий'? В этом суть проблемы данного исследования.
Цель исследования - обосновать эффективность тестирования как средства измерения успешности обучения и разработать отдельные методики его технологии.
Объект исследования - процесс педагогического тестирования учебных достижений учащихся.
Предмет исследования - содержание и организация процесса измерения успешности обучения при помоши тестовой формы контроля.
Анализ теоретических и практических аспектов изучаемой проблемы позволил сформулировать основную гипотезу.
Развитие системы тестирования обусловлено рядом исторических, социальных и экономических факторов. Тестирование станет эффективным педагогическим средством измерения успешности обучения, когда при интеграции различных форм педагогического контроля оно:
выполняет функцию коррекции обучения на каждом образовательном этапе и реализует преемственность между разными образовательными этапами;
позволяет провести сравнение учебных достижений различных выборок обучаемых, выявляя тем самым массовые пробелы в знаниях учащихся;
-- осуществляет функцию прогнозирования успешности обучения на
следующей образовательной ступени. Цель, предмет и гипотеза исследования обусловили необходимость постановки и решения ряда взаимосвязанных задач исследования: 1. Выявить и обосновать функции педагогического тестирования как
средства измерения успешности обучения 2 Создать математическую модель информационной ценности зданий, позволяющую проводить селекцию испытуемых на группы различной) уровня обученности. 3. Разработать научно-обоснованную методику оценивания трудности заданий педагогических тестов.
Методологической основой исследования является диалектика как общий метод познания, заключающийся в целостном и всестороннем рассмотрении
явлений и процессов в их развитии, взаимодействии, взаимообусловленности. Работа базируется на положениях о единстве теории и практики образования, о необходимости соотнесения педагогических явлений прошлого и настоящего с обшественными условиями ИХ существования. Теоретическим фундаментом исследования проблем содержания и организации процесса педагогического тестирования стали достижения психологии и педагогики, представленные в трудах B.C. Аванесова., А.Анастази, ВЫ Дружинина, К. Ингенкампа, Г, Раша, МБ. Ч.елышковой и др.
Методы и база исследования. Для решения поставленных в исследовании задач и проверки выдвинутой гипотезы были использованы методы теоретического ан&тиза проблемы и предмета исследования, моделирование, эмпирические методы; включенное наблюдение, анкетирование, анализ документации, методы статистической обработки данных, опытная работа, которая проводилась автором на базе регионального представительства Центра тестирования Минобразования РФ в Ярославской области. Кроме того, изучался опыт тестирования, других регионов РФ (Нижегородская, Мурманская, Саратовская, Свердловская, Рязанская области).
Организация исследования. В соответствии с выдвинутой гипотезой и задачами исследования теоретическая и опытно - экспериментальная работа проводилась в три этапа и длилась шесть лет.
Первый этап (1994 - 1996 гг.) Изучалось состояние исследуемой проблемы, анализировачся исторический и современный зарубежный и отечественный опыт становления системы тестирования. На основе теоретического анализа психолого-педагогической литературы определялись исходные параметры исследования, его предмет, структура, границы, гипотеза, методология и методы, понятийный аппарат.
Второй этан (1997-1998 гг,)- Был завершен анализ научной литературы по исследуемой проблеме: на основе современной теории латентно-структурного анализа построены модели, позволяющие выявлять тестовые задании, чувствительные к особенностям выборки испытуемых, обоснована методика адаптивной оценки трудности заданий абитуриентских тестов; шло накопление статистического материала, 'позволяющего проводить мониторинг обученное выпускников средних учебных заведений Ярославской области. - Третий этап (1999 - 2000 гг.). Проводились анализ и обобщение результатов исследования, корректировались выводы, полученные на первых двух этапах; обрабатывались и систематизировались опытные данные; оформлялось диссертационное исследование.
Достоверность и обоснованность результатов исследования обеспечивалась всесторонним анализом проблемы, применением комплекса эмпирических и теоретических методов исследования, адекватных его объекту, целям, задачам и логике, длительным характером и возможностью повторения опытно-экспериментальной работы, , репрезентативностью объема выборок (количество испытуемых варьировалось от 192 до 725 в разные годы и по разным формам испытаний), контрольным сопоставлением полученных данных.
Научная новизна исследования состоит в том. что в нем представлен и проанализирован процесс развития педагогического тестирования, осуществлена дополнительная характеристика понятия тестовою задания, разработана методика оценивания трудности отдельных тестовых заданий и модель информационной ценности комплекта тестовых заданий в целом; выявлены функции тестирования как эффективного средства измерения успешности обучения; сравнения учебных достижений различных выборок профессионально ориентированных учащихся, коррекции содержания образования, выявления массовых пробелов в знаниях учащихся, прогноза
успешности обучения на следующей образовательной ступени; изучена психологическая готовность к тестированию и степень самооценки школьников.
Теоретическая значимость исследования заключается в разработке педагогической модели адаптивной оценки трудности тестовых заданий и методики определения тестовых заданий нулевой значимости, которые можно удалять из теста для обеспечения его большей селективности, а также модели информационной ценности заданий в системе тестов5 позволяющей эффективно ранжировать различные выборки испытуемых; в обосновании условий эффективности педагогической работы, организуемой на основе этих моделей; в выявлении основных тенденций развития системы тестирования.
Практическая значимость работы состоит:
в реальной возможности внедрения разработанных методик в практическую деятельность средних и высших учебных заведений; -- в впервые проведенном сравнительном анализе уровней обученности школьников по районам города Ярославля, по Ярославской области в целом, по различным выборкам профессионально ориентированных учащихся;
в использовании результатов исследования органами образования в регионе, администрациями школ при проведении мониторинга учебной деятельности із области с целью повышения ее качества;
в целесообразности учитывания полученных (на основе проведенного анализа) показателей тестирования для корректировки школьных учебных программ.
Результаты и материалы исследования могут найти отражение в учебных программах по педагогическим дисциплинам. Их можно также использовать лля чтения спецкурсов в институтах повышения квалификации, в работе учителей общеобразовательных школ в целях повышения эффективности
учебного процесса. В работе представлена программа разработанного автором специального курса по подготовке будущих преподавателей-тестологов к составлению и применению научно обоснованных педагогических тестов в своей профессиональной деятельности. Методические рекомендации могут быть использованы при формировании вариантов государственных тестов по математике. Основные положения* выносимые на защиту:
Разработанная автором методика адаптивной оценки трудности тестовых заданий может быть использована для ранжирования обучаемых по уровню знаний, выделяя учащихся, способных к обучению на следующей образовательной ступени, и тех5 для кого это обучение может вызвать большие трудности,
Применение предлагаемой автором модели информационной ценности заданий в системе тестов позволит определять группы учащихся, для которых предлагаемые тестовые задания обладают высокой степенью селективности, а следовательно, высокой «разрешающей способностью» отбора групп выпускников средних учебных заведений, наиболее подготовленных к дальнейшему обучению.
Тестовые задания ежегодного централизованного тестирования по математике должны носить принципиально различный характер: трудность задач каждой конкретной тематики должна варьироваться, что сделает необходимой широкую и глубокую проработку всех разделов школьного курса математики.
Самооценка школьника, проявившего готовность к прохождению тестирования, обладает высокой точностью, процент тех испытуемых, для кого тестовые задания (по их собственному мнению) являются весьма простыми, очень хорошо коррелирует с процентом имеющих высший тестовый балл.
5Г Система научно'Обоснованных тестов обладает высокой прогностической валидностью: прошедшие объективное тестирование абитуриенты имеют лучшие результаты в процессе последующего обучения, чем студенты, принятые в вуз по системе заслуг или по результатам летней приемной кампании, 6. Результаты выполнения тестовых заданий различных групп профессионально ориентированных учащихся значимо коррелируют друг с другом, то есть для учащихся всех групп вызывают трудность одни и те же задания. Отличие определяется лишь степенью заіруднения. Это позволяет с большой достоверностью выявлять массовые пробелы в знаниях учащихся.
Апробация и внедрение результатов исследования осуществлялись в процессе опытно - экспериментальной работы в региональном представительстве Центра тестирования по Ярославской области, в Ярославском государственном университете им. ПТ. Демидова. Основные теоретические положения, выводы и практические рекомендации были изложены автором в научных, статьях, докладах и выступлениях на научно-практических семинарах и конференциях работников профессиональной школы и методических служб города Ярославля (1997, 1998, 1999), на седьмом съезде общества психологов «Психология и научно-технический прогресс» (Москва, 1989), на республиканской научно-практической конференции «Проблемы профконсультирования молодежи» (Таллинн, 1989), па научно-методической конференции в Ярославском государственном техническом университете (2000), на научной конференции «Математика. Образование. Экология. Тендерные проблемы» (Воронеж, 2000), на Всероссийском научном семинаре преподавателей математики педагогических нуюв «Профессионально-педагогическая направленность математической подготовки будущих учителей математики в педвузах: прошлое.
настоящее и будущее» (Москва, 2000), на международной конференции «Иностранный язык и культура в вузе и школе: проблемы качества, оценки и контроля знаний» (Ярославль, 2000), на заседаниях кафедр общей математики и педагогической психологии Ярославского государственного университета им. П,Г. Демидова.
Структура диссертации. Диссертация состоит из введения, трех глав, заключения, библиографии (171 наименование) и приложений. В работу входят 5 таблиц, 2 рисунка и 36 диаграмм.
Во введении дается обоснование актуальности темы исследования, определяются его цель, предмет, гипотеза, задачи, методологическая основа, научная новизна, теоретическая и практическая значимость, экспериментальная база и методы исследования, формулируются основные положения, выносимые на защиту, характеризуется апробация результатов.
В первой главе - «Концептуальный анализ подхода к использованию тестирования в процессе обучения» представлен анализ состояния проблемы, обозначены исходные теоретические предположения, раскрываются противоречия между использованием в педагогической практике традиционных методов оценивания знаний и умений и имеющейся в стране потребностью в развитии новой объективной формы контроля - тестирования учебных достижений, определены направления развития этой системы, основанной на классической теории тестов и современной теории латептно-струкгуркого анализа.
Во второй главе «Педагогическое тестирование и методики использования научно-обоснованных тестов» автором предложены две новые модели применения математических методов в интерпретации тестовых измерений, опирающихся на модели современной теории гестов (IRT), нацеленной на оценивание латентных качеств личности и
параметров заданий теста. Здесь же подсчитаны наиболее важные статистические характеристики государственных тестов по выборке испытуемых региона,
В третьей главе «Реализация педагогического тестирования как одного из средств контроля знании» - приведены данные обработки и анализа опытных результатов, полученных в течение трех последних лет по различным выборкам профессионально ориентированных выпускников Ярославской области, участвующих в процедуре государственного абитуриентского тестирования, а также результаты обработки данных успеваемости студентов трех факультетов Ярославского государственного университета, зачисленных на направления и специальности по различной системе оценок и заслуг,
В заключении делаются выводы по проведенному исследованию, намечаются перспективы дальнейшей разработки проблемы.
Приложения содержат статистические данные обработки результатов абитуриентского тестирования по региону и в целом по РФ.
