Электронная библиотека диссертаций и авторефератов России
dslib.net
Библиотека диссертаций
Навигация
Каталог диссертаций России
Англоязычные диссертации
Диссертации бесплатно
Предстоящие защиты
Рецензии на автореферат
Отчисления авторам
Мой кабинет
Заказы: забрать, оплатить
Мой личный счет
Мой профиль
Мой авторский профиль
Подписки на рассылки



расширенный поиск

Тестирование коммуникативной компетенции в устной речи абитуриентов специальности "Лингвистика и межкультурная коммуникация" Балуян Светлана Размиковна

Тестирование коммуникативной компетенции в устной речи абитуриентов специальности
<
Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности Тестирование коммуникативной компетенции в устной речи абитуриентов специальности
>

Данный автореферат диссертации должен поступить в библиотеки в ближайшее время
Уведомить о поступлении

Диссертация - 480 руб., доставка 10 минут, круглосуточно, без выходных и праздников

Автореферат - 240 руб., доставка 1-3 часа, с 10-19 (Московское время), кроме воскресенья

Балуян Светлана Размиковна. Тестирование коммуникативной компетенции в устной речи абитуриентов специальности "Лингвистика и межкультурная коммуникация" : 13.00.02 Балуян, Светлана Размиковна Тестирование коммуникативной компетенции в устной речи абитуриентов специальности "Лингвистика и межкультурная коммуникация" (На материале английского языка) : Дис. ... канд. пед. наук : 13.00.02 Таганрог, 1999 215 с. РГБ ОД, 61:00-13/118-2

Содержание к диссертации

Введение

ГЛАВА I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ РАЗРАБОТКИ ТЕСТОВ 12

1.1 Краткий очерк истории тестирования устной речи 12

1.2 Тест коммуникативной компетенции в устной речи 24

1.3 Характеристики эффективности теста 29

1.4 Методика разработки лингво-дидактических тестов: 43

1.4.1 Определение цели теста 44

1.4.2 Описание ОПЯ и коммуникативных задач 48

1.4.3 Характеристика тестируемых 58

1.4.4 Определение конструкта 61

1.4.5 План для оценки характеристик эффективности 76

1.4.6 Расчет ресурсов тестирования 90

1.4.7 Разработка тестовых заданий 93

1.4.8 Составление инструкций к тесту о 96

1.4.9 Выбор методики оценивания 98

1.4.10 Администрирование теста 110

ВЫВОДЫ 117

ГЛАВА II. ПРОЕКТ, СПЕЦИФИКАЦИИ И РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОГО ОПРОБОВАНИЯ ТЕСТА КК В УСТНОЙ РЕЧИ ДЛЯ АБИТУРИЕНТОВ СПЕЦИАЛЬНОСТИ «ЛИНГВИСТИКА И МЕЖКУЛЬТУРНАЯ КОММУНИКАЦИЯ» 123

2.1 Проект и спецификации теста 123

2.2 План разработки заданий 149

2.3 Анализ результатов тестирования 156

ВЫВОДЫ 167

ЗАКЛЮЧЕНИЕ 169

БИБЛИОГРАФИЯ 173

ПРИЛОЖЕНИЕ 193

Введение к работе

Диссертация посвящена исследованию одной из актуальных и сложных проблем методики обучения иностранным языкам -тестированию коммуникативной компетенции в устной речи абитуриентов лингвистических специальностей, и, в частности, абитуриентов специальности «Лингвистика и межкультурная коммуникация». Выбор темы исследования обусловлен потребностями поиска новых форм контроля общего владения языком, соответствующих современному этапу становления личностно-ориентированной системы языкового образования.

Одной из основных задач подготовки специалистов квалификации «Лингвистика и межкультурная коммуникация» является практическое овладение студентами иностранным языком и знание мира его носителей.

В рамках коммуникативного направления в методике обучения иностранным языкам общее владение языком определяется как коммуникативная компетенция, а основным средством коммуникации признана устная речь, обучение которой стало главной целью в большинстве учебных заведений. Вот почему важно четко определить исходный уровень коммуникативной компетенции абитуриентов в устной речи, чтобы произвести отбор наиболее подготовленных и спланировать дальнейшее обучение в соответствии с их действительным уровнем владения иностранным языком, доводя его до желаемого, целевого, который для данной специальности можно обозначить термином билингвалъная личность, что соответствует уровню образованного носителя языка. Для определения исходного уровня коммуникативной компетенции в устной речи на вступительных испытаниях был выбран наиболее объективный метод контроля - метод тестов, возможности которого недостаточно используются сегодня для решения подобных проблем.

В настоящее время можно констатировать, что тестирование получило признание в нашей стране и стало общепринятой формой как текущего, так и итогового контроля, ориентируясь, в основном, на контроль усвоения языкового материала и рецептивных речевых умений. Однако до сих пор в России многие теоретические и практические вопросы тестовых измерений разработаны крайне слабо или не разработаны вообще. Это касается, в частности, тестирования устной речи.

Анализ теоретической литературы по проблеме тестирования коммуникативной компетенции в устной речи позволяет утверждать, что к настоящему времени в данной области сделано уже немало, в основном, тестологами из США и Великобритании. В то же время следует отметить, что и в западной тестологии целый ряд вопросов до сих пор либо не получал адекватного решения, либо не попадал в поле зрения ученых. К их числу относятся некоторые проблемы методики разработки тестов для измерения уровня сформированности коммуникативной компетенции в продуктивных видах речевой деятельности, выявление объекта тестирования для тестов общего владения языком, обеспечение эффективности устных тестов, определение понятия коммуникативная компетенция, установление количества уровней в оценочных шкалах и многие другие проблемы. Между тем необходимость таких исследований неоднократно отмечалась в методической литературе. Данная диссертация представляет собой попытку в определенной степени восполнить отсутствие таких исследований в отечественной тестологии. Ее научная новизна заключается в том, что впервые в методике обучения иностранным языкам в вузе исследуется проблема контроля коммуникативной компетенции абитуриентов в устной речи методом тестов и предлагается методика их разработки.

Несмотря на трудности, решение проблемы создания эффективных тестов для измерения коммуникативной компетенции в устной речи возможно. Такие тесты позволят сделать обоснованный вывод об общем уровне владения языком и степени подготовленности тестируемых к устной коммуникации, т.к., наряду с относительной объективностью и надежностью, они обладают и высокой валидностью.

Исходя из вышеизложенного, можно определить, что актуальность исследования вытекает из необходимости разработки эффективных тестов для измерения уровня сформированности коммуникативной компетенции в устной речи абитуриентов на основе корректных научных данных и с учетом современных методологических требований в связи с методическими теориями последних десятилетий, отдающими приоритет коммуникативному подходу к обучению иностранным языкам на фоне всеобщего повышения интереса к нему, совершенствования массового обучения иностранным языкам, применения новых подходов к обучению -этнолингвокультурологического, лингвострановедческого, социокультурного, профессионально-ориентированного и др., а также использования компьютерно-информационных технологий обучения иностранным языкам.

Целью диссертадионной работы является теоретическое обоснование и практическая реализация системы тестового контроля коммуникативной компетенции в устной речи абитуриентов.

Объектом исследования является содержание тестов для проверки сформированности коммуникативной компетенции в устной речи и организация их проведения.

Предметом исследования являются теоретические и практические вопросы проектирования, разработки тестовых заданий и администрирования теста для установления степени сформированности коммуникативной компетенции в устной речи.

Рабочая гипотеза исследования: тестовый контроль коммуникативной компетенции в устной речи даст эффективные результаты, если тесты составлены в соответствии с новыми данными тестологии на правильной методический основе, опробованы экспериментально и результаты экспериментального опробования подтвердили действенность разработанной системы тестов.

Цель, объект, предмет и гипотеза определили постановку ряда конкретных задач:

1. Рассмотреть проблему устного тестирования в историческом контексте и изучить отечественные и зарубежные исследования по теме диссертации.

2. Рассмотреть характеристики эффективности тестов для дальнейшего их учета при разработке данного теста и предложить методику ее качественной и количественной оценки.

3. Определить наиболее подходящую методику разработки тестов данного типа.

4. Выявить область применения языка и типы коммуникативных задач в ней.

5. На основе теоретической модели коммуникативной компетенции и с учетом цели тестирования выделить компоненты и субкомпоненты коммуникативной компетенции в качестве объектов тестирования.

6. На основе выявленных объектов тестирования и типов задач в области применения языка, а также характеристик тестируемых разработать тестовые задания и составить спецификации к ним.

7. Разработать методику оценивания теста.

8. Экспериментально проверить эффективность разработанного теста.

Для достижения цели исследования и решения поставленных задач в диссертации использовались следующие методы: качественно-количественный анализ и синтез, методы наблюдения, эксперимента, анкетирования, шкалирования, элементы математической статистики.

Исследование имеет прикладной характер.

Теоретическая значимость исследования заключается в разработке методики составления лингводидактических тестов для измерения коммуникативной компетенции в продуктивных видах речевой деятельности, уточнении определения эффективности теста, разработке методики оценивания тестов коммуникативной компетенции в устной речи.

Практическая значимость исследования заключается в создании системы тестов для вступительных испытаний, направленной на определение фактического уровня сформированности коммуникативной компетенции абитуриентов в устной речи.

Данное исследование также способствует усовершенствованию методики разработки тестов в целом, помогает решению задач, связанных с тестированием коммуникативной компетенции во всех видах речевой деятельности. Основные положения данного исследования и его результаты могут быть использованы в курсе методики обучения иностранным языкам (в разделе «Контроль»), спецкурсе по тестированию, а также при написании студентами курсовых и дипломных работ.

Теоретическую основу диссертации составили работы ведущих отечественных и зарубежных ученых в области методики обучения иностранным языкам, лингвистики, психологии и педагогики, исследовавших эту проблему.

На защиту выносятся следующие положения:

1. Эффективность теста определяется шестью его характеристиками: валидностью, надежностью, аутентичностью, интерактивностью, воздействием, практичностью.

2. Наиболее рациональная методика разработки тестов включает три этапа: проектирование теста, на стадии которого определяются его цель, область применения языка (в дальнейшем ОПЯ) и типы коммуникативных задач в ней, характеристика тестируемых, конструкт, составляется план для оценки характеристик эффективности теста, рассчитываются ресурсы тестирования и планируется их распределение; разработку тестовых заданий, которая предполагает определение их спецификаций и структуры теста в целом; администрирование теста, которое включает пилотное и основное тестирование с последующим анализом теста на наличие характеристик эффективности.

3. Наиболее рациональным методом оценивания устных тестов общего владения языком является сочетание холистической и аналитических критериальных шкал.

Апробация результатов исследования. Разработанные тесты были опробованы в Таганрогском государственном радиотехническом университете на вступительных испытаниях абитуриентов специальности «Лингвистика и межкультурная коммуникация» в 1998 и 1999 гг. Основные теоретические и практические положения диссертации были представлены на заседаниях кафедры иностранных языков (в дальнейшем ИЯ) и ежегодных научно-практических конференциях ТРТУ, на конференции «The Pleasures and Joys of TESOL» в Воронеже, в методических рекомендациях и опубликованных статьях и тезисах.

Объем и структура работы. Диссертация состоит из введения, двух глав, заключения, библиографии и приложения. Объем работы -215 машинописных страниц (основной текст - 172 страницы). Диссертация содержит 5 рисунков/схем, 5 таблиц, 285 библиографических источников, 13 адресов в Интернете по языковому тестированию.

Во введении дается обоснование выбора и актуальности темы исследования, формируются его цели, объект, предмет, задачи, методы исследования, определяется его научная новизна, теоретическое и практическое значение.

В первой главе «Теоретические основы разработки тестов» раскрываются теоретические предпосылки исследования — рассматривается проблема устного тестирования в контексте истории; формулируется определение эффективности теста и разрабатываются критерии ее качественной и количественной оценки; предлагается методика разработки лингводидактических тестов; исследуется проблема установления конструкта для тестов общего владения языком, проводится анализ существующих моделей коммуникативной компетенции (в дальнейшем КК); рассматривается методика составления тестовых заданий и их спецификаций, разрабатываются критерии оценивания тестов данного типа.

Во второй главе «Проект, спецификации и результаты экспериментального опробования теста коммуникативной компетенции в устной речи для абитуриентов специальности «Лингвистика и межкультурная коммуникация» представляются проект теста и спецификации тестовых заданий, описывается процесс его администрирования и производится качественный и количественный анализ его экспериментального опробования.

В заключении обобщаются результаты проведенного исследования, формулируются основные выводы и методические рекомендации.

В приложении содержатся схемы и таблицы, представлен один вариант теста и документация для его проведения (копия абитуриента, копия интервьюера, инструкция по выполнению теста, шкалы для оценивания теста, опросный лист).

Краткий очерк истории тестирования устной речи

Вопросы истории лингводидактического тестирования достаточно полно освещены в работах ведущих отечественных тестологов Л.В.Банкевича (1965), И.Н.Гальцева (1967), Г.Ю.Князевой (1968), Т.А.Королевой (1969), И.А.Цатуровой (1969, 1970), С.П.Суворова (1970), И.А.Рапопорта (1987), В.А.Коккоты (1989), и др, а также зарубежных тестологов J. О. Roach (1971), L.Bubenikova, L.KoUmanova, F.Skalova (1975), A.Davies (1968, 1978), H.Sollenberger (1978), R.Jones (1979), V.Whiteson (1981), P.Lowe Jr. (1982), J.L.D.Clark, 1983), A.Pennycook (1989), B.Spolsky (1985, 1990a, 1990b) и др., однако в них не было уделено достаточно внимания ряду вопросов, связанных с историей тестирования КК в устной речи. В данной главе мы кратко рассмотрим историю развития устного тестирования и проанализируем современное состояние этой проблемы.

B.Spolsky (1985) отмечает три этапа развития тестирования:

1. донаучный, или традиционный этап, на котором измерение при контроле основывается лишь на общем впечатлении экзаменатора );

2. психометрически-структуралистский, или современный, этап, на котором измеряется уровень владения отдельными видами речевой деятельности, в основном, с помощью тестов формата «множественный выбор». В стремлении создать объективные и надежные тесты тестологи недостаточно внимания уделяют их валидности и аутентичности. 3. психо-социолингвистический, или пост-современный, этап, па котором решаются проблемы соответствия тестов реальным жизненным ситуациям и обеспечения их высокой валидности и аутентичности.

В истории тестирования четко прослеживается изменение роли устного тестирования от незначительной в традиционный период до центральной в пост-современный период.

С момента появления первых тестов по ИЯ в 20-х гг. задача тестирования устной речи даже не ставилась перед создателями тестов в течение длительного времени. Объясняется это тем, что, во-первых, овладение устной речью не было целью обучения ИЯ в большинстве учебных заведений, и, во-вторых, тестологи того времени полагали, что осуществление тестового контроля устной коммуникации практически невозможно.

Новые социальные тенденции 30-50 гг. - необходимость подготовки большого количества квалифицированного военного персонала в период 2-й мировой войны, усиление международных контактов, рост туризма - вызвали к жизни и новые цели обучения ИЯ: на первый план выступили речевые умения, обеспечивающие практическое владение ИЯ.

Проблемы устного тестирования впервые были подняты в докладе J.О.Roach для экзаменационного синдиката Кембриджского университета (University of Cambridge Local Examinations Syndicate -UCLES) в 1945 году. Они касались вопросов обеспечения надежности и валидности тестов общих умений в устной речи (Oral Proficiency Tests). Первый устный тест в форме интервью был разработан Институтом МИД США (FSI - Foreign Service Institute of the US State Department). H.Sollenberger (1978) отмечает, что опробование этого и теста было проведено в 1951 году, затем его дальнейшая разработка была приостановлена до 1955 года. Проведение стандартизации теста позволило в 1957 году ввести в США обязательное устное тестирование. Коэффициент межрейтерской стабильности теста был в пределах 0.84-0.96. Для оценивания теста применялась пятиуровневая шкала и компонентами оценивания были определены лексика, грамматика, произношение, беглость речи и понимание. Первый опубликованный отчет (Rice, 1959) содержал лишь краткое описание теста, более подробное обсуждение природы и принципов, на которых основывался тест, было развернуто в 70-х годах, когда появились работы С.P.Wilds (1975) и R.L.Jones (1979), и этой теме была посвящена двухдневная конференция (J.L.D.Clark, 1978). В 1984 году в оценочную шкалу теста были внесены изменения и компонентами оценивания стали понимание, лексикализация (семантический аспект), грамматическая точность, беглость и дискурсивная компетенция.

Во второй половине 70-х годов появились прагматические тесты устной коммуникации, самыми распространенными из которых были устные интервью Д.Ильин и тест устной коммуникации Дж.Апшера. Эти тесты характеризовались включенностью экзаменатора в процесс тестирования в качестве собеседника, запрограммированностью действий экзаменатора и тестируемого, использованием широкого набора сюжетных картинок, наличием детально разработанной шкалы для оценки речевой деятельности тестируемых. Кроме данных тестов устной коммуникации в практике американской школы в качестве тестовых заданий для проверки устной речи используются чтение вслух, методика дополнения в устной форме, рассказ (И.А.Рапопорт, 1987). В начале 80-х годов устные тесты стали частью тестов учебных достижений в иностраїіньїх языках в университетах США благодаря усилиям Американского Совета преподавателей ИЯ (ACTFL). Наиболее известным устным тестом стал Oral Proficiency Interview (OPI), рейтинговая шкала которого была составлена на основе оригинальной шкалы, разработанной Институтом МИД США.

Для измерения общего уровня владения устной речью с целью отбора претендентов на преподавательскую и исследовательскую должности в американских университетах и профессиональной сертификации (в основном, в области медицины) в 1979 году был разработан Test of Spoken English (TSE). Существующие к тому времени тесты не подходили для решения этой задачи: TOEFL не был прямым тестом, а хорошо зарекомендовавший себя устный тест OPI, обладающий высокой внешней и содержательной валидностью, был дорог. Ответственным за функционирование TSE стал комитет экзаменаторов TOEFL (the TOEFL Committee of Examiners). Комитет регулярно вносил изменения в формат, содержание и систему оценивания теста. В 1992 году был создан комитет TSE (TSE Committee), перед которым была поставлена задача переработки теста. Переработанный на основе современного взгляда на теорию КК тест был представлен комитетом в июле 1995 года.

С момента своего появления TSE вызывал большой интерес и стал предметом исследования многих тестологов (J.L.D.Clark and S.S.Swinton (1979, 1980), G.Henning (1983), D.E.Powers (1983), J.A.Bejar (1985), R.F.Boldt, P.Oltman (1991), R.F.Boldt (1992) E.Cascallar (1987, 1992), G.Henning, M.Schedl, B.Suomi (1995), A.Lazaraton, S.Wagner (1996), D.Douglas, J.Smith (1997). На его основе служба тестирования разработала тесты SPEAK (Spoken Profi 16 ciency English Assessment Kit) для измерения уровня владения английским языком иностранцев-ассистентов преподавателей (international teaching assistants - ITA) и его приложение TEACH (Taped Evaluation of Assistants Classroom Handling) для измерения уровня владения английским языком для специальных целей, которые широко и успешно применяются в американских университетах и результаты которых совместимы с результатами TSE. В комплект тестов SPEAK и TEACH входят не только тестовые задания и рейтинговые шкалы для оценивания, но и материалы для подготовки персонала, обслуживающего данные тесты. При тестировании речь испытуемых записывается на магнитофон (SPEAK) и на видеокамеру (TEACH).

Характеристики эффективности теста

При составлении теста возникает вопрос: каким образом обеспечить его главное качество - эффективность? Термин «эффективность» теста заимствован нами у И.А.Рапопорта, Р.Сельг и И.Соттер (1987:139). В отечественной литературе по тестам используется также его варианты-«качество теста», «критерии теста» (И.А.Цатурова (1970), В.А.Коккота (1989), В.Н.Симкин (1996)), в зарубежной -«usefulness» (L.Bachman, A.Palmer, 1996). В классической тестоло-гии основными характеристиками эффективности считаются валид-ность и надежность теста. Наиболее полно они подвергались анализу в работах V.A.Ch.Henmon (1929), R.L.Thorndike (1951), J.R.Gerberich (1961), С.И.Воскерчьяна (1963), Л.В.Банкевича (1965), М.С.Бернштейна (1968), A.Davis (1968), P.Linert (1969), И.А.Цатуровой (1970), J.C.Stanly (1971), А.Анастази (1982), И.А.Рапопорта (1986), И.А.Рапопорта, Р.Сельг, И.Соттер (1987), R.Lado (1961), L.F.Bachman (1990), C.Alderson, C.Clapham, D.Wall (1995), K.Kitao, K.Kitao (1997) и др. Кроме валидности и надежности, тестологами указываются и другие характеристики эффективности теста, такие как практичность, экономичность, объективность, и др. (P.Linert, А.Анастази, И.А.Цатурова, В.А.Коккота)

В нашем исследовании мы использовали концепцию, выдвинутую Л.Бахманом и А. Палмером (1996), которые полагают, что эффективность коммуникативных тестов наилучшим образом обеспечивают шесть его характеристик - надежность (reliability), конст-руктная валидность (construct validity), аутентичность (authenticity), интерактивность (interactiveness), воздействие (impact), практичность (practicality).

В традиционной тестологии характеристики теста рассматриваются как более или менее независимые и подчеркивается необходимость использовать каждую из них в максимальной степени. Но попытки максимально повысить одну из характеристрік неизбежно приводят к потере другой. Вот почему некоторые тестологи утверждают, что такие характеристики теста, как, например, валидность и надежность, находятся в конфликте (N.Underbill (1982), G.B.Heaton (1988)), или что невозможно сконструировать тесты, которые были бы аутентичны и в то же время надежны (K.Morrow (1979, 1986)). Мы считаем, что, несмотря на некоторую напряженность между разными тестовыми характеристиками, нет необходимости отказаться от какой-либо из них. Задача тестолога - найти оптимальный баланс между всеми характеристиками теста, причем этот баланс будет меняться в зависимости от конкретной тестовой ситуации для достижения наибольшей эффективности теста. Исходя из изложенного, мы предлагаем следующее определение эффективности теста.

Эффективность теста представляет собой показатель, который отражает совокупность нескольких различных, но взаимосвязанных характеристик, каждая из которых влияет определенным образом на общее качество данного теста.

На основе этого определения можно выделить три принципа, которыми мы будем руководствоваться при разработке теста: 1. Необходимо стремиться максимально повысить эффективность теста в целом, а не каждую из его отдельных характеристик.

2. Отдельные характеристики теста не могут быть оценены индивидуально, а только в совокупности их влияний на общую эффективность.

3. Эффективность теста и соответствующий баланс между его характеристиками не могут быть рассчитаны раз и навсегда, они рассчитываются индивидуально для каждой конкретной тестовой ситуации.

Четыре из шести характеристик, отмеченных выше, являются характеристиками не только тестовых заданий, но и заданий, используемых при обучении ИЯ, это аутентичность, интерактивность, воздействие и практичность. И только две характеристики - надежность и валидность - это чисто измерительные характеристики, и они считаются основными показателями качества тестов. Под надежностью понимается определенная стабильность и устойчивость результатов теста, валидность показывает, насколько тест действительно измеряет то, что должен измерить.

Классическое определение разницы между надежностью и ва-лидностью дали D.T.Campbel, D.W.Fiske (1959:83): "Надежность -это согласование между двумя попытками измерить одно и то же максимально схожими методами. Валидность - согласование между двумя попытками измерить одно и то же максимально отличными методами".

В результате исследований отечественных и зарубежных тесто-логов сделаны выводы, что существует несколько способов определения надежности и валидности тестов (К.Spearman (1920), E.F.Lindquist (1942), L.L.Thurstone (1959), M.Katz (1964), М.С.Бернштейн (1968), И.А.Цатурова (1970), И.А.Рапопорт, Р.Сельг, И.Соттер (1987), J.C.Alderson (1988), В.А.Коккота (1989), L.F.Bachman (1990), C.Alderson, C.Clapham, D.Wall (1995) и др.), изучив и проанализировав которые мы пришли к выводу, что в относительно субъективных тестах, таких как письменных в виде сочинения или устных интервью, главным источником нестабильности результатов выступают оценки рейтеров. При анализе таких тестов надежность может быть выражена через:

1. коэффициент межрейтерской стабильности (inter-rater reliability), который определяется как коэффициент корреляции между результатами оценивания двух или нескольких рейтеров одного и того же контингента тестируемых. По данным литературы (R.Schulz (1977), B.Strecker (1980), J.Francis (1981), E.Shohamy (1985)) коэффициент межрейтерской стабильности считается приемлемым в пределах 0.80-0.90;

2. коэффициент внутрирейтерскои стабильности (intra-rater reliability), который определяется как коэффициент корреляции между результатами оценивания одним и тем же рейтером двух последовательных тестирований одного и того же контингента тестируемых параллельной формой того же теста;

3. коэффициент стабильности теста (test-retest reliability), который вычисляется как коэффициент корреляции между результатами двух последовательных тестирований одного и того же контингента тестируемых одним и тем же тестом.

Проект и спецификации теста

В основу разработки теста для измерения уровня сформированности КК в устной речи, предназначенного для вступительных испытаний абитуриентов специальности «Лингвистика и межкультурная коммуникация» в Таганрогском радиотехническом университете, легла методика разработки тестов, представленная и теоретически обоснованная в Главе I исследования. В данной главе будут описаны практические шаги поэтапной разработки теста, представлены его спецификации, результаты его пилотного опробования и анализ характеристик эффективности.

В приложении дан 1 вариант теста в двух формах - форме для интервьюера и форме для тестируемого, инструкции к нему, рейтинговые шкалы и опросный лист.

Эталонным уровнем владения английской устной речью для данного теста является использование абитуриентом английского языка как естественного средства коммуникации, при котором он понимает иноязычное сообщение, содержащее незнакомый материал в незнакомой ситуации и использует иностранный язык, чтобы устно выразить свои собственные мысли. Тестирование проводится в формате интервью и ролевой игры.

Основная цель: измерить уровень КК абитуриентов специальности «Лингвистика и межкультурная коммуникация» в устной речи, а также уровень владения отдельными субкомпонентами КК (грамматикой, лексикой, произношением), с помощью теста в формате интервью и ролевой игры.

Дополнительные цели: на основании полученных результатов: а) произвести отбор абитуриентов для обучения по специальности «Лингвистика и межкультурная коммуникация»; б) распределить отобранных студентов по группам; в) составить прогноз успешности будущей учебы студентов; г) предоставить материалы тестирования преподавателям для диагностики проблем в устной речи студентов и их учета в процессе дальнейшего обучения. область реальной жизни и область программы обучения в вузе.

Выявление и отбор задач для переноса в тест.

Анализ потребностей, проведенный совместно с консультантами, выявил обширную область задач, связанных с говорением и пониманием речи на слух, как в реальной жизни, так и в программе обучения в вузе. В результате этого анализа из большого перечня задач были исключены наименее важные. Результаты анализа характеристик отобранных коммуникативных задач представлены в таблице 4.

Похожие диссертации на Тестирование коммуникативной компетенции в устной речи абитуриентов специальности "Лингвистика и межкультурная коммуникация"