Тесты фиксированной длины, компьютерная генерация параллельных вариантов теста

4.3. Тесты фиксированной длины, компьютерная генерация параллельных вариантов теста.

Основные компоненты процесса автоматизированной компоновки теста для компьютерного предъявления. Процесс автоматизированной компоновки теста в том случае, когда он происходит заранее и не в адаптивном режиме, включает сборку (генерацию) параллельных вариантов, выбор правила подсчета баллов тестируемых учащихся и коррекцию вариантов для выполнения требований теории педагогических измерений.

Неизбежные различия по трудности вариантов, возникающие вследствие существования ошибок измерения, устраняются после тестирования путем выравнивания шкал, получаемых при подсчете тестовых баллов по отдельным вариантам теста. К числу сопутствующих вопросов, решение которых также необходимо при автоматизированной компоновке теста, относится работа по наполнению банка тестовых заданий и оцениванию информационной безопасности тестирования.

Компьютерная генерация параллельных вариантов теста фиксированной длины. Автоматизированная сборка теста с фиксированным числом заданий предполагает наличие установленной длины теста, его спецификации и банка калиброванных заданий. В работоспособный банк, поддерживающий генерацию многовариантного теста, должны входить фреймы заданий различной трудности по каждому содержательному элементу с устойчивыми оценками параметров. С помощью специального программно-инструментального обеспечения получается аналог традиционного блан­кового теста, готовый к предъявлению спустя несколько минут от начала генерации и обеспечивающий высокое качество педагогических измерений.

Метод автоматизированной компоновки теста для компьютерного предъявления в режиме offline (без использования локальных компьютерных сетей или Интернета) или в режиме online (с использованием локальных компьютерных сетей или Интернета) называют автоматизированным тестовым дизайном. Целью дизайна является формирование вариантов теста, удовлетворяющих целому ряду условий, к которым относятся: число заданий, структура содержания, частота выбора заданий в варианты, а также ряд требований, обеспечивающих генерацию параллельных вариантов теста.

Технология компоновки вариантов должна поддерживать систематический контроль за частотой включения каждого задания из банка в тест. Количество одинаковых заданий в параллельных вариантах, используемых для выравнивания шкал по вариантам, не должно превышать 15 — 20 %. Для контроля частоты включения задания в варианты в качестве ограничения вводится максимально возможный процент выбора каждого задания из банка. При его до­стижении задание перестает использоваться в дальнейших проце­дурах генерации теста.

Обычно многочисленные параллельные или квазипараллельные варианты теста создаются в режиме offline для последующего предъявления в режиме online, в том числе при интерактивном взаимодействии с обучающимися [5]. Для расширения коммуникативных возможностей компьютерного контроля в геаl time рекомендуется использование адаптивного тестирования, обеспечивающего пошаговую оптимизацию подбора трудности заданий при генерации адаптивного теста .

4.4. Компьютерное адаптивное тестирование

Адаптивное тестирование и его возможности. Появление адаптивного тестирования было вызвано стремлением к повышению эффективности педагогических измерений, которая, как правило, связывалась с уменьшением числа заданий, времени, стоимости тестирования, а также с повышением точности оценок учащихся. В основе адаптивного подхода лежит индивидуализация процедуры отбора заданий теста, которая за счет оптимизации трудности заданий применительно к уровню подготовленности обучаемых обеспечивает генерацию эффективных тестов [6].

Оптимизация трудности заданий обычно проводится пошагово. Если учащийся выполняет задание верно, то затем ему дается более трудное задание. При неправильном выполнении задания совершается отход назад к более легким заданиям банка. При невыполнении трех заданий подряд процесс останавливается и специальными методами (чаше всего с помощью теории IRТ) определяется балл учащегося за выполненные задания по сформированному специально для него адаптивному тесту. Таким образом, в компьютерном адаптивном предъявлении число тестовых заданий и их трудность индивидуально подбираются для каждого экзаменующегося на основании его ответов, а индивидуальная совокупность заданий образует адаптивный тест. Адаптивные тесты в группе испытуемых состоят в основном из разных заданий и различаются по количеству и трудности заданий тем сильнее, чем больше разброс среди испытуемых тестируемой группы по подготовленности.

Получить одновременный прирост эффективности измерений по всем критериям невозможно, поэтому обычно при организации адаптивного тестирования на первый план выходит один, в лучшем случае, два критерия. Например, в одних случаях при экспресс-диагностике в адаптивном режиме наибольшее внима­ние уделяется минимизации времени испытания и количеству предъявляемых заданий, а вопросы точности оценок отходят на второй план. В других случаях приоритетной может быть точность измерения и тестирование каждого испытуемого продолжается до тех пор, пока не достигается запланированная минимальная ошибка измерения.

На длине адаптивного теста существенно сказывается качество структуры знаний учащихся. Обычно испытуемые с четкой структурой знаний выполняют задания нарастающей трудности, уточняя с каждым очередным верно выполненным заданием оценку подготовленности. Они выполняют небольшое число заданий адаптивного теста и быстро доходят до порога своей компетентности. Учащиеся с нечеткой структурой знаний, у которых чередуются верные и неверные ответы, получают колеблющиеся по трудности задания. Процесс тестирования затягивается, поскольку при скачкообразном изменении трудности заданий не происходит пошагового нарастания точности измерения и число заданий, адаптированных по трудности, нередко оказывается даже большим, чем в обычном, традиционном тесте.

Преимущества адаптивного тестирования. К числу важных преимуществ компьютеризованного адаптивного тестирования можно отнести:

-  высокую эффективность;

-  высокий уровень секретности;

-  индивидуализацию темпа выполнения теста;

-  высокий уровень мотивации к тестированию у наиболее слабых обучающихся за счет исключения из процесса предъявления излишне трудных заданий;

- сообщение результата в интервальной шкале тестовых баллов каждому испытуемому незамедлительно, сразу после окончания его работы над индивидуально подобранным набором заданий в адаптивном тесте.

Стратегии адаптивного тестирования. Стратегии предъявления тестовых заданий в адаптивном тестировании можно разделить на двухшаговые и многошаговые, сообразно которым используется различная технология формирования адаптивных тестов. Двухша-говая стратегия предполагает наличие двух этапов. На первом этапе всем испытуемым выдается одинаковый входной тест, цель которого — осуществление предварительной дифференциации учащихся вдоль оси переменной измерения. По результатам дифференциации на втором этапе организуется адаптивный режим и строятся адаптивные тесты.

В результате развития теории IRТ, обеспечивающей единую интервальную шкалу для оценок параметров испытуемых и трудности заданий теста, появилась возможность по-новому осуществить оптимизацию процедуры отбора заданий для моделирования эффективных адаптивных тестов. Стали развиваться многошаговые стратегии адаптивного тестирования, в рамках которых в процессе выполнения наборов заданий каждый испытуемый движется по своей индивидуальной траектории.

Многошаговые стратегии адаптивного тестирования подразделяются на фиксировано-ветвящиеся и варьирующе-ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты. Если один и тот же набор заданий с их фиксированным расположением на оси трудности используется для всех испытуемых, но каждый учащийся движется по набору заданий индивидуальным путем в зависимости от результатов выполнения очередного задания, то стратегия адаптивного тестирования является фиксировано-ветвящейся.

Задания по трудности в наборе заданий обычно располагают на равном расстоянии друг от друга или выбирают убывающий шаг сообразно нарастанию трудности, что позволяет подстроить темп тестирования под испытуемого, поскольку по мере выполнения заданий у него нарастает утомление и снижается мотивация к выполнению заданий теста.

Варьирующе-ветвящаяся стратегия адаптивного тестирования предполагает отбор заданий непосредственно из банка по определенным алгоритмам, которые прогнозируют оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Таким образом, шаг за шагом из отдельных заданий получается адаптивный тест. В нем варьирует не только трудность, но и шаг, определяемый разностью трудностей двух соседних заданий адаптивного теста. Отличительной особенностью варьирующей-ветвящейся стратегии адаптивного тестирования является пошаговая переоценка уровня под­готовленности испытуемого, предпринимаемая после каждого выполнения очередного задания теста.

Вход и выход из адаптивного тестирования. Выбор начальных оценок для входа в адаптивное тестирование осуществляется по-разному, в зависимости от вида стратегии и имеющихся технологических возможностей при генерации адаптивных тестов. Один из методов определения начальных оценок основан на выдаче испытуемым перед началом адаптивного тестирования входного претеста. В претест обычно включают 5— 10 заданий из различных разделов содержания, охватывающих по трудности весь диапазон предполагаемого расположения тестируемой выборки учащихся на оси переменной измерения.

Для выхода из режима тестирования либо вводят ограничения по времени или по числу заданий, либо задаются планируемой точностью измерений.

Надежность, валидность и длина теста при адаптивном тестировании. Так же как и при традиционном тестировании, стбор заданий в адаптивные тесты осуществляется в соответствии со спецификой теста. Оптимизируя трудность,можно лишь уменьшить число предъявляемых заданий по каждому разделу и сохранить при этом для каждого истпытуемого содержательный план теста. Таким образом, адаптивное тестирование вне зависимости от стратнгии предъявления заданий и их числа должно обеспечивать высокую содержательную валидность каждого генерируемого адаптивного теста.

Надежность в адаптивном тестировании зависит от совокупности факторов. К ним стносятся: число заданий , наличие систематического контроля за частотой выбора заданий банка при генерации адаптивного теста. На надежность также влияют характеристики банка тестовых заданий, связанные с качеством измерений и качеством входного контроля.

Заключение. Тесты и учителя.

Причины затруднений учителей при работе с тестами. Использование тестовых методик предполагает наличие определенных условий, которые имеются далеко не во всякой школе. Прежде всею требуются сами тестовые задания, разработка которых не может быть инициативной работой одного учителя в ущерб своему свободному времени. Желательно, чтобы в создании тестов принимали участие почти все преподаватели школы, чтобы они обменивались своими достижениями, совместно преодолевали трудности. Необходимо также иметь программно-инструментальное обеспечение для ведения баз данных тестирования, хранения банков заданий, выдачи заданий учащимся в компьютерной форме или распечатки заданий на бланках и обработки данных тестирования. Как уже отмечалось, перечисленные условия есть далеко не во всех учебных заведениях, поэтому нередки случаи, когда по возвращении в школу после очередного повышения квалификации по тестовым методикам учитель сразу забывает все, чему научился, и включается в повседневный учебный процесс.

Считается, что педагогам с гуманитарной базовой подготовкой трудно освоить содержание курса по педагогическим измерениям, в котором используется математико-статистическое обоснование качества тестов. Если вы недостаточно сильны в математике и боитесь не освоить методики разработки и применения тестов, то ваши опасения необоснованны. Многолетний опыт преподавания курса по теории и практике конструирования тестов, накопленный авторами этой книги при работе с преподавателями средней и высшей школы, свидетельствует о том, что отсутствие специальных знаний по математике не является препятствием в освоении этого курса.

При изложении материала в нем используется основной набор математических действий — сложение, вычитание, умножение и деление, а простейшие понятия математической статистики легко усваиваются всеми педагогами вне зависимости от базового образования по мере изложения методик разработки и примене­ния тестов.

Какие тесты необходимо разрабатывать и применять всем учителям? Без сомнения, математико-статистический аппарат, используемый профессионалами в полном объеме при разработке тестов для алминистративно-управленческих решений, довольно сложен, но он учителям и не нужен. В основном в учебном процессе используются тесты для входного и текущего контроля, не нуждающиевя в серьезном статистическом обосновании. От разработчиков таких тестов требуется лишь владение методикой отбора содержания, знания требований к тестовым формам и простейших показателей дескриптивной статистики, необходимых для выполнения основных требований к качеству теста. Поскольку на тесты для текущего контроля приходится основная доля по времени и объему использования. То будет верным считать, что учитель - ключевая фигура в разработке и применении педагогических тестов.

Факторы, влияющие на интерпретацию результатов тестирования. Помимо разработки тестов для текущего контроля учителю также нужно обязательно овладеть методикой применения педагогических тестов, интерпретацией их результатов, в первую очередь, для разъяснения родителям учеников проблем и трудностей, с которыми сталкиваются их дети. Такая интерпретация не может иметь изолированный, полностью беспристрастный характер. На нее оказывают влияние многочисленные факторы и сопутствующие элементы социально-экономической среды, окружающей учащихся, учителя, класс и в целом школу (см. рис. 1).

Результаты тестирования влияют на отношения педагога с учащимися и их родителями и на его статус в профессиональном сообществе. Поэтому умения применять педагогические тесты, шкалировать и интерпретировать результаты их выполнения необходимы каждому учителю для самооценки эффективности своей работы, выявления в ней слабых мест и поиска факторов профессионального роста. Игнорирование или отрицание потребности в тестировании не отменят эту потребность, поэтому, учитывая, что педагог работает в условиях ограниченного времени, правильнее было бы начать осваивать разработку и применение тестов еще в студенческие годы, до начала педагогической деятельности.

Приложение.

рис.1 Важнейшие факторы, влияющие на интерпретацию результатов педагогического тестирования.

РОУОРУ- Руководители органов управления образованием районного уровня;

СУМ — сообщество учителей микрорайона;

ФОУО — федеральные органы управления образованием

Таблица 1. Достоинства и недостатки различных форм предтестовых заданий.

Анастази А. Психологическое тестирование./ - М., 1982.

2. Самылкина Н.Н. Современные средства оценивания результатов обучения /- М.,2007

3.  Звонников В.И. Современные средства оценивания результатов обучения / - М., 2007

4.  Челышкова М.Б. Теория и практика конструирования педагогических тестов /- М., 2001

5.  Гутгарц Р.Д. Особенности дистанционного тестирования в Интернете / - Иркутск, 2001

6.  Шмелев Г.А., Бельцер А.И. Адаптивгное тестирование знаний в системе « Телетестинг» / - М., 2001

7.  Зимняя И.А. Педагогическая психология /- М., 2005

8.  Балыхина Т.М. Словарь терминов и понятий тестологии /- М., 2000

9.  Андреев А.Б. Компьютерное тестирование : системный подход к оценке качества знаний студентов /- М., 2001

10. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании /- М.,1995

Похожие работы

Метод тестирования как средство педагогического контроля обученности старшеклассников

Скачать

68203

5

3

... состоит в том, что педагогический контроль обученности впервые рассматривается как самостоятельная исследовательская проблема; экспериментально проверена эффективность метода тестирования как средства педагогического контроля обученности старшеклассников. Практическая значимость заключается в том, что выводы и результаты курсовой работы могут быть использованы в учебно-воспитательном процессе ...

Методы тестирования в подготовке ориентировщиков

Скачать

33917

2

0

... является сопоставление нескольких методик (тестов), относительно которых заранее предполагается, что они характеризуют одно и то же свойство КС или одну и ту же КС в целом. 1.3.Методы тестирования в подготовке ориентировщиков Функциональное состояние начинающего спортсмена можно оценить, например, с помощью индекса Руфье Д-Диксона. Оборудование: секундомер. Процедура тестирования: 1. ...

Языковое тестирование как способ контроля при обучении английскому языку

Скачать

12467

0

0

... иностранным языкам: традиции и инновацию Межвузовский сборник научных статей. – Пятигорск: Изд-во ПГЛУ, 2001. – С.116-121. 3.       Мильруд Р.П., Матиенко А.В. Языковой тест: проблемы педагогических измерений // Иностр. языки в школе. – 2006. – №5. – С.7-13. 4.       Мильруд Р.П., Матиенко А.В., Максимова И.Р. Зарубежный опыт языкового тестирования и оценки качества обучения иностранным языкам /

Технология адаптивного компьютерного тестирования в профессиональной подготовке инженеров

Скачать

52511

3

7

... , анализ, прогноз не носят завершающего цикла. В диссертации проанализированы причины, вызывающие затруднения у руководителей вуза и преподавателей по использованию технологий адаптивного компьютерного тестирования в профессиональной деятельности. Теория педагогических измерений в современных условиях внедрения государственных образовательных стандартов – это качественно новый этап в развитии ...