Содержание тестовых заданий подбирается с учетом уровня

2.4. Содержание тестовых заданий подбирается с учетом уровня

трудности (сложности). Обоснованность ее градаций должна обязательно проверяться (с коррекцией соответствующих формулировок) в группировках «сильных» – «средних» - «слабых» учащихся.

Для варьирования заданий по трудности можно использовать выделенные системной дидактикой пять уровней усвоения знания:

-           Уровень общего знакомства с материалом. Это задания, в

которых требуется опознать единицы знания с помощью опоры (выбрать правильный ответ из нескольких представленных вариантов ответа или установить соответствие элементов одного списка элементам другого).

-           Уровень воспроизведения (алгоритмический). Это задания,

требующие вспомнить и воспроизвести материал по памяти без внешней опоры (варианты заданий: подстановки – вставить в заданную структуру ответа недостающие и пропущенные или исправить искаженные элементы; способ конструирования или восстановления по памяти порядка какого-либо действия с последующим его выполнением; способ типовой задачи – выполнение действия по определенному алгоритму, формуле, схеме; способ восстановления алгоритма – вспомнить и воспроизвести последовательность какого-то процесса, деятельности).

-           Уровень эвристический (частичного поиска). Это задания на

самостоятельный перенос известного алгоритма действий в заданные конкретные условия (варианты заданий: дополнить формулировку вопроса посредством применения общего правила для заданной ситуации; построить ответ, алгоритм с изменением условия; решить задачу, изменив алгоритм типового процесса и применив его в заданной ситуации).

- Уровень творческого применения знаний. Это задания, требующие

самостоятельной рационализации, моделирования или конструирования. Их результатом могут быть алгоритмы, схемы, карты и т.д. К таким заданиям прилагаются требования к форме представления результатов, параметры, условия и другие ограничения, которым должны соответствовать творческие разработки.

-           Уровень исследования. Это задания трех видов: на проверку и

уточнение известного знания, на его дополнение и развитие, на получение нового, не имеющего аналогов, знания. Такие задания, помимо знаний конкретного учебного курса, предполагают определенное владение понятийным аппаратом и методологией научного исследования. Как и в предыдущем пункте, здесь тоже задается организующий комплекс необходимых условий и ограничений.

Примечание: материал этого пункта (пять уровней усвоения) представлен Пырлик Л.Я., гуманитарный колледж, г. Астана.

 

2.5. Вопросы-задания строятся как закрытые (в большинстве), полуоткрытые и открытые. Закрытые – предполагают выбор из предъявляемого списка ответов. Полуоткрытые – предлагают самостоятельно ввести ответ, осуществляя выбор из известного, но не предъявляемого списка ответов (например, напечатать перевод слова с иностранного языка по известному словарю). Реже применяется открытый вариант - с произвольной формой развернутого ответа. Хотя он и обладает наилучшими возможностями для выявления результатов усвоения, его трудно оценивать (необходимо создавать специальную шкалу с произвольными ограничениями, которую сложно и не всегда возможно обоснованно формализовать) и приходится использовать трудоемкий способ ручного тестирования.

3.         «Ответы-ключи»:

3.1. Обеспечивается однозначное соответствие формулировки ответа и сути задания (вопроса): с одной стороны, - каждый ответ в списке обязательно содержит существенные признаки распознавания идеи (действия) правильного ответа; а с другой, - формулировка ответа в соответствующем списке исключает прямое или косвенное искажение этой идеи (действия), ее двусмысленное толкование.

3.2. Формулировки в списке возможных ответов должны

максимально снижать возможность случайного угадывания правильных ответов и исключать возможность его логического «вычисления» без подлинного знания:

-            каждая тестируемая единица темы должна быть представлена

двумя – пятью вопросами (заданиями) с выбором из пяти (или более) возможных ответов для каждого из них;

-           все формулировки в списке возможных ответов должны быть

построены на изменении (в тексте правильного ответа) существенных признаков тестируемой идеи (действия), без использования суждений, не относящихся к ней (чтобы было невозможно чисто логически отсеять формулировки, явно не относящиеся к сути вопроса);

- эти формулировки должны иметь одинаковую логическую структуру и состоять из простых по составу и относительно коротких предложений;

- вопросы (задания) должны предъявляться по одному и в

случайном порядке (во избежание запоминания правильных ответов по их привычному расположению в списке вопросов, или их логического «вычисления» посредством сопоставления ответов при использовании печатного бланка). Эти условия легко выполнить при компьютерном тестировании. Для соблюдения указанных условий при использовании ручного тестирования формулировки инструкций и вопросов, их порядок в списке, организация материала в бланках для фиксирования ответов должны отрабатываться с помощью экспертной оценки и не допускать

произвольного изменения в практике тестирования.

4. Шкалы общих оценок:

4.1. Принимается единая базовая шкала оценок, построенная как вычисление процентной доли усвоенного по отношению к числу всех единиц содержания курса (или вопросов-заданий) теста:

________________________________________________________________________

Оценка Значение Процент Средний балл (варианты)

A + замечательно 100 5 5 5 отлично

A отлично 95 – 99 4,75 5 5 отлично

A - почти отлично 90 – 94 4,5 4 4 очень хорошо

B + очень хорошо 85 – 89 4,25 4 4 хорошо

B хорошо 80 – 84 4,0 4 3 уд-но, (выше ср.)

B – почти хорошо 75 – 79 3,75 3 3 уд-но (средне)

C + вполне удов-но 70 – 74 3,5 3 3 удовлетв-но

C удовлетворительно 65 – 69 3,25 3 0 неуд-но (провал)

C – почти удов-но 60 - 64 3,0 0 0

F провал  59 - 0 0,0 0 0

P прошел NA NA

(финальный тест)

Эта шкала делает сопоставимыми все результаты, позволяет накапливать и интегрировать (промежуточный и итоговый контроль) оценки любых тестов и форм контроля, в том числе, - тестирование по частям и в разное время. Процентная шкала применяется при любом тестировании.

4.2. Единая процентная шкала дополняется для каждого конкретного критерия и теста собственной шкалой балльной оценки (0; 3; 4; 5 баллов). Шкала баллов применяется при оценке усвоения всего курса в целом (промежуточный и итоговый контроль). Она устанавливает соответствие между достигнутой процентной долей усвоения и ее оценкой в баллах (это необходимо для расчета показателей среднего балла, проходного балла, рейтинга, и т.д.).

4.3. При каждом частичном тестировании (текущий и рубежный контроль) обязательно указывается выделенная для него доля процентной шкалы (для пересчета текущего процента по теме или другой части курса в одну общую долю усвоения курса). Балльная оценка может применяться и в этом случае, однако она не фиксируется в банке данных Регистратора (то есть используется только в текущей работе по усмотрению преподавателя).

4.4. Оценка по тесту производится в три, четыре или пять шагов:

-           оценка правильности сделанного выбора ответа на каждый

вопрос теста;

- оценка усвоения каждой единицы тестирования (оценка

«усвоено» по курсу или его части фиксируется при зачете всех тестируемых единиц; оценка «не усвоено», - если не зачтена хотя бы одна единица). Применяется в тех случаях, когда курс может считаться усвоенным только при приемлемом уровне усвоения каждой единицы теста без исключения (пример: деятельность не может считаться освоенной, если не освоено хотя бы одно из составляющих ее действий). Соответственно, если не зачтена хотя бы одна единица, то по тесту выставляется оценка «0»;

- общая оценка как доля правильных ответов на все вопросы теста в процентах (для дифференциации оценки уровня усвоения);

- перевод процентной оценки в баллы;

- суммирование балльных оценок промежуточного и итогового контроля в форме подсчета их средне-арифметического значения (в том случае, когда курс выносится на выпускной экзамен или завершается выпускной работой по специальности).

5.         Шкала для оценки усвоения отдельных единиц тестирования:

5.1. Если тест строится из двух или трех вопросов на каждую единицу тестирования (с пятью вариантами ответов), то она считается усвоенной при двух правильных ответах.

5.2. Если тест строится из четырех или пяти вопросов (заданий) на каждую единицу (с пятью вариантами ответов), - то она считается освоенной при трех правильных ответах.

5.3. Если тест конструируется иначе, то должна быть обеспечена вероятность случайного угадывания правильного ответа не более 0,05, а также – статистическое обоснование делений балльной шкалы оценок (различия процентной шкалы для оценок «3», «4» и «5» баллов должны быть не менее статистически значимых).

2.5. Обязательные этапы и процедуры при создании теста и обнаружении его неадекватности

1. Формирование проекта - теоретической модели объекта тестирования и структуры теста:

- формулировка цели и назначения теста; выделение единиц тестирования; принятие решения о построении шкалы для единиц тестирования; формулировка комплекса заданий (вопросов) и закрытых ответов (или интерпретации и оценке открытых ответов) по каждой единице тестирования и тесту в целом; подготовка инструкции о процедуре тестирования. Существенным здесь является требование избыточности на 30- 40 % количества вопросов-заданий по каждой единице тестирования по сравнению с заданным окончательным их числом для последующей отбраковки «плохих», непригодных формулировок;

- экспертная оценка теоретической модели объекта тестирования (целей курса, обоснованности выделения единиц тестирования, валидности и точности тестовых заданий и закрытых ответов, шкал оценки), принятой организации и процедуры тестирования;

- устранение замечаний, отсев и доработка формулировок и процедур.