Понятийный аппарат тестологии

2. Понятийный аппарат тестологии

Несмотря на частое употребление и кажущуюся ясность, понятия «тест», «тестирование», «тестовые формы диагностики» имеют множество толкований. Более того, существуют вполне значимые различия понятий «педагогический тест», объясняемые языковыми различиями. Как отмечает В.С. Аванесов, понятие «педагогический тест» следует рассматривать в двух существенных смыслах:

−     как метод (точнее, форму) педагогического измерения (в этом значении употребляются словосочетания «зачет в форме теста», «тест в середине семестра»);

−     как результат применения соответствующего измерения (например, «пройти тест» или «провалить тест»).

С точки зрения А.Г. Бермус, «здесь отсутствует еще одно, самое употребительное значение: тест как совокупность определенных заданий, «текст теста» (ср. «большой тест», «варианты теста» и др.)».

Соответственно этим базовым представлениям о тесте, разными авторами даются разные определения этого понятия.

Тест – это объективное и стандартизированное измерение, легко поддающееся количественной оценке, статистической обработке и сравнительному анализу.

Тест – стандартизированные задания, по результатам выполнения которых, судят о психофизиологических и личностных характеристиках, а также – знаниях, умениях и навыках испытуемого.

Тест – специфический инструмент, состоящий из совокупности заданий или вопросов и проводимый в стандартных условиях, и позволяющий выявить типы поведения, уровень владения какими-либо видами деятельности и др.

Тест – совокупность заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов.

Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения.

При всех возможных вариациях определения «теста», это понятие включает следующие аспекты:

−  во-первых, тест – это метод измерения некоторых ненаблюдаемых впрямую качеств и свойств личности или индивида;

−  во-вторых, это метод, характеризующийся высокой степенью объективности, надежности и валидности.

Понятие «педагогическое (учебное) задание» можно определить как средство интеллектуального развития, образования и обучения, способствующее активизации учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда.

По мнению В.С. Аванесова, задания могут формулироваться в тестовой, и в нетестовой форме. В российском образовании большинство учебных заданий дается учащимся в нетестовой форме. В основном, это вопросы, задачи, упражнения.

Педагогические задания выполняют как обучающие, так и контролирующие функции. Обучающие задания применяют учащиеся для активизации собственного учения, усвоения учебного материала, саморазвития, а также применяют педагоги для обучения учащихся. Все это свидетельствует об обучающем потенциале заданий.

Контролирующие задания применяются, напротив, педагогом или проверяющими органами после окончания учебного года, или другого определенного цикла (четверти), с целью диагностики уровня и структуры подготовленности. Некоторая часть заданий может использоваться для обучения и для контроля.

Существует множество критериев, позволяющих охарактеризовать и, соответственно классифицировать тест. Практическую значимость имеет ряд классификационных признаков.

1. Процедура создания (критерий стандартизации). Все этапы разработки, апробации, использования и обработки результатов стандартизованных тестов регламентируются стандартными процедурами, в то время как нестандартизованные тесты создаются с теми или иными отступлениями от норм. Наиболее характерным примером нестандартизованных тестов являются, так называемые, «преподавательские тесты», разрабатываемые для оперативного контроля усвоения знаний. При всех своих достоинствах (простота в разработке, доступность, дешевизна и др.), нестандартизованные тесты не могут применяться для промежуточной и, тем более, итоговой аттестации учащихся и студентов.

2. Средства и стратегии предъявления тестовых заданий. В соответствии с особенностями профессиональной диагностики в условиях вуза, практическое значение имеют бланковые тесты (для выполнения которых используются специальные бумажные бланки) и компьютерные тесты (проводящиеся с использованием ЭВМ). В свою очередь, компьютерные тесты могут быть трех типов:

- линейные (задания предъявляются в единой последовательности вне зависимости от результатов ответа испытуемого);

- разветвляющиеся (в тесте предусматривается несколько сценариев формулировки заданий, каждый из которых реализуется в зависимости от ответа на определенные «ключевые» задания);

- адаптивные (сложность, порядок и количество предъявленных заданий определяется итогами тестирования в каждый момент).

3. Направленность тестов. Наиболее актуальными в современной диагностике, представляются тесты интеллекта, личностные тесты и тесты достижений. С некоторой долей условности, первые два типа образуют вместе тип «психологического теста», в то время как последний соответствует – «педагогическому тесту».

4. Степень однородности тестов. Как правило, по этому критерию, выделяются три основных типа тестов:

- гомогенные тесты (имеющие одну шкалу оценки и позволяющие линейным образом упорядочить всех испытуемых по степени проявления соответствующего признака);

- гетерогенные тесты (имеющие несколько шкал оценки и позволяющие сформировать многомерное представление о результативности испытуемого в некотором виде деятельности);

- интегративные тесты (в их основе лежат разрабатываемые в последнее десятилетие представления о некоторых универсальных качествах, типа «ключевые компетенции», включающих мотивационные, личностные, интеллектуальные, предметно-практические и иные компоненты).

5. Уровень применимости. По этому критерию различают широкоориентированные тесты (предназначенные для определения количественных характеристик испытуемых по отношению к широкому набору критериев) и узкоориентированные (предназначенные для выявления отдельных достижений и результатов).

6. Цели использования. В соответствии с этим критерием, различаются следующие типы тестов:

- предварительный определяющий тест (тесты остаточных знаний) предназначены для оценки уровня готовности испытуемых к новому образовательному циклу;

- формирующий тест (тесты прогресса) предназначены для совместной диагностики и коррекции основных психологических новообразований (в формирующих тестах обязательно предусматривается ситуативная работа над ошибками, их коррекция и др.);

- диагностический тест (тесты затруднений в обучении) предназначаются для диагностики основных затруднений в обучении;

- суммативный тест (тесты итоговых достижений) разрабатываются и используются на этапе завершения образовательного цикла.

7. Место теста в образовательном процессе. Наиболее типичными категориями тестов являются:

- преподавательские тесты (тесты оперативного контроля знаний, используемые учителем или преподавателем самостоятельно);

- срезовые тесты (используемые для одномоментного получения администрацией образовательного учреждения информации о результатах обученности однородной группы учащихся);

- тесты входной диагностики (используются для психолого-педагоги­ческой диагностики испытуемых и создания на этой основе учебных групп);

- тесты итогового контроля (используются для организации итоговой или промежуточной аттестации учащихся).

В работах В.С. Аванесова выделяются основные элементы тестового задания:

-    инструкция (указание испытуемому на то, что он должен сделать, каким образом выполнить задание и отобразить результат);

-    текст задания (содержательное наполнение задания; в его структуре могут выделяться стимульный материал или вводная информация, сам вопрос, а также – ограничения ответа);

-    варианты ответов (в случае закрытого тестового задания должен быть предложен список вариантов ответа, среди которых обязательно должен быть один – правильный, для открытых тестовых заданий важно наличие некоторого модельного ответа, в соответствии с которым может производиться оценка);

-    оценочная схема (способ сопоставления каждому варианту ответа – так называемого «сырого балла», т.е. некоторого количественного значения, определяющего ценность данного задания).

Стоит отметить, что не всегда все 4 элемента тестового задания присутствуют в «развернутом» виде. Довольно часто единая инструкция используется для формулировки множества однотипных заданий; при формулировке открытых тестовых заданий отсутствуют варианты ответов, предлагаемые испытуемым.

В соответствие с разработанной в науке тестовой терминологией, создание теста можно условно разделить на три этапа: составление заданий в тестовой форме, создание тестовых заданий и моделирование теста как системы заданий возрастающей трудности, обеспечивающей качество и эффективность педагогических измерений.

Первым этапом разработки педагогического теста является разработка заданий в тестовой форме. Овладение формой является необходимым, но недостаточным условием для разработки качественного теста. На первом этапе требуется подготовка в области преподаваемого предмета, знание тестовых форм, владение логикой и умение трансформировать фрагменты содержания учебной дисциплины в содержание заданий.

В.С. Аванесов дает следующее определение этому понятию: «задание в тестовой форме является особой единицей контрольного материала. Его можно представить в виде предложения в утвердительной форме с неизвестным. Подстановка правильного ответа превращает задание в истинное высказывание; подстановка же неверного ответа ведет к ложному высказыванию и свидетельствует о незнании студентом данного учебного материала».

К заданиям в тестовой форме тестологи предъявляют следующие формальные требования:

– краткость;

– правильность выбора формы;

– логическая форма высказывания;

– одинаковость правил оценки ответов;

– наличие определенного места для ответов;

– правильность расположения элементов задания;

– одинаковость инструкции для всех испытуемых;

– адекватность инструкции форме и содержанию задания.

На втором этапе разрабатываются тестовые задания.

В отличие от распространенной в России и на Западе вопросно-ответной формы заданий, в качестве новой основы такие ученые как М.Б. Челышкова и В.С. Аванесов предлагают использовать логику высказываний. Преимущества этой основы авторы обосновывают отличием высказываний от вопросов: истинность или ложность высказывания легко определяется по логическим правилам, в то время как вопросы сами по себе ни истинны, ни ложны. Кроме того, вопрос сам может породить новые вопросы, и в связи с этим возникает возможность неверного истолкования первоначальной формулировки задания тестирующимся. Предлагаемая основа открывает возможности эффективной компьютеризации контроля знаний.

Для успешной деятельности на втором этапе от разработчиков потребуется, дополнительно, некоторая подготовка в области математики: применения статистических методов, обработки и интерпретации данных.

Теперь приведем определение второму основному понятию теории тестов – тестовому заданию.

Тестовое задание – это составная единица теста, отвечающая требованиям технологичности, чистоты формы и предметного содержания и, кроме того, статистическим требованиям:

1) известной трудности;

2) дифференцирующей способностью (достаточной вариации тестовых баллов);

3) положительной корреляции баллов задания с баллами по всему тесту;

4) кумулятивным эффектом.

Из перечисленных требований вытекает обязательность эмпирической проверки заданий на выборочной совокупности испытуемых и применения статистических методов обработки данных.

Автор данного определения приводит следующие комментарии к нему.

Составная единица означает, что каждое задание является частью неразрывного целого, теста, который представляет собой систему заданий. И каждое задание необходимо для выполнения тестом своей функции. Удаление хотя бы одного системного задания приводит к возникновению пробела на континууме проверяемых знаний, и потому, к снижению качества измерения. Идея соотносительной значимости заданий в тестовой системе.

Технологичность – является одним из современных требований к тестовым заданиям. Под технологичностью можно понимать такую компоновку заданий, которая позволяет весь процесс тестирования, или его большую часть, вести с помощью технических средств, точно, быстро, экономично и объективно.

Главные препятствия для достижения технологичности тестового задания – это неопределенность формы, плохая формулировка содержания, отсутствие необходимой техники и программ.

Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования. Именно использование автоматизированного обучения и контроля на основе достижений новой педагогики, педагогических измерений, психологии, кибернетики и компьютерной техники, взятое в разумном соотношении, образует основу того, что сейчас называют педагогической технологией (2).

Тестовое задание должно отвечать также требованию чистоты формы и предметной чистоты содержания. Под первым понимается необходимость тщательного соблюдения рассмотренных ранее требований к каждой форме и недопустимости смешения форм в одном задании. Под чистотой содержания понимается необходимость формулирования таких заданий, которые проверяют знания только той учебной дисциплины, для которой создается тест.

Трудность заданий. Известная мера трудности является обязательным требованием к тестовым заданиям. Если неизвестна эмпирическая мера трудности задания, то это задание – не является тестовым. В самом лучшем случае оно будет заданием в тестовой форме, в худшем – ни тем, ни другим.

Требование известной трудности оказывается важнейшим системообразующим признаком тестового задания. Если тест – это система заданий возрастающей трудности, то в нем нет места заданиям с неизвестной или неадекватной мерой трудности.

Вариация тестовых баллов. Вариация баллов является вторым обязательным требованием к тестовым заданиям. Если на какое-то задание правильно отвечают все тестируемые, то такое задание является настолько легким, что оно теряет, из-за этого, существенное свойство быть тестовым заданием. Так как цель разработки теста – это измерение уровня подготовленности испытуемых, что можно качественно сделать только с помощью системы заданий возрастающей трудности. И если все, без исключения, испытуемые отвечают на него одинаково правильно, то это означает, что задание не дифференцирует знающих испытуемых от незнающих. Нет, соответственно, и никакой вариации в значениях ответов.

Нет вариации и в очень трудном задании, где нет ни одного правильного ответа; в матрице стоят, соответственно, одни нули. Вариация по нему тоже равна нулю, что означает необходимость и его удаления из проектируемого теста, т.к. оно не тестовое.

На третьем этапе отбираются задания и создают тесты, повышают качество и эффективность теста. Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой.

На третьем этапе от разработчика тестов потребуется некоторая математико-статистическая подготовка, знание основных тестовых теорий и методов многомерного статистического анализа, опыт правильной интерпретации тестовых результатов.

Путь к созданию идеального теста лежит через трудности создания качественных тестов. Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. «К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов – их эффективность, проистекающая из теоретической и эмпирической обоснованности».