Навигация
Эмпирическая проверка и статистическая обработка результатов
58156
знаков
2
таблицы
0
изображений
3. Эмпирическая проверка и статистическая обработка результатов
Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой. На третьем этапе отбираются задания и создают тесты, повышаются качество и эффективность теста.
Целостность теста образует взаимосвязь ответов испытуемых на задания теста, наличие общего измеряемого фактора, влияющего на качество знаний.
Состав теста образует правильный подбор заданий, позволяющий минимально необходимым числом отобразить существенные элементы языковой компетентности испытуемых.
Уровень и структура знаний выявляются при анализе ответов каждого испытуемого на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий испытуемый получил десять баллов. Эти баллы скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильной структурой подготовленности испытуемого. Если же обнаруживается противоположная картина, когда испытуемый правильно отвечает на трудные задания и неправильно - на легкие, то это противоречит логике теста и потому такой профиль знаний можно назвать инвертированным. Он встречается редко, и чаще всего, по причине ошибочности теста, в котором задания расположены с нарушениями требования возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний. Эту структуру можно назвать элементарной (поскольку есть еще факторные структуры, которые выявляются с помощью методов факторного анализа).
Для определения уровня структурированности подготовленности можно использовать коэффициент Л.Гутмана, ранее неточно называвшийся мерой «надежности теста».
rg = 1 - 
где rgкоэффициент структурированности;.
- 
- сумма ошибочных элементов индивидуальных структур, подсчитываемых в векторах-строках баллов испытуемых;
- N – число испытуемых;
- k – число заданий.
Уровень знаний в значительной степени зависит от личных усилий и способностей, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля - в общем, от всего того, чего обычно не хватает. Путь к достижению этого идеала лежит через трудности создания качественных тестов.
Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов - их эффективность, проистекающая из теоретической и эмпирической обоснованности.
На третьем этапе от разработчиков нового поколения тестов потребуется некоторая математико-статистическая подготовка, знания теории тестов. Теорию тестов можно определить как совокупность непротиворечивых понятий, форм, методов, аксиом, формул и утверждений, способствующих повышению эффективности и качества тестового процесса. Кроме того, может потребоваться и некоторый опыт применения методов многомерного статистического анализа, и опыт правильной интерпретации тестовых результатов.
Часто возникает вопрос: «Как поведут себя удаляемые задания в других группах испытуемых?» Ответ зависит от качества подбора групп, а точнее от статистического плана формирования выборочных совокупностей. Верный ответ на этот вопрос следует искать в смысле понятия «target group»; это множество испытуемых в генеральной совокупности, для которых предназначен разрабатываемый тест.
Соответственно, если задания проектируемого теста ведут себя неодинаково в разных группах, то это является, скорее всего, указанием на ошибки в формировании выборок испытуемых. Последние должны быть такими же однородными, как и испытуемые в целевой группе. На языке статистики это означает, что испытуемые в целевой и в экспериментальных группах должны принадлежать одной генеральной совокупности.
Логарифмические оценки, называемые логитами, таких, казалось бы, реально несопоставимых феноменов как уровень знаний испытуемого с уровнем трудности каждого задания, были использованы для непосредственного сопоставления уровня трудности с уровнем подготовленности испытуемого.
По мнению Беспалько В.П. и Татур Ю.Г., тестирование должно быть измерением качества усвоения знаний, умений и навыков. Сравнение правил выполнения задания (задачи), предложенного в тексте, с эталоном ответа позволяет определить коэффициент усвоения знаний (Кus). Следует заметить, что 
, где А – число правильных ответов, а Р – число заданий в предлагаемых тестах.
Определение Кus является операцией измерения качества усвоения знаний. Кus поддается нормировке (0 < Кus < 1), процедура же контроля усвоения легко автоматизируется. По коэффициенту судят о завершенности процесса обучения: если Кus > 0,7, то процесс обучения можно считать завершенным. При усвоении знаний с Кus ≤ 0,7 студент в профессиональной деятельности систематически совершает ошибки и неспособен к их исправлению из-за неумения их находить. Нижнюю допустимую границу окончания процесса обучения повышают до величины, необходимой с точки зрения безопасности деятельности.
Похожие работы
... б) 4–5 в) 6–7 г) 8–9 2. Число мочеиспусканий у детей первого года жизни составляет в сутки а) 1–10 б) 10–20 в) 20–30 г) 30–40ЭТАЛОНЫ ОТВЕТОВ 1в 2б СБОРНИК ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ ИТОГОВОЙ ГОСУДАРСТВЕННОЙ АТТЕСТАЦИИ по специальности 0401 «Лечебное дело» ТЕРАПИЯВВЕДЕНИЕУважаемые коллеги! Обучение студентов в медицинском колледже (училище) завершается подведением итоговой аттестации, которая ...
... критериев, включающая совокупность ориентировочных связей у всех испытуемых, прошедших проверку, возросла. 3. Доказаны валидность и надежность тестовых заданий. Таким образом, разработанные в рамках системного подхода в ходе формирующего эксперимента тестовые задания, методы составления экспертной оценки контроля знаний способствуют реализации мониторинга исследования тестовых заданий
... надежности, как и валидности, предъявляют определенные требования. Надежность и валидность можно оценить с помощью таблицы 1.1.[1] 2. РАЗРАБОТКА ПАКЕТА ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ ОПЕРАТИВНОГО КОНТРОЛЯ УРОВНЯ ЗНАНИЙ СТУДЕНТОВ ПО КУРСУ «МЕХАНИКА» Одним из эффективных инструментов при проведении педагогического эксперимента является компьютерная технология оценки качества знаний, умений и навыков. ...
... в ходе рассуждения учащегося цепочка прервалась (несоответствие понятия или пояснения), то количество существенных операций определяется до разрыва логической цепочки. Особенность составления тестовых заданий этого уровня усвоения заключается в том, что практически невозможно создать однозначный эталон. Эталон может быть создан в виде схемы решения проблемы. Пример: логическая цепочка. ...
0 комментариев