Пилотажное исследование валидности и точности теста, его

2. Пилотажное исследование валидности и точности теста, его

заданий и ответов:

- практическое проведение тестирования на достаточной по объему выборке обучающихся для получения статистически достоверных результатов;

- проведение тестирования в той же выборке на основе других способов тестирования (экспертная оценка усвоения каждой тестируемой единицы на основе индивидуального собеседования экспертов с каждым обучающимся; сравнительное тестирование посредством «расщепления» исходного теста; тестирование посредством другого, проверенного теста и т.п.);

- сопоставление результатов (выявление степени совпадения и

расхождения) тестирования по тесту в целом, отдельным единицам тестирования и вопросам-заданиям на основе статистической обработки и проверки гипотез (корреляция и т.д.);

- отсев «плохих» заданий (вопросов) и ответов (при замене заданий или изменении формулировок вся процедура тестирований и сопоставления результатов проводится заново), построение и обоснование оценочных шкал.

3. Исследование надежности теста:

- повторное тестирование той же выборки (тем же тестом с интервалом времени от 3 до 6 месяцев) и сопоставление результатов;

- повторное тестирование на другой выборке (другими людьми с

интервалом времени от 3 до 6 месяцев) и сопоставление результатов.

4. Принятие обязывающего решения компетентного органа о разрешении, порядке и границах применения созданного и проверенного теста, интерпретации и практического использования получаемых результатов тестирования.

В случаях статистически значимого расхождения в оценке результатов при внутреннем и внешнем тестировании одного и того же контингента обучающихся (по одному и тому же учебному курсу) необходима сравнительная экспертиза единиц тестирования, положенных в основу теста, а также материалов проверки применяемых тестов на валидность, точность и надежность. По каждому факту такого расхождения должно быть принято решение о запрете или ограничениях на применение теста, не отвечающего требованиям стандарта (вуза или министерства).

3. Качество процесса обучения.

Современное обучение понимается как эффективно организованный процесс самообучения студентов (учащихся), всесторонне обеспеченный необходимыми условиями и направляющей поддержкой и гарантирующий высокие индивидуальные результаты и личностный рост.

Традиционно учебный процесс строится так, что всегда фиксированы условия обучения (способ представления информации преподавателем один для всех учащихся; время, отводимое на ее понимание и усвоение, – тоже одинаково для всех, и т.д.), а единственной переменной величиной остается… результат обучения.

Современные технологии «полного усвоения знаний» и «разноуровнего образования» исходят из фиксированного результата: все обучающиеся свободно усваивают практически любой учебный материал, если организация материала, его представление и другие условия обучения оптимально изменяются в зависимости от конкретных особенностей восприятия, способностей и личных качеств каждого обучающегося (подстраиваются по обратной связи).

Для нашей задачи это предполагает переориентацию учебного процесса с информирования (фиксированный способ обучения) на обеспечение индивидуально гарантированного результата в каждом системном элементе учебной деятельности: внешние условия - учебный материал – учащийся – преподаватель – взаимодействие.

3.1. Главный фактор ориентации внешних условий на результат - это механизм внешнего давления в направлении заданных изменений и содействия им. В отношении обучающихся – это рамки кредитной системы организации обучения, с ее жесткими требованиями к самоорганизации и непрерывным мониторингом успеваемости в сочетании с полным информационно-методическим обеспечением и свободой в выборе учебного плана, преподавателей и траектории профессиональной подготовки.

В отношении преподавателя:

- это рамки той же кредитной организации, обязывающей его организовать, обеспечить информационно и методически аудиторную и внеаудиторную работу каждого учащегося по каждой единице учебной программы и междисциплинарным аспектам, в том числе повседневную и индивидуальную обратную связь (самоконтроль, текущий и рубежный контроль результатов обучения);

- это личный рейтинг преподавателя по итогам семестра и учебного года (средний балл обучавшихся у него студентов - по итогам независимого тестирования);

- это официальная оценка квалификации (квалификационный статус) преподавателя по результатам ежегодной аттестации, включающей: указанный выше средний балл; экспертную оценку качества информационно-методического комплекса по его учебным курсам; личный портфель достижений (научные исследования, методические разработки, повышение профессионального мастерства); оценка студентами квалификации преподавателя и качества преподавания по итогам обучения; относительное число студентов, записавшихся на обучение к данному преподавателю;

- это изменение положения об аттестации преподавателя, устанавливающее прямую зависимость заработной платы и официального статуса (ученые звания и др.) от личного рейтинга, квалификации (по результатам годовой аттестации) и наличия сертификата (свидетельства, удостоверения) о научно-педагогической подготовке (переподготовке);

- это предоставление практических возможностей получения научно-педагогической подготовки на профессиональном уровне, соответствующей переподготовки и повышения квалификации (психолого-педагогические основы и практические навыки ускоренного, развивающего и междисциплинарного обучения; современные методики интерактивного, индивидуального и группового обучения; методология научного исследования, организация и руководство НИРС).

3.2. Для ориентации на результат учебного материала главным фактором является жесткий отбор, структурирование и организация преподавателем всех материалов и деятельности обучающихся по их освоению в расчете на минимум подготовленности и способности к самостоятельному обучению. В частности:

- Четкое выделение единиц содержания, максимально сжатое изложение курса (на руки выдается максимально краткий конспект без подробностей и пояснений) - ядро курса для программированного освоения.

- Пошаговое усложнение структуры знания и осваиваемых видов деятельности (каждое дробление – не более 3-5 единиц).

- Освоение содержания малыми смысловыми блоками простой структуры до хорошего результата и с постоянной самопроверкой; после этого – переход к освоению следующего блока, и т.д.

- Отработка на аудиторных занятиях и перенос на самостоятельную работу алгоритма по усвоению материала и самоконтролю, выработка индивидуального стиля успешного самообучения. Мы выделяем три уровня (этапа) в формировании такого стиля: программированное обучение - учебный материал и процесс его усвоения полностью организуется преподавателем (кратко описано выше); программированное самообучение - учащийся самостоятельно и в группе организует усвоение (по заданному алгоритму) материала, структурированного и организованного преподавателем для целей обучения; свободное самообучение - самостоятельное усвоение учащимся информации из любого источника.

- Формирование алгоритма самоуправления оптимальным рабочим состоянием и быстрым восстановлением работоспособности (настройка и поддержание).

При этом преподаватель постоянно, в каждом действии нацелен на результат, эффективное взаимодействие и стимулирование учащихся к самообучению: «Как представить учащимся новую единицу содержания курса, как организовать для ее усвоения аудиторную и самостоятельную работу каждого учащегося с учетом его личных возможностей и ограничений, как поддержать их мотивацию, как направлять и наиболее эффективно организовать их индивидуальную и групповую работу, коллективное взаимообучение и самоконтроль?»

В итоге к тестированию все учащиеся в группе подходят на 100 % усвоив материал, многократно проверив себя и убедившись в этом. Поэтому официальный тест уже является не стрессовым фактором, а способом официального признания и фиксирования успеха, стимулирующим, мотивирующим дальнейшую работу.

3.3. Для ориентации на результат самого обучающегося главными факторами, определяющими степень его готовности к успешному самообучению, являются: умение работать с информацией (навыки теоретической работы); личностный рост (степень зрелости); значимые пробелы в предшествующем обучении.

Умение работать с информацией понимается здесь как наличие следующих видов освоенной деятельности: быстро и продуктивно читать (500 – 1000 слов в минуту); осмысливать, запоминать и вести структурированные записи при чтении и слушании учебного материала; грамотно, последовательно и обоснованно строить устную и письменную речь.

Личностная зрелость означает: осознанный выбор профессии в соответствии с жизненными целями и ценностями, принятие ответственности за свое образование и профессиональную подготовку как средство личной самореализации; наличие эффективной стратегии достижения жизненных целей; объективное понимание себя и других людей, умение и готовность взаимодействовать с ними на основе сотрудничества.

Термин значимые пробелы в предшествовавшем обучении означает конкретные знания, умения и навыки, низкий уровень освоения которых делает затруднительным или вообще невозможным обучение в вузе или колледже (например, отсутствие элементарных навыков теоретической работы и низкий уровень общего развития) или продолжение обучения по какому-то учебному курсу (например, не освоенный в средней школе курс казахского или английского языка, делает невозможным освоение соответствующего вузовского курса, если он построен как продолжающий).

Необходимость практического учета указанных факторов предполагает обязательный входной контроль - тестирование по пререквизитам учебных программ до или сразу после приема на первый курс обучения, а также организацию соответствующего предварительного обучения (в общеобразовательной школе, на подготовительных курсах, в период летнего семестра перед началом учебы в вузе и колледже или же в первом семестре).

Создание теста для текущего или рубежного контроля (примерный образец начальной работы)   Спецификация теста по учебному курсу «Личностный рост» 1. Название теста: «Распознавание основных свойств личности»

2. Общая цель создания: инструмент самоконтроля, промежуточного и рубежного контроля по модулю «Понимание себя и других людей».

3. Задачи, решаемые тестом: выявить степень освоения признаков проявления основных свойств личности (модель Ю-А) на соответствие нормативному уровню; дать обучающимся возможность самопроверки.

4. Содержание теста: 56 заданий, равномерно охватывающих признаки распознавания в реальном поведении восьми базовых свойств личности по изучаемой модели (семь заданий на каждое свойство).

5. Время тестирования: 60 минут.

6. Вид тестирования: сплошное тестирование с раздельной оценкой (достижение нормативного уровня усвоения признаков распознавания каждого свойства и общая оценка по тесту).

7. Способы и шкалы оценки: каждое свойство считается освоенным при наличии трех и более правильных ответов из семи возможных (вероятность случайного угадывания – 0,049); если хотя бы по одному свойству число правильных ответов ниже указанного уровня, то по тесту в целом выставляется оценка ноль баллов; если все восемь свойств освоены, то общий балл по тесту вычисляется как процентная доля всех правильных ответов в общем числе заданий.

8. Уровень трудности заданий: задания считаются однородными, задача дифференциации заданий по трудности не ставилась, поскольку отрабатывается минимально необходимый и обязательный уровень усвоения (а не определение рейтинга обучающихся, который требует их упорядочения по индивидуальному уровню достижений, характерного для тестов по итогам обучения).

9. Результаты исследования обоснованности теста: тест находится в начале отработки и применялся на выборке из 68 обучающихся, экспертиза и статистическое обоснование не проводилось.

Первый этап работы

Производится отбор существенных признаков для опознания каждого из восьми свойств личности и составляется перечень для обязательного усвоения и включения в тестовые задания. Каждый признак, положенный в основу заданий, предварительно отрабатывается на практических занятиях и в заданиях для СРС.

Формулировка каждого задания строилась так, чтобы по возможности просто и ясно представлять один существенный признак. Поскольку исходные изучаемые свойства отобраны как пары по признаку противоположности, то и признаки формулируются, изучаются и представлены в тестовых заданиях аналогичными парами. Например, паре свойств «сенсорный – интуитивный» соответствуют признаки противоположной ориентации во времени: для сенсорного типа – «Стремление преуспевать здесь и сейчас», а для интуитивного – «Работает, чтобы обеспечить успех в будущем». В итоге, получился следующий список зданий, сгруппированный по свойствам:

 

Свойства и признаки (список)

1. Сенсорный

Стремление преуспевать здесь и сейчас. (1)

Стремление использовать опыт других людей, недоверие к идеям,

не проверенным практикой. (1)

Преобладает опора на органы чувств и практическую деятельность. (1)

Имеет развитые органы чувств и хорошее физическое развитие. (1)

Ценит физическую силу, высокое социальное положение и власть, уделяет внимание спорту, поддержанию хорошей физической формы. (1)

Имеет средний рост, атлетическое, плотное телосложение. Лицо среднего размера, квадратное или круглое. (1)

При полноте жировая прослойка равномерно распределяется по всему телу. (1)

2. Интуитивный

Работает, чтобы обеспечить успех в будущем. (2)

Способность предчувствовать, предвидеть развитие событий. (2)

Стремление опираться на новые идеи. (2)

Преобладает опора на воображение и теоретическую деятельность. (2)

Ценит ум, талант, творчество, состоявшуюся личность. Не уделяет особого внимания физическому развитию. (2)

Имеет тонкое телосложение, без выраженных мышц на лице и других частях тела (хилый – тонкие руки, ноги, шея и т.д.); слегка или сильно вытянутое лицо; иногда – высокий рост, крупные черты лица, нескладную фигуру. (2)

При полноте – более выражена полнота нижней части лица и тела. (2)

3. Этический

Предпочтение личного общения – деловому. (3)

Высокая значимость взаимодействия с людьми, повышенная зависимость

от них. (3)

Стремление быть человечным, сострадающим, сопереживающим. (3)

Особое значение придает соблюдению равенства интересов, взаимного уважения в отношениях между людьми. (3)

Оценка ситуации и поведения по субъективным критериям –«нравится – не нравится», «хороший – плохой». (3)

Склонность к полноте: округленность, сглаженность черт лица и фигуры; толстая кожа – лицо без мелких морщин, иногда – угреватость кожи. (3)

Улыбчивость: улыбка свободная, освещает все лицо, практически не образуя складок и морщин. (3)