Аналіз можливостей тестового контролю у вищій школі

МІНІСТЕРСТВО ОСВІТИ Й НАУКИ УКРАЇНИ

НАЦІОНАЛЬНИЙ ГІРНИЧИЙ УНІВЕРСИТЕТ

Кафедра філософії

 

РЕФЕРАТ

 

з дисципліни: "Педагогічний контроль в системі освіти"

на тему: "Аналіз можливостей різновидностей тестового контролю у вищій школі"

 

Дніпропетровськ 2008

План

 

Вступ

1. Наука про тести 1.1 Навчальний тест 2. Класи і види тестів 2.1 Гомогенні тести 2.2 Гетерогенні тести 2.3 Інтегровані тести

2.4 Адаптивні тести

2.5 Критеріально-оріентовані тести 3. Принципи добору змісту тестових завдань 4. Поняття складності тесту і його вплив на оцінку знань 5. Оцінювання, оцінка і вимір знань

Висновок

Використана література

 

 

Вступ

У жовтні 2003 року в Берліні Україна приєдналася до Болонської угоди і тим самим увійшла в процес об'єднання вищої освіти Європи в єдину систему. У 2010 році в Європі планується створити єдиний освітній простір. У напрямі інтеграції до європейського освітнього простору Україна у 1999 році ввела двоступеневу систему освіти "бакалавр–магістр". Цей освітній формат є аналогічним по відношенню до освітньої моделі американської та європейської систем. У ньому український освітній рівень магістра відповідає американському і європейському ступеню майстра. Термін підготовки бакалавра в Україні визначено на чотири роки, а магістра – додатково один або два роки залежно від спеціальності. Для порівняння, в західних країнах в цілому бакалавр навчається чотири роки, а в окремих – три. У багатьох країнах магістрат, частіше, включає лише один рік навчання

Сьогодні йде бурхливе обговорення того, що і як необхідно змінити в освітніх процедурах і методиках викладання університетів України. Окремі фахівці вважають за необхідне розробити процедури управління освітнім процесом, в інших роботах пропонується перехід на багатобальну шкалу вимірювання знань, умінь і навичок студентів, у третіх – дидактичні принципи особистісно орієнтованої системи навчальної діяльності вищих навчальних закладів.

На початку минулого століття в США почали замислюватися над об'єктивністю контролю знань, умінь і навичок студентів. Дванадцять коледжів і університетів об'єднали свої зусилля для розробки уніфікованих процедур вступних іспитів. В університетах прагнули відійти від звичної для нас білетної системи усних іспитів (ticket system) та замінити її письмовим іспитом або тестуванням. Очевидна мета таких змін – прагнення зменшити суб'єктивні аспекти екзаменаційної обстановки, зробити оцінку знань і навичок більш об'єктивною та ситуативно-незалежною.

1. Наука про тести

Для розуміння сутності тестів важливо розібратися в системі понять. Поняття взагалі утворюють основу будь-якої науки, і в цьому змісті діяльність по розробці й ефективному застосуванні тестів не є виключенням.

Перші наукові праці по теорії тестів з'явилася на початку ХХ століття, на стику психології, соціології, педагогіки й інших так званих поведінкових наук.

Закордонні психологи називають цю науку психометрикою, а педагоги - педагогічним виміром. У нас же загальноприйнятий варіант назви даної науки це тестологія, що може бути педагогічною, психологічною чи соціологічною, в залежності від того, де застосовується і розвивається. В принципі, інтерпретація назви "тестологія" проста і прозора: наука про тести.

Педагогічна тестологія покликана займатися питаннями розробки тестів для об'єктивного контролю рівня знань, тих, хто навчається (в самому широкому змісті цього слова, а не просто "школярів", як можна припустити).

Ключовими поняттями тестології, як однієї з методичних теорій, тест, зміст і форма завдань, надійність і валідність результатів виміру. Крім того, у тестології використовуються такі поняття статистичної науки, як вибіркова і генеральна сукупність, кореляція й ін.

Слово "тест" викликає в людей різні уявлення. Одні думають, що це питання чи задачі з однією готовою відповіддю, яку треба вгадати. Інші вважають тест формою гри чи забави. Треті намагаються тлумачити це як переклад з англійського слова "test" (іспит, перевірка).

Загалом, по цьому питанню немає єдності думок. Не випадково розмах думок про тести виявляється занадто широким: від суджень повсякденної свідомості до спроб наукового тлумачення сутності тестів. У науці проводять істотні розходження між простим перекладом слова і змістом поняття.

Найчастіше ми зустрічаємося із спрощеним сприйняттям поняття "тест", як простий вибір однієї відповіді з декількох запропонованих до запитання. Численні приклади таких, здавалося б, "тестів" легко знайти в більшості систем дистанційного навчання.

Але це часто виявляються не тести, а щось зовні схоже на них. Звичайно це збірники питань і задач, розрахованих на вибір однієї правильної відповіді з числа запропонованих. Вони тільки по ззовні схожі на справжній тест. Розходження в розумінні сутності тестів породжують розходження у ставленні до тестів.

У наші дні існує багато видів тестів, тому дати універсальне визначення для всіх цих видів навряд чи можна.

Традиційний тест являє собою стандартизований метод діагностики рівня і структури підготовленості. У такому тесті всі відповідають на ті самі завдання, в однаковий час, в однакових умовах і з однаковими правилами оцінювання відповідей.

Головна мета застосування традиційних тестів – визначити чвідношення порядку, що встановлюється за рівнем знань між тими, хто проходить тестування. І на цій основі визначити місце (чи рейтинг) кожного.

Тоді виникає одне з головних питань теорії тестів - питання підбору найкращого тесту.

Кожен тест може відрізнятися від інших тестів кількістю завдань, їх складністю, а також багатьма іншими характеристиками. З прагматичної точки зору краще робити тест, що має порівняно менше число завдань, але який володіє більшістю переваг, властивих більш "довгим" тестам.

Поняття "довжина тесту" введено на початку XX століття Ч. Спирманом і означає кількість завдань у тесті. Чим довше тест, тим більше в ньому завдань. Від числа завдань деяким чином залежить точність виміру знань.

У тест намагаються відібрати мінімально достатню кількість завдань, що дозволяє порівняно точно визначити рівень і структуру підготовленості. Інтерпретація результатів тестування ведеться переважно з опорою на середню арифметичну і, на так звані, процентні норми, що показують, - скільки відсотків випробуваних мають тестовий результат гірший, чим у любого іншого випробуваного. Така інтерпретація тестових результатів називається нормативно-орієнтованою.

Але нас більше цікавить визначення поняття тесту як навчального. Такого, який можна використовувати в системах дистанційної освіти.

1.1    Навчальний тест

Навчальний тест визначається як система завдань визначеного змісту, зростаючої складності, специфічної форми, що дозволяє якісно й ефективно вимірити рівень і оцінити структуру підготовленості учнів.

Навчальний тест по своїй суті є класичним представником традиційних тестів.

Для кращого розуміння визначення навчального тесту розглянемо коротке тлумачення його основних термінів.

Хоча будь-який тест складається з тестових завдань, останні представляють не сукупність довільно об'єднаних завдань, а саме систему.

Система означає, що в тесті зібрані такі завдання, що володіють системоутворюючими властивостями. Тут, у першу чергу, треба виділити загальну приналежність завдань до однієї і тієї ж системи знань, тобто до однієї навчальної дисципліни, їх зв'язок і упорядкованість.

Тест, як система, має склад, цілісність і структуру.

Він складається із:

-           завдань;

-           правил їх застосування;

-           оцінок за виконання кожного завдання;

-           рекомендацій з інтерпретації тестових результатів.

Цілісність тесту означає взаємозв'язок завдань, їхня приналежність загальному вимірюваному фактору. Кожне завдання тесту виконує відведену йому роль і тому жодне з них не може бути вилучене з тесту без втрати якості виміру.

Структуру тесту утворює спосіб зв'язку завдань між собою. В основному, це так звана факторна структура, у якій кожне завдання зв'язане з іншими через загальний зміст і загальну варіацію тестових результатів.

У навчальному тесті завдання розташовуються в міру зростання складності - від найпростіших до найскладніших. Інакше кажучи, головною формальною системоутворюючою ознакою тесту є розходження завдань відповідно ступеня їх складності. Слово "формальне" вживається для пояснення того, що “тест” трактується не лише, як система завдань зростаючої складності, без обліку їх змісту.

Прояву системної якості тесту сприяє і єдина дисциплінарна спільність завдань, що реалізує ідею виміру підготовленості, тих хто проходить тестування, по одній якій-небудь визначеній навчальній дисципліні або їх комплексу.

Час нерідко називається в якості іншого системоутворюючого фактора. Дійсно, одне з розумінь, покладених в основу створення тестів - мати інструмент швидкого і точного оцінювання.

Один з актуальних напрямків сучасної організації тестового контролю в дистанційній освіті - це індивідуалізація контролю, що приводить до значної економії часу тестування. Контроль ведеться за допомогою заздалегідь відкаліброваних, зі рівнем складності, завдань.

Інша сторона питання полягає в тому, що від часу тестування істотно залежить якість результатів. Кожен тест має оптимальний час тестування, зменшення чи перевищення якого знижує якісні показники тесту. Оптимальний час тестування визначається емпірично, по показнику дисперсії тестових даних. Якщо по осі абсцис відкласти час тестування, а по осі ординат - значення дисперсії тестових результатів, що отримується після кожної спроби контролю, то з'єднавши крапки, одержимо представлення про зміну дисперсії; максимум значення останньої вкаже на оптимум часу, необхідного для тестового контролю.

Якість тесту традиційно зводиться до визначення міри його надійності і питань валідності отриманих результатів. Якісним, як і об'єктивним, можна назвати тільки той метод виміру, що обґрунтований науково і здатний дати необхідні результати.

Валідність означає придатність тестових результатів для тієї мети, заради чого проводилося тестування. Валідність залежить від якості завдань, їхнього числа, від ступеня повноти і глибини охоплення змісту навчальної дисципліни у завданнях тесту. Крім того, валідность залежить також від балансу і розподілу завдань за складністю, від методу добору завдань у тест із загального банку завдань, від інтерпретації тестових результатів, від організації збору даних, від підбора вибіркової сукупності випробуваних.

Специфічна форма тестових завдань говорить про те, що завдання тесту являють собою не питання і не задачі, а завдання, сформульовані у формі висловлювань, істинних чи помилкових, у залежності від відповідей.

Визначений зміст означає використання в тесті тільки такого контрольного матеріалу, що відповідає змісту навчальної дисципліни; інше в навчальний тест не включається.

Зміст тесту існує, зберігається і передається в одній з чотирьох основних форм завдань. Поза тестовими формами ні тест, ні його зміст не існують. Теоретично виправданим критерієм упорядкування змісту є критерій складності завдань. Позанавчальний зміст (наприклад, перевірка рівня інтелектуального розвитку) у навчальний тест не включається. Це предмет психологічного виміру.

Зростаючу складність завдань можна образно порівняти з бар'єрами на біговій доріжці стадіону, де кожен наступний вище попереднього. Пробігти дистанцію й успішно перебороти всі бар'єри зможе тільки той, хто краще підготовлений

Складність завдань можна визначати двома способами:

-           шляхом логічного міркування, на основі передбачуваного числа і характеру розумових операцій, необхідних для вдалого виконання завдань;

-           після емпіричної перевірки завдань, з підрахунком частки неправильних відповідей.

У класичній теорії тестів багато років розглядалися тільки емпіричні показники складності. У сучасних теоріях навчальних тестів, які використовуються в дистанційному навчанні, більше уваги стало приділятися характеру розумової діяльності у процесі виконання тестових завдань різних форм.

Показник складності завдання розглядається як важливий системо- і одночасно структуроутворюючий фактор тесту.

Можна додати ще один критерій - це критерій логічної визначеності тестового завдання. Його можна сформулювати словами, близькими до формулювання Х. Каррі: завдання є визначеним, якщо на нього можна відповісти позитивно чи негативно, і якщо існує ефективний процес для знаходження такої відповіді.

Відповідь на завдання навчального тесту являє собою коротке судження, пов'язане за змістом і за формою зі змістом завдання. Кожному завданню ставляться у відповідність відповіді правильні і неправильні. Критерії правильності заздалегідь визначаються авторами тесту. Ймовірність правильної відповіді на будь-яке завдання залежить від співвідношення рівня знань випробуваного і рівня складності завдання. При наявності порівняльної шкали цю ймовірність виражають значенням від нуля до одиниці.

Оцінка відповідей за ступенем їх правильності проводиться досить рідко, але при необхідності створюються завдання з такими відповідями, що правильні в різному ступені.

За допомогою тестування, частіше інших ознак, перевіряються знання, уміння, навички та уявлення. З погляду навчальних вимірів корисно ввести два основних показники якості знань - рівень і структура знань. Вони оцінюється за допомогою реєстрації оцінок, як за знання, так і за незнання всіх необхідних компонентів матеріалу, що перевіряється. Для об'єктивізації цього процесу усі компоненти повинні бути однакові.

Однаковими є і правила виставлення оцінок. Ці умови відкривають дорогу для об'єктивного порівняння індивідуальних структур знання і незнання.

Рівень знань виявляється при аналізі відповідей на всі завдання тесту. Чим більше правильних відповідей, тим вище індивідуальний тестовий бал. Звичайно в системах дистанційної освіти цей тестовий бал асоціюється з поняттям "рівень знань" і проходить процедуру уточнення на основі тієї чи іншої моделі виміру. Той самий рівень знань може бути отриманий за рахунок відповідей на різні завдання.

Наприклад, у тесті з тридцяти завдань студент одержав десять балів. Ці бали, скоріш за все, отримані за рахунок правильних відповідей на перші десять, порівняно легких завдань. Властиву для такого випадку послідовність одиниць, а потім нулів можна назвати правильним профілем знань учня.

Якщо тестовий бал нижче необхідного рівня (вимірюваного критерію), то виявлені при цьому знання, уміння, навички і представлення вказують на докритеріальний рівень підготовленості. Цей рівень є найпоширенішим і масовим. Для багатьох він виявляється цілком переборним у міру вивчення ними наук і оволодіння майстерністю. Однак деякі, переважно в силу недоліку здібностей і старанності, так і залишаються на цьому рівні.

Структура знань оцінюється на основі послідовності правильних і неправильних відповідей на завдання зростаючої складності. Формою представлення індивідуальної структури знання і незнання є профіль знань, що представляється послідовністю одиниць і нулів, одержуваних кожним студентом.

Профіль знань являє собою упорядкований набір оцінок (вектор-рядок) у матриці тестових результатів. Якщо випробуваний відповідає правильно на перші, порівняно легкі завдання, можна говорити про правильну структуру знань. Профіль називається правильним, якщо в рядку балів у випробуваного всі нулі випливають за всіма одиницями.

Якщо ж виявляється протилежна картина, (випробуваний правильно відповідає на важкі завдання і неправильно - на легкі), то це суперечить логіці тесту і тому така структура знань може бути названа інвертованою. Вона зустрічається рідко, і найчастіше, через порушення вимоги розташовувати завдання в міру зростаючої складності.

За умови, що тест зроблений правильно, кожен профіль свідчить про структуру знань. Цю структуру можна назвати елементарною (оскільки є ще факторні структури, що виявляються за допомогою методів факторного аналізу).

Роль структури знань багаторазово підкреслювалася видатним педагогом А. Дистервегом, а також психологом Д. Брунером. Останній вважає, що "виклад структури знань, оволодіння цією структурою, а не просте засвоєння фактів і технічних прийомів є центральним моментом".

Розробники систем дистанційного навчання повинні прагнути, у першу чергу, до формування правильних індивідуальних структур знань, у яких не було би пробілів (розривів у знаннях), і на цій основі підвищувати рівень підготовки. Рівень знань у значній мірі залежить від особистих зусиль і здібностей тих, хто навчається за допомогою таких систем, у той час як структура знань помітно залежить від правильної організації навчальної системи, від індивідуалізації навчання, від рівня поданого матеріалу, від об'єктивності контролю - загалом, від усього того, чого зазвичай не вистачає.

Як справедливо відзначав М. Мінський, людина не може добре вчитися, якщо розриви для нього між відомим і невідомим занадто великі. Рівень знань у значній мірі залежить від особистих зусиль і здібностей учнів. У той час як структура знань залежить від правильної організації навчального процесу, від індивідуалізації навчання, від майстерності педагога, від об'єктивності контролю. Загалом, від усього того, чого звичайно в нас не вистачає.

2. Класи і види тестів

Традиційний тест являє собою єдність, щонайменше, трьох систем:

-           змістовної системи знань, яка описується мовою навчальної дисципліни, що перевіряється;

-           формальної системи завдань зростаючої складності;

-           статистичних характеристик завдань і результатів.

Традиційний навчальний тест потрібно розглядати з двох сторін: як метод педагогічного виміру і як результат застосування тесту.

Обидва ці критерії характеризують тест із різних сторін, тому що тест треба розуміти одночасно і як метод, і як результат навчального виміру. Одне доповнює інше. Тест як метод не мислиться без результатів, що підтверджують якість його самого і якість оцінок виміру випробуваних різного рівня підготовленості.

Головна ідея традиційного тесту - мінімальним числом завдань, за короткий час, швидко, якісно і з найменшими витратами порівняти знання як можна більшого числа учнів.

Власне кажучи цим відбивається ідея ефективності навчальної діяльності в області контролю знань в системах дистанційного навчання.

2.1 Гомогенні тести

До традиційних тестів відносяться тести гомогенні і гетерогенні.

Гомогенний тест являє собою систему завдань зростаючої складності, специфічної форми і визначеного змісту - система, створювані з метою об'єктивного, якісного, і ефективного методу оцінки структури і виміри рівня підготовленості учнів по одній навчальній дисципліні.

Легко бачити, що у своїй основі визначення гомогенного тесту збігається з визначенням традиційного тесту.

Гомогенні тести поширені більше інших. Вони створюються для контролю знань по одній навчальній дисципліні чи по одному розділі такої, наприклад, об'ємної навчальної дисципліни, як фізика. У гомогенному педагогічному тесті не допускається використання завдань, що виявляють інші властивості. Наявність останніх порушує вимога дисциплінарної чистоти навчального тесту. Адже кожен тест вимірює щось заздалегідь визначене.

2.2 Гетерогенні тести

 

Гетерогенний тест являє собою систему завдань зростаючої складності, специфічної форми і визначеного змісту - система, створена з метою об'єктивного, якісного, і ефективного методу оцінки структури і виміри рівня підготовленості по декількох навчальних дисциплінах.

Нерідко в такі тести включаються і психологічні завдання для оцінки рівня інтелектуального розвитку.

Звичайно гетерогенні тести використовуються для комплексної оцінки випускника шкіл, оцінки особистості при прийомі на роботу і для добору найбільш підготовлених абітурієнтів при прийомі до вузи. Оскільки кожен гетерогенний тест складається з гомогенних тестів, інтерпретація результатів тестування ведеться по відповідях на завдання кожного тесту (тут вони називаються шкалами) і крім того, за допомогою різних методів агрегування балів робляться спроби дати загальну оцінку підготовленості.

Нагадаємо, що традиційний тест являє собою метод діагностики, у якому відповідається на одні завдань, в однаковий час, в однакових умовах і з однаковою оцінкою.

При такій орієнтації задачі визначення точного обсягу і структури освоєного навчального матеріалу відступають на задній план. У тест відбирається таку мінімально достатню кількість завдань, що дозволяє порівняно точно визначити, образно говорячи, не "хто що знає", а "хто знає більше".

Інтерпретація результатів тестування ведеться переважно мовою тестології, з опорою на середню арифметичну, моду чи медіану і на так звані процентні норми, що показують - скільки відсотків випробуваних мають тестовий результат гірше, ніж у будь-якого узятого для аналізу випробуваного з його тестовим балом. Така інтерпретація називається нормативно-орієнтованою.

Тут висновок добудовується рейтингом:

завдання Þ відповіді Þ висновки про знання Þ рейтинг, що розуміється як висновок про місце чи ранзі випробуваного.

2.3 Інтегровані тести

Інтегрованим можна назвати тест, який складається із системи завдань, що відповідають вимогам інтегрованого змісту, тестової форми, які збільшують складність завдань, націлених на узагальнену підсумкову діагностику підготовленості.

Діагностика проводиться за допомогою таких завдань, правильні відповіді на які вимагають інтегрованих (узагальнених, явно взаємозалежних) знань в області двох і більшого числа навчальних дисциплін. Створення таких тестів дається тільки тим викладачам, що володіють знаннями ряду навчальних дисциплін, розуміють важливу роль міжпредметних зв'язків у навчанні, здатні створювати завдання, правильні відповіді на які потребують знань різних дисциплін і умінь застосовувати такі знання.

Перевага інтегрованих тестів перед гетерогенними полягає в більшій змістовній інформативності кожного завдання й у меншому числі самих завдань.

Методика створення інтегрованих тестів подібна з методикою створення традиційних тестів, за винятком роботи з визначення змісту завдань. Для створення змістовних інтегрованих тестів використання експертних методів є обов'язковим. Це пов'язано з тим, що тільки експерти можуть визначити адекватність змісту завдань цілям тесту. Але, насамперед, самим експертам важливо буде визначитися з цілями утворення і вивчення тих чи інших освітніх програм, а потім і домовитися між собою по принципових питаннях, залишивши для експертизи лише варіації в розумінні ступеня значимості окремих елементів у загальній структурі підготовленості.