Концепция развития тестовой технологии контроля уровня обученности студентов в системе профессионального образования России

Концепция развития тестовой технологии контроля уровня обученности студентов в системе профессионального образования России

Евсигнеев Андрей Евгеньевич

Понятие педагогического теста

Несмотря на то, что многие преподаватели интуитивно правильно понимают процесс тестового контроля, необходимо дать четкое определение педагогического теста. Это позволит избежать терминологической путаницы и очертить границы предмета исследования.

Педагогический тест - это система заданий специфической формы, позволяющая измерить уровень обученности студентов, совокупность их представлений, знаний, и навыков на той или иной области содержания.

Необходимо сделать некоторые пояснения, к вышеприведенному определению. Педагогический тест рассматривается именно как система, как упорядоченное множество тестовых заданий. Задания - это те элементы, "кирпичики" из которых составляется педагогический тест. Педагогический тест, в большинстве случаев, не требует квалифицированных преподавателей для проверки результатов тестирования. Педагогический тест, как правило, не требует большого количества учебного времени на его проверку.

Подходы к классификации педагогических тестов

Что касается классификации тестов, то анализ зарубежной и отечественной литературы показывает, что существуют несколько подходов к этой проблеме.

Во-первых, педагогические тесты классифицируются по методологии интерпретации результатов тестирования на нормативно-ориентированные и критериально-ориентированные.

Во-вторых, педагогические тесты различаются на гомогенные и гетерогенные.

В-третьих, педагогические тесты в системе профессионального образования (ПО) подразделяются на виды: вступительные, текущие, на тесты промежуточной и итоговой аттестации.

В-четвертых, по форме предъявления педагогические тесты различаются на "бумажные" (бланковые), когда испытуемому предоставляется распечатка теста на бумаге, и на компьютерные, когда студент должен отвечать на задания работая на компьютере.

Приведем краткое описание различных видов педагогических тестов.

Нормативно-ориентированные и критериально-ориентированные тесты. Нормативно-ориентированный педагогический тест (по-английски norm-referenced test) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом. Критериально-ориентированный педагогический тест (по-английски criterion-referenced test) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом.

Нормативно-ориентированные педагогические тесты используются для того, чтобы получить надежные и нормально распределенные баллы для сравнения тестируемых.

Критериально-ориентированные педагогические тесты применяются для того, чтобы интерпретировать результаты тестирования в соответствии уровнем обученности испытуемых на хорошо определенной области содержания.

Существенное значение приобретает использование критериально-ориентированных тестов в системе ПО для текущей, промежуточной и итоговой аттестации студентов. Преподаватели учебных заведений могут использовать результаты критериально-ориентированных тестов, чтобы правильно оценить уровень подготовки студентов, а также определить качество тех или иных программ обучения. Тесты этого типа позволяют проводить мониторинг успеваемости студентов, вовремя определять недостатки в подготовке студентов. Преподаватели и руководители учебных заведений отмечают, что результаты критериально-ориентированных тестов особенно полезны при диагностике недостатков в обучении, а также в итоговой и промежуточной аттестации студентов. Критериально-ориентированные тесты также используются для оценки различных образовательных программ.

В последнее время в средних специальных учебных заведениях России однозначно определяют совокупность представлений, знаний, умений и навыков, которые студенты должны усвоить, чтобы получить соответствующий диплом. Эта совокупность получила свое воплощение в создании государственных образовательных стандартов (ГОС). Использование критериально-ориентированных педагогических тестов, основанных на государственных образовательных стандартах, для итоговой и промежуточной аттестации студентов является на наш взгляд чрезвычайно перспективным.

Гомогенные и гетерогенные педагогические тесты. Гомогенный педагогический тест основывается на содержании какой-либо одной дисциплины. При его разработке авторы должны четко отслеживать, чтобы каждое задание не выходило по своему содержанию за рамки данной дисциплины. Гомогенный тест может быть как нормативно-ориентированным, так и критериально - ориентированным, в зависимости от цели его создания. Такой тип педагогического теста наиболее распространен в учебном процессе.

Гетерогенный педагогический тест основывается на содержании нескольких дисциплин. Гетерогенный педагогический тест является по своему существу междисциплинарным. В большинстве случаев каждое задание гетерогенного теста включает в себя элементы содержания нескольких дисциплин. При его разработке авторы должны представлять себе цели его создания и быть компетентными во многих дисциплинах. Естественно, гетерогенный тест гораздо более труден для авторов, чем гомогенный. Одной из разновидностей гетерогенного теста является набор гомогенных тестов, т.е. гетерогенный тест может состоять из ряда гомогенных частей (субтестов). Наибольшее распространение гетерогенные тесты получили при итоговом контроле студентов, а также при профессиональной аттестации кадров.

Виды тестов в системе профессионального образования. Основными видами контроля над учебной деятельностью студентов являются текущий, периодический (рубежный, поэтапный, промежуточный) и итоговый контроль. К сожалению, терминология видов и уровней контроля до конца не установлена, и разные авторы используют термины различно. Учитывая, что в системе ПО России необходимы вступительные испытания для поступающих, мы будем рассматривать следующие виды тестового контроля: вступительный, текущий, промежуточный (или рубежный, поэтапный) и итоговый (Таблица 4.2). Вступительный тестовый контроль осуществляется при приеме в среднее специальное учебное заведение в качестве вступительного испытания. Вступительное тестирование проводится по нескольким дисциплинам предусмотренным в нормативных документах о приеме в учебные заведения.

Таблица 4.2

Виды тестового контроля в системе ПО России и их основные характеристики

Вид теста	Тип теста	Приемы разработки	Оценки показателей качества
Вступительный	Нормативноориентированный, гомогенный	Централизованный	Надежность – более 0.9. Прогностическая валидность более 0.5
Текущий	Критериально-ориентированный, гомогенный	Децентрализованный	Надежность – более 0.75. Высокая содержательная валидность
Промежуточный	Критериально-ориентированный, гомогенный	Децентрализованный и (или) централизованный	Надежность – более 0.8. Высокая содержательная валидность
Итоговый	Критериально-ориентированный, гетерогенный	Централизованный	Надежность – более 0.9. Высокая содержательная валидность. Критериальная валидность более 0.5

Для стандартизации требований к абитуриентам и унификации (единообразия) процедуры вступительных испытаний тестовый контроль абитуриентов должен быть организован централизовано. Для вступительных тестов можно рекомендовать гомогенный нормативно-ориентированный подход к интерпретации результатов тестирования. Хотя, как показывает зарубежный опыт, существует и гетерогенный нормативно-ориентированный тест SAT для поступающих и колледжи США состоит из двух субтестов: по математике и родному языку.

Текущий тестовый контроль может осуществляться в ходе повседневной учебной работы. Текущий тестовый контроль проводится с помощью нескольких параллельных форм (вариантов) теста, разработанного самим преподавателем или группой преподавателей. Этот вид контроля имеет большое значение для стимулирования у студентов стремления к самостоятельной систематической работе над выполнением классных и домашних заданий, повышения интереса к учению и чувства ответственности за его результаты.

Промежуточный (рубежный, поэтапный, периодический) тестовый контроль проводится обычно после изучения логически законченной части (раздела, модуля) программы или в конце учебного периода (семестра, курса). Он состоит в проверке учебной деятельности студентов по освоению сравнительно большего объема материала. Поэтому к промежуточному педагогическому тесту предъявляются повышенные требования. Он должен обладать достаточно высокой надежностью и валидностью. К его разработке должны привлекаться самые опытные преподаватели. Возможна организация централизованной разработки батареи (серии) промежуточных тестов по направлению, специальности и рассылка пакета с тестовыми материалами (вариантами теста, инструкциями, ответными листами, ключами ответов и др. документами) непосредственно в заинтересованные учебные заведения. Каждый тест для промежуточной аттестации должен быть гомогенным, однако для соблюдения комплексности аттестации и междисциплинарных связей, необходимо разработка батарей (целых серий) гомогенных критериально-ориентированных тестов.

Итоговый тестовый контроль осуществляется в конце каждого учебного года, а также при завершении изучения дисциплины (курса) с обязательным учетом результатов текущего и промежуточного (периодического) контроля. Итоговый тестовый контроль может осуществляться в режиме итоговой аттестации для оценки степени соответствия уровня обученности студентов требованиям ГОС. Итоговый тест (или батарея итоговых тестов) совместно с другими аттестационными процедурами может существенно повысить качество подготовки специалистов. Однако, итоговый аттестационный педагогический тест должен обладать высокой содержательной валидностью и полностью соответствовать ГОС СПО по специальности. Разрабатывать такой вид теста должны опытные преподаватели и методисты под руководством профессиональных тестологов. Процесс разработки итогового теста должен проходить централизовано и включать в себя все научно-обоснованные этапы создания педагогического теста.

Наиболее перспективным, на наш взгляд, является разработка для итоговой аттестации гетерогенных междисциплинарных профессионально-ориентированных тестов. То есть таких критериально-ориентированных тестов, каждое задание которого базируется на содержании ГОС по нескольким ключевым специальным дисциплинам и ориентировано на профессиональную деятельность специалиста.

В первую очередь такой междисциплинарный профессионально-ориентированный тест будет измерять уровень усвоения студентами требований ГОС по специальным дисциплинам. И, во-вторых, междисциплинарный профессионально-ориентированный тест будет оценивать степень усвоения выпускниками профессиональных знаний, умений и навыков, которые им необходимы для начала профессиональной деятельности.

Междисциплинарный профессионально-ориентированный тест должен включать в себя несколько секций (субтестов). Часть из них базируется на одержании ГОС по специальным дисциплинам, а другая часть представляет систему заданий на "квазипрофессиональную ситуацию" и будет отражать требования потенциальных работодателей.

При формулировке тестовых заданий для всех видов тестов следует предусмотреть возможность получения в ответах студентов исчерпывающей информации как об уровне приобретенных и усвоенных знаний, так и об умении оперировать ими, об овладении логическими приемами мышления (анализа и синтеза, доказательства, аналогий и противопоставления, индукции и дедукции и др.).

"Бумажные" и компьютерные тесты. Педагогические тесты, предъявляемые выборке испытуемых, на бумажном носителе в виде распечатки наиболее распространены и традиционны, как у нас, так и за рубежом. Однако, хранение, редактирование и вариативная распечатка педагогического теста в современных условиях должна происходить с помощью специализированных программных средств. Особое внимание разработчиков и пользователей педагогического теста на бумажной основе должно привлекать качество печати, отсутствие дефектов, грамотное расположение заданий. С экономической точки зрения "бумажные" тесты продолжают оставаться наиболее доступными и дешевыми.

Компьютерная выдача педагогических тестов имеет свои особенности, которые необходимо учитывать при их разработке. Анализ информации на экране монитора компьютера часто бывает затруднен из-за неправильной подачи материала. Хотя именно компьютеризованное тестирование имеет свои преимущества и перспективы применения в образовании. Особенная роль здесь принадлежит компьютерно-адаптивному тестированию, когда каждому испытуемому предъявляется уникальный набор заданий. В развитых странах именно компьютерно-адаптивное тестирование, особенно с применение локальных и глобальных (Интернет) сетей, приобретает чрезвычайно важное значение. К сожалению, наше отставание в тестовой теории и технологии пока не позволяет использовать компьютерно-адаптивное тестирование в учебном процессе и аттестации профессиональных кадров. Следует отметить, что с экономической точки зрения использование компьютеров для массового тестирования обходится в несколько раз дороже.

Современное состояние тестовой технологии контроля уровня обученности студентов.

Тесты получили в настоящее время широкое применение в образовании США, Великобритании, Голландии, Японии, Австралии и во многих других развитых странах.

Нормативно-ориентированные педагогические тесты используются для того, чтобы получить надежные и нормально распределенные баллы для сравнения тестируемых.

Критериально-ориентированные педагогические тесты применяются для того чтобы интерпретировать результаты тестирования в соответствии уровнем обученности испытуемых на хорошо определенной области содержания.

В кибернетическом представлении тестовый контроль рассматривается как один из элементов осуществления принципа обратной связи, характерной для управления саморегулирующейся системой. Объективный тестовый контроль за учебной деятельностью студентов обеспечивает внешнюю обратную связь и внутреннюю обратную связь (самоконтроль обучающегося). Внешняя обратная связь позволяет осуществить смещение оценки качества подготовки за пределы учебного заведения, что приведет в объективизации аттестации студентов. Внутренняя обратная связь позволит самому студенту определить по результатам тестирования объективный уровень его подготовки и провести самодиагностику пробелов и недостатков в его образовании.

Обратная связь служит основанием для внесения необходимых коррективов в процесс обучения, для совершенствования его содержания, методов и форм организации, руководства и управления учебно-познавательной деятельностью студентов. В системе образования развитых стран тестовый контроль является составной частью, компонентом процесса обучения органически связанным с изучением программного материала, его осмыслением, закреплением и применением, формированием навыков и умений. В нашей стране комплексное применение педагогического тестирования в системе СПО проводится только в некоторых передовых техникумах и колледжах.

Планомерное осуществление тестового контроля позволяет преподавателю, учебному заведению оценить степень усвоения учебного материал студентами за определенный период, выявить успехи в учении, пробелы и недостатки в знаниях, умениях и навыках у отдельных студентов и у всей группы в целом, определить качество усвоения пройденного и соответствие уровня обученности требованием ГОС. Объективный анализ результатов тестового контроля за учебной деятельностью студентов служит для преподавателей и руководителей ссузов основой определения состояния учебно-воспитательной работы и мер, необходимых для ее совершенствования. Тестовый контроль, осуществляемый преподавателем, в сочетании с другими формами контроля и самоконтролем дает возможность каждому студенту видеть результаты учения и принимать меры к устранению обнаруженных недостатков.

Объективный, надежный и валидный тестовый контроль имеет важное образовательное и развивающее значение, способствуя всестороннему изучению программы, расширению, углублению и совершенствованию знаний, умений и навыков, развитию познавательных интересов студентов. Каждый студент вынужден активно, мотивированно участвовать в процессе тестового контроля, так как технология научно-организованного педагогического теста не допускает невнимательного отношения испытуемых к выполнению заданий.

Объективный тестовый контроль в процессе обучения характеризуется также большим воспитательным значением, так как он повышает ответственность за выполняемую работу не только студентов, но и преподавателя, приучает студентов к систематическому труду и аккуратности в выполнении учебных заданий, формирует у них положительные нравственные качества и создает здоровое общественное мнение.

Комплексное использование тестовых и не тестовых форм контроля над учебной деятельностью студентов, в конечном счете, направлено на повышение качества обучения.

Анализируя теоретические исследования отечественных и зарубежных ученых, а также практику массового тестирования, можно утверждать, что педагогические тесты, отвечающие высоким критериям качества, обладают несомненными преимуществами перед традиционными субъективными формами контроля уровня обученности студентов. Надежный и валидный педагогический тест полностью отвечает требованиям к технологии контроля знаний, умений навыков студентов на всех этапах обучения.

К преимуществам тестовой технологии контроля относятся:

1.         Индивидуальный характер контроля, возможность осуществления контроля над работой каждого студента, за его личной учебной деятельностью.

2.         Возможность регулярного систематичного проведения тестового контроля на всех этапах процесса обучения.

3.         Возможность сочетания ее с другими традиционными формами педагогического контроля.

4.         Всесторонность, заключающаяся в том, что педагогический тест может охватывать все разделы учебной программы, обеспечивать полную проверку теоретических знаний, интеллектуальных и практических умений и навыков студентов.

5.         Объективность тестового контроля, исключающая субъективные (часто ошибочные) оценочные суждения и выводы преподавателя, основанные на недостаточном изучении уровня подготовки студентов или предвзятом отношении к некоторым из них.

6.        Учет специфических особенностей каждого учебного предмета и отдельных его разделов за счет применения современных методик разработки и многообразия форм тестовых заданий.

7.         Возможность проведения традиционного ("бумажного") и компьютеризованного (в локальной сети) тестирования.

8.        Возможность применения современной технологии компьютерно-адаптивного тестирования.

9.         Возможность массового широкомасштабного стандартизованного тестирования путем распечатки и тиражирования параллельных форм (вариантов) теста и доставки его в различные учебные заведения.

10.      Учет индивидуальных особенностей специфической выборки испытуемых, требующий применения в соответствии с этими особенностями различной методики разработки теста и тестовых заданий.

11.      Единство требований ко всем испытуемым, вне зависимости от их прошлых учебных достижений.

12.      Стандартизованность тестового контроля, возможность разработки единого теста для различных учебных заведений на основе требований ГОС СПО.

13.      Дифференцированность шкалы тестовых баллов, позволяющей в широком диапазоне ранжировать уровень учебных достижений студентов.

14.      Высокая надежность тестового контроля, позволяющая говорить о полноценном педагогическом измерении уровня обученности.

15.      Высокая содержательная валидность тестового контроля, основанная на включении всех дидактических единиц программы обучения в задания теста.

16.      Высокая прогностическая валидность вступительных тестовых испытаний, позволяющая предвидеть успехи студентов в будущем.

17.      Высокая критериальная (текущая) валидность итоговых аттестационных тестов.

18.      18)  Эффективность педагогического теста, позволяющая проводить контроль любой выборки испытуемых, за короткое время с минимальными затратами.

19.      При правильной организации проведения тестирования и применение методов информационной безопасности можно исключить недобросовестное отношение некоторых студентов к выполнению письменных контрольных испытаний (списывание использование подсказок, шпаргалок и т.п.).

20.      Тестовый контроль стимулирует постоянную работу всех студентов, и это в известной степени достигается проведением широкомасштабного неожиданного для испытуемых тестирования.

21.      Возможность учета при тестировании региональных особенностей ГОС СПО.

Обеспечение и реализация достоинств тестовой технологии может быть выполнена только при учете требований классической и современной тестовой теории. Только на базе тестовой теории и современных методик разработки тестов можно обеспечить надежность, валидность и эффективность контроля, выполнение им своих задач в процессе обучения и итоговой аттестации студентов.

Содержание педагогического теста определяется дидактическими задачами на различных этапах обучения, спецификой учебных предметов, уровнем подготовки и развития студентов. Очень важно, чтобы тестовый контроль не сводился исключительно к проверке знаний студентов путем простого воспроизведения полученной ими от преподавателя или из учебников информации. В процессе тестового контроля большое значение имеет комплексная проверка всей учебной деятельности ученика, в том числе динамики его общего развития, формирования специальных умений и навыков, активности, познавательных интересов, творческих способностей.

При продуманной организации тестовый контроль воспринимается испытуемыми как обычный элемент учебного процесса и не вызывает отрицательных эмоций. Более того, как показывают отечественные и зарубежные психологические исследования уровень стресса при тестовом контроле значительно ниже, чем при традиционных (особенно устных) формах субъективного контроля.

Как известно, самоконтроль студентов обеспечивает функционирование внутренней обратной связи в процессе обучения, получение самим обучаемым информации о полноте и качестве изучения программного материала, прочности сформированных умений и навыков, возникших трудностях и недостатках. Самопроверка с помощью диагностических тестов имеет большое психологическое значение, стимулирует учение. С ее помощью студент реально убеждается в том, как он овладел знаниями, проверяет правильность выполнения действий, оценивает практическую значимость результатов выполненных заданий. В организации самоконтроля студентов применяются как обычные "бумажные" диагностические тестовые материалы, так и компьютеризованные тестовые средства контроля.

Проблема объективности оценки результатов учебной деятельности студентов. Шкалы в педагогических тестах

Результаты контроля учебно-познавательной деятельности студентов выражаются в ее оценке. В широком смысле слова оценкой называют характеристику ценности, уровня или значения каких-либо объектов или процессов. Оценить - значит установить уровень, степень или качество чего-нибудь. Применительно к учебно-познавательной деятельности оценка означает установление степени выполнения студентами задач, поставленных перед ними в процессе обучения, уровня их подготовки и развития, качества приобретенных знаний, сформированных умений и навыков. Поскольку оценка тесно связана с контролем и является его следствием, к ней в полной мере относятся педагогические требования, предъявляемые к контролю объективность, систематичность, индивидуальный подход, и др.

В настоящее время в образовании сосуществуют два основных вида оценки результатов учебной деятельности - субъективная, выставляемая преподавателем или группой (комиссией) экспертов, и объективная, являющаяся результатом педагогического тестирования. Оба вида оценки необходимы и взаимодополняют друг друга. Недостаточное внимание к объективизации оценки (то есть отсутствие тестовых технологий педагогического измерения) приводит к понижению качества подготовки специалистов.

Объективная тестовая оценка уровня обученности студентов выражается в индивидуальном балле на определенной шкале.

Объективная тестовая оценка учебной деятельности студентов имеет большое образовательное и воспитательное значение. Образовательная роль тестовой оценки состоит в том, что студентов получают объективную информацию о результатах своей учебной работы. Дополняемая самооценкой ученика и субъективной оценкой преподавателя она указывает на достижения студента в овладении знаниями, умениями и навыками, а также на недостатки, пробелы, упущения и пути их устранения.

Воспитательная роль тестовой оценки заключается в осознании студентами способов совершенствования различных видов учебной деятельности и путей повышения эффективности учения. Правильно установленная, справедливая и объективная тестовая оценка учебной деятельности студентов служит важным стимулом формирования и развития познавательных интересов, положительных качеств личности: честности, трудолюбия, активности, самостоятельности, ответственности за выполнение своих обязанностей, умения преодолевать трудности и др. И наоборот, субъективность, а часто несправедливость не тестовой оценки (например, на устном экзамене) вызывает обычно серьезные осложнения в обучении, воспитании и развитии студентов, отрицательно влияя на результативность учебно-воспитательного процесса.

Правильная тестовая оценка деятельности студентов, установленная на основе соблюдения педагогических требований к разработке высококачественного теста, объективно свидетельствует об успехе и недостатках в работы преподавателя, учебного заведения в целом.

Количественным выражением субъективной оценки является отметка. Отметка условно выражает количественную оценку знаний, умений и навыков студентов в цифрах или так называемых баллах. В системе ПО России применяется пятибалльная система отметок, а точнее четырех балльная система отметок. В этой системе субъективных отметок трудно обеспечить объективность и точность при оценке результатов учебной деятельности студентов. Сложность применения традиционной пятибалльной системы обусловлена также и тем, что установленные нормы оценок являются средними и ориентировочными. Все разнообразие оттенков уровня подготовки студентов невозможно вложить в жесткие рамки пяти баллов. Возможность расширить и более подробно дифференцировать диапазон оценок позволяет только применение тестовых технологий и внедрение в практику педагогических измерений тестовых шкал.

В современных условиях все больше проявляется важные недостатки данной шкалы - ее малая дифференцированность по отношению к выборке студентов и субъективность измерения. Данный студент может получить у одного преподавателя «4», а у другого за те же знания «5». Или в одном учебном заведении студент получит «3», а в другом за такой же ответ «2». Действительно, за совершенно разные по уровню контрольные работы преподаватель вынужден ставить одну и ту же оценку. Оценка «3» может быть выставлена и слабо подготовленному студенту и студенту, имеющему твердые базовые знания по дисциплине.

Арифметические операции с пятибалльными оценками «неудовлетворительно – удовлетворительно – хорошо - отлично» (определение средней оценки по различным массивам, сравнение разных групп и т.д.) по большому счету некорректны, и, в лучшем случае, имеют лишь размытые качественные экспертные значения. Достоверность педагогических оценок успешности обучения можно повысить, заменяя традиционные аттестационные процедуры стандартизованными педагогическими тестами с высокими показателями надежности и валидности.

Используя аттестационные критериально-ориентированные педагогические тесты, можно пытаться выйти за пределы порядковой шкалы и перейти в область интервальной шкалы. Процесс стандартизации измерительного педагогического теста, помимо прочего, включает в себя создание дополнительной информации для пользователей тестовых баллов. Этот процесс, вместе с проведением комплекса процедур тестирования, должен быть так спланирован, чтобы стало возможным сформировать шкалу для теста.

Шкала, или шкалы, могут использоваться как набор норм, или как набор интерпретируемых данных, а для тестов, у которых есть несколько параллельных форм, как набор таблиц эквивалентности, которые позволяют преобразовывать необработанные баллы в общую шкалу для данного теста.

Шкалирование педагогического теста - это метод для определения системы преобразования индивидуальных необработанных баллов испытуемых в результате тестирования в баллы, которые окончательно сообщаются пользователям теста или тестовых программ.

Применение стандартизованных педагогических шкал по результатам тестирования позволит проводить статистическую обработку количественных показателей оценки учебной работы студентов, что позволит с достаточной объективностью судить об успехах работы преподавателей и самих учебных заведений.

Литература

1.         Ж.Н. Зайцева, В.И. Солдатин Информатизация образования: состояние проблемы и перспективы М.; ИЦПКПС, 1998, 38с.

2.         Христовский С.А. Методические основы проектирования электронного учебника, Проектирование образовательных информационных ресурсов, систем и технологий. Сб. докладов и сообщений.- М., ИЦПКПС, 1998, 75с.