Диагностическое тестирование и его роль в развитии компьютерных изданий учебного назначения

Тестирование - один из самых современных инструментов получе­ния педагогической информации. Признано, что это самый объективный и качественный способ контроля знаний, навыков и умений, так как поз­воляет создать равные для всех условия, предложить единые критерии оценки и интерпретации результатов. Именно эти преимущества способ­ствовали широкому распространению тестирования, а в последнее время выдвинули данную форму контроля как приоритетную при проведении единого государственного экзамена в российских школах и вузах.

Хотя до сих пор тестирование, применяемое в российском школь­ном и вузовском образовании, преимущественно «бумажное», уже очевидно, что в самое ближайшее время оно станет компьютерным. Обра­щаясь к истории вопроса и к анализу современных учебников и посо­бий, можно сказать больше: данная форма обучения и контроля, полу­чив распространение во второй половине XX столетия, предвосхитила собой эпоху активного внедрения компьютера в образование. В свою очередь использование информационных технологий как инструмента для создания новых обучающих средств вывело тестирование на каче­ственно новый уровень, расширило сферу его применения.

Несколько слов об истории развития идеи создания нелинейных гибких компьютерных обучающих систем. Технические возможности компьютеров конца 80-х - начала 90-х годов определили основную особенность обучающих программ того времени - небольшой объем материала, соответствующий одной, максимум нескольким учебным темам. Эти локальные программы в большинстве случаев были линей­ными и жестко управляли действиями пользователя, хотя уже тогда педагоги, понимавшие истинную природу компьютера как инструмен­та, стимулирующего свободу творчества, прогнозировали появление нелинейных, гибких компьютерных обучающих систем, способных обеспечить свободу действий учащегося в соответствии с его индиви­дуальными целями, задачами и когнитивным стилем усвоения. Но уже в то время, предвосхищая эпоху мультимедиа, появлялись программы, использующие некоторые средства наглядности, в том числе анима­цию, интерактивные презентации, гипертекстовые справочные блоки, элементы вариативной помощи, разные виды работы с учебным мате­риалом. Но в полном объеме воплотить в жизнь идеи комплексности, нелинейности и гибкости стало возможным несколько позже, с появ­лением нового поколения компьютеров и технологий гипертекста и мультимедиа.

Развитие мультимедийных технологий с их возможностями соеди­нения разных форм представления больших объемов учебной инфор­мации (текст, звук, видео, анимация) позволило совершить достаточно быстрый переход от локальных, линейных, жестких программ первого Поколения к современным интегрированным многокомпонентным обучающим комплексам. Естественная сложность и разветвленность таких комплексов, в свою очередь, поставила задачу не только усовер­шенствования механизмов, обеспечивающих их работу (вариативная помощь, вариативный доступ к обучающему, информационному и наглядному материалу, гибкое управление индивидуальной самостоя­тельной работой пользователя в многофункциональной гипертексто­вой среде и разные виды ее контроля), но и расширения их арсенала. Стала очевидной необходимость подключения к обучающим средам нового поколения адекватных им по сложности тестовых систем.

Опыт авторов данной статьи в области создания и использования контрольно-диагностических тестов, ориентированных на конкрет­ную компьютерную обучающую систему, позволяет увидеть их роль в компьютерном обучении в целом. С помощью таких тестов возможно:

• 
  контролировать знания, умения и навыки на всех стадиях обуче­ния; диагностировать и прогнозировать ошибки;
  
• 
  на основе диагностики не только направлять, но и организовы­вать учебную деятельность учащегося, работающего в учебном ин­
  формационном пространстве.
  

Для того чтобы показать, какую роль играют диагностические тес­ты при работе с мультимедиа комплексом и почему эта роль так важ­на, рассмотрим его (мультимедиа комплекса) основные компоненты и их взаимосвязь, реализованную на основе гипертекста.

• 
  последовательно или выборочно (с помощью меню), работая с соответствующим разделом «Учебника», читая статьи и выполняя уп­ражнения, их сопровождающие;
  
• 
  обратившись к интерактивной таблице «Орфография», выбирая и открывая ячейки таблицы;
  
• 
  выбрав в «Интерактивном уроке» позицию меню «Вставьте и объясните пропущенные орфограммы»;
  
• 
  работая с диктантами, представленными в «Альбоме»: вставляя пропущенные орфограммы и пользуясь правилами-комментариями;
  
• 
  активизировав пиктограмму «Совет» и обратившись к рекомен­дуемым учебным материалам по правописанию;
  
• 
  обратившись к орфографической части «Словаря примеров»;
  
• 
  обратившись к таким статьям «Словаря лингвистических терми­нов», как, например, «Орфограмма», «Чередование», «Дефис», с тем, что­бы потом, в случае необходимости, выйти в нужную статью «Учебника».
  

Так же обстоит дело и с выбором варианта помощи при выполне­нии задания: испытывая затруднение, учащийся может оперативно обратиться или к статье «Учебника» по теме задания, или к коммента­рию, непосредственно относящемуся к конкретной единице обраба­тываемого материала (предложению, словосочетанию, слову, букве), или сразу получить готовый ответ. Кроме того, в обучающей части курса учащийся получает возможность работать с заданиями в не­скольких режимах:

• в режиме контроля, т.е. выполнить упражнение (например, за­полнить все пропуски в диктанте), увидеть оценку своей работы и уже
после этого обратиться к теории или просмотреть комментарий к тем фрагментам текста, в которых выделены ошибки;

• в режиме самоконтроля, т.е. выполнить упражнение, но до подтверждения ответа просмотреть комментарий к тем языковым единицам, которые вызывают сомнения, затем исправить ошибки и только после этого нажать клавишу «Готово»;

• в режиме комментария, т.е. до выполнения упражнения активи­зировать поле комментария, а затем, подводя указатель к каждой кон­трольной позиции, знакомиться с комментарием и только после этого принимать решение.

Выбор вариантов помощи и режима работы с заданиями зависит не только от степени уверенности учащегося в своих знаниях, но и от его личностных особенностей.

Обучающий комплекс в течение 2 лет после выпуска проходил апро­бацию в школах разных регионов России (около двухсот школ получи­ли возможность познакомиться с ним). Наряду с положительными от­зывами были и замечания, суть которых сводилась к тому, что полная свобода навигации учащегося в обучающей среде комплекса не в полной мере отвечает задачам коррекции знаний, умений и навыков учащихся старших классов в условиях школьного обучения. Задачу целенаправ­ленного обучения, отбора материала по-прежнему приходилось брать на себя учителю, в то время как ему самому трудно было даже бегло озна­комиться со всем содержанием комплекса, который при возможности перевода в бумажную форму насчитывал бы более 5 тысячи страниц.

Не согласиться с этой критикой было нельзя. Следовательно, не­обходимо было изыскать механизмы, автоматически настраивающие­ся на каждого конкретного ученика, выстраивающие определенную стратегию обучения, ориентируясь на его уровень знаний и другие ха­рактеристики, и предоставляющие ему необходимые учебные матери­алы в необходимой последовательности.

До последнего времени самым простым и распространенным спо­собом доступа к учебным материалам и организации работы с ними в определенной, заданной последовательности были системы меню -локальность методических задач не требовала большего. С развитием технологии гипертекста меню, оставаясь обязательным элементом программы, перестало быть единственно возможным способом досту­па к ее различным составляющим и перестало отражать все возмож­ные внутренние связи между компонентами комплекса и все возмож­ные пути освоения учебного материала в зависимости от индивидуаль­ных запросов пользователя. Именно на это обращали внимание многие учителя русского языка, использовавшие «1С: Репетитор. Рус­ский язык» в своей практике — им не хватало специального инструмен­та для организации контролируемой самостоятельной работы учени­ка, направленной ориентации его в обучающей среде мультимедиа комплекса, создания индивидуальных обучающих мини-программ.

Мы предположили, что начать работу следует с разработки имен­но контрольно-диагностических систем тестирования, поскольку соз-Дание открытых авторских систем - дело пусть недалекого, но все-таки будущего, а существующие мультимедиа обучающие комплексы нуждаются в соответствующей им по сложности и адекватности сис­теме диагностики уже сейчас. Важно отметить также и полифункцио­нальность таких тестовых систем: помимо выполнения контрольно-диагностической функции, при условии тесной связи с конкретной обучающей средой, они способны выступать в качестве дополнитель­ного механизма, осуществляющего доступ к ее компонентам и управ­ляющего учебными действиями пользователя. Таким образом, тест из контролирующего становится обучающим звеном системы.

Проанализировав существующие компьютерные (и некомпьютер­ные) тесты, а также литературу, посвященную вопросам тестирова­ния, мы пришли к выводу, что тесты, направленные на диагностику знаний, умений и навыков в области образования, не разрабатывались ни в теории, ни в практике тестологии. Выяснилось, что авторы цело­го ряда компьютерных программ под диагностическим тестировани­ем понимают тестирование, в результате которого на экран выводятся правила, вызывавшие во время выполнения тестовых заданий затруд­нения у пользователя, а также рекомендации повторить упражнения на данную тему. На наш взгляд, такая трактовка термина «диагности­ка» неприемлема.

При разработке нашей системы, мы исходили из того, что диагно­стический тест применительно к обучению какой-либо дисциплине - это специально организованная система заданий, позволяющая не только определить уровень знаний, умений и навыков учащегося и те­мы, вызывающие затруднения (что определяет тест контролирую­щий), но выявить причины их недостаточной для данного уровня сформированности. При этом учебный диагностический тест должен выявлять не только причины допущенных во время контроля ошибок, но и прогнозировать те, которые могут быть допущены учащимся в измененных условиях контроля.

Поставив перед собой такую задачу, мы разработали систему кон­трольно-диагностических тестов для организации работы учащегося в среде мультимедиа учебника. Она была использована в работе «1С: Репетитор. Тесты по пунктуации», затем получила развитие в элек­тронном пособии «1С: Репетитор. Тесты по орфографии» и в мульти­медиа комплексе по русскому языку для иностранцев.

Чем объясняется такое построение теста?

Как уже было сказано, второй субтест проверяет знания теории по теме. Если таковые отсутствуют, то вряд ли можно говорить о том, что учащийся ею владеет. Что делать? Прерывать тестирование и Учить правила? Но сначала нужно выяснить, может ли учащийся ос­воить данные правила, ведь вполне вероятно, что причины неуспеха лежат глубже: правило опирается на те знания, которых учащийся в ^силу каких-либо причин не имеет.

С другой стороны, само по себе знание правил не является гаран­тией освоения темы, ибо знание, как известно, может быть чисто фор­мально. Поэтому третий субтест проверяет умение применять имею­щиеся знания на практике. Для того, кто на втором этапе тестирова-^нИя не показал знания правил, третий субтест тоже небесполезен -^аДания на сопоставление правила и примера активизируют его мыш-^ение, наблюдательность, аналитико-сопоставительные способности.

По результатам прохождения трех первых этапов тестирования можно сделать вывод о том, в каком объеме учащийся владеет кон­кретной темой, обладает ли он интуитивной грамотностью, не подкре­пленной знанием теории, или вполне осознанно пользуется имеющим­ся у него знанием правил. Перед четвертым этапом тестирования мы не можем еще говорить о диагностике ошибок - пока мы только опре­делили глубину знакомства тестируемого с данной конкретной темой.

Работа с экраном результата начинается со знакомства с несколь­кими заранее открытыми позициями. Тестируемый может узнать, сколько времени он потратил на прохождение теста и сравнить его с рекомендуемым временем. Ниже располагается информация об об­щем количестве предложенных заданий и общем количестве допу­щенных ошибок. В специальной позиции - результаты по первым трем этапам тестирования. По первым трем этапам также выводится вербальный итоговый комментарий, дающий оценку практическим навыкам и теоретической подготовке учащегося по теме и совет обра­титься к рекомендациям (в случае, если были допущены ошибки)' Данный комментарий формируется автоматически из блоков текста, соответствующих поэтапным оценкам. Приведем комментарий, полу­ченный учащимся, выполнившим задания первых трех этапов неуд⁰" влетворительно: «Учащийся не обладает интуитивной пунктуацион­ной грамотностью, плохо знает правила и грамматику. Прежде чем учить правила, следует восполнить пробелы в знаниях русского язы­ка в соответствии с рекомендациями».

Следующая позиция на экране, которую пользователь при жела­нии открывает - это «Анализ работы*-. В этом разделе приводится полный свод правил по теме, количество правильных и неправильных ответов в заданиях на каждое правило, что дает возможность учаще­муся самостоятельно оценить себя и увидеть, какие правила следует повторить. Данный раздел будет полезен и учителю при составлении плана индивидуального урока по изучаемой теме.

Раздел «Рекомендации» формируется на основе анализа работы пользователя по всем четырем этапам. Рекомендации даются в виде анализа ошибки и гипертекстовой отсылки в соответствующий раз­дел мультимедиа комплекса. Выйдя через отсылку в комплекс, поль­зователь может работать над нужной темой по своему усмотрению: читать статью «Учебника», выполнять упражнения к ней, знакомить­ся со всеми доступными материалами. Но при этом выход в мульти­медиа комплекс через контрольно-диагностический тест концент­рирует учащегося на решении конкретной учебной задачи - он уже не уходит в бесконечный свободный поиск как это было ранее до под­ключения к комплексу диагностических систем (что отмечали в сво­их отзывах учителя, по-разному интерпретируя это - и как достоин­ство, и как недостаток программы). Именно этот раздел контрольно-диагностических тестов можно рассматривать как узел, управляющий последующими самостоятельными учебными действиями учащегося. Безусловно, рекомендациями может пользоваться и учитель для со­ставления программы обучения, но что очень важно для компьютер­ных обучающих материалов, - основа программы дальнейшей работы составляется автоматически по результатам тестирования, доступна пользователю, руководит его действиями.

Раздел «Просмотр работы. Апелляция» дает возможность озна­комиться с результатами работы по каждому заданию. Эту часть кон­трольно-диагностических тестов также можно назвать обучающей, поскольку каждая ошибка снабжена комментарием, а «Апелляция» Позволяет связаться по электронной почте с авторами комплекса. Как показывает опыт, учащиеся не пренебрегают этой возможностью: задают вопросы, опротестовывают оценки, выражают претен­зии и благодарности. За два последних года авторам были присланы десятки писем.

Компьютерное диагностическое тестирование при обучении

РКИ. На основе проанализированной выше модели компьютерного диагностического тестирования, представленной в электронных посо­биях «1С: Репетитор. Тесты по пунктуации», «1С: Репетитор. Тесты по орфографии», на факультете иностранных языков и общеобразователь­ных дисциплин РУДН была разработана система контрольно-диагно­стических тестов по русскому языку как иностранному (РКИ). Необхо­димость ее создания диктовалась тем, что задача внедрения гибкой си­стемы обучения иностранному языку, удовлетворяющей потребности разных контингентов учащихся, всегда была актуальна в условиях под­готовительных факультетов российских вузов, где изучают русский язык студенты разных национальностей, с разным исходным уровнем лингвистической подготовки и способностей и, в силу объективных факторов, в разные сроки осваивающие программу, рассчитанную на десятимесячное обучение. Чтобы такая система работала эффективно, недостаточно иметь учебные материалы, учитывающие все необходи­мые характеристики, - нужны механизмы оперативного выбора инди­видуальных стратегий обучения. Мы предположили, что роль такого механизма могут выполнить диагностические тесты.

Работа коллектива авторов в процессе создания тестов по РКИ по­казала универсальность выбранной модели: внутренняя организация тестовой системы, направленность ее субтестов вполне удовлетворяет целям и задачам обучения иностранному языку, позволяет учесть его специфику. Применение четырехэтапной системы тестирования дает возможность получить корректную диагностику практически всех составляющих языковой компетенции учащегося.

С достаточной долей уверенности можно предположить, что вне­дрение диагностической системы в учебный процесс позволит интен­сифицировать обучение и обеспечит его гибкость, так как в результа­те тестирования выявляются и классифицируются не только ошибки студентов-иностранцев (что уже осуществлялось в практике тестиро­вания в области РКИ), но и их причины (что является принципиаль­но новым). Разрабатывая тесты, авторы в полной мере использовали технические и интеллектуальные возможности редактора «1С: Репе­титор 2.0». Так, с его помощью, на основе прогнозирования, была осу­ществлена детальная классификация ошибок. Это обеспечило кор­ректную проверку практических навыков студентов-иностранцев (из­вестно, как трудно тестировать именно этот уровень владения языком), что, в свою очередь, привело к уточнению диагностических выводов.

Интересно, что на этот раз авторы тестовой системы пошли дру­гим путем: тесты разрабатывались не к уже существующему обучаю­щему мультимедиа комплексу (как это было при разработке тестов по пунктуации и орфографии), а, наоборот, предварили работу по его созданию. Это позволило сделать важный вывод: диагностический тест может стать основой для структурирования материалов элек­тронного обучающего комплекса. Во-первых, в тестовую систему закладывается сумма всех необходимых знаний, умений и навыков, обеспечивающих владение каждой конкретной темой. Во-вторых, при формировании четвёртого субтеста, прогнозируются все тради­ционно встречающиеся случаи смешения языковых явлений, нега­тивные влияния родного языка и языка-посредника, учитываются возможные пробелы в знаниях по смежным лексико-грамматиче-ским темам. Всё это помогает максимально точно определить объем учебного материала и сформировать его в блоки таким образом, что­бы они удовлетворяли всем гипотетически возможным характери­стикам учащегося.