Психологические факторы использования тестов оценки результатов обучения

Ю.Ф. Гущин

1. Факторы, определяющие понимание тестовых заданий

Тестовые задания можно рассматривать как разновидность сообщений или текстов, адресованных учащимся с определенной целью. Цель этих сообщений состоит в том, чтобы проверить и оценить их знания по соответствующим разделам учебного материала. Но вначале эти сообщения должны быть правильно (адекватно) поняты учащимся. Если этого нет, то трудно ожидать, что цели оценки будут реализованы и достигнуты.

Подход к тестовым заданиям как информационному сообщению, которое вначале должно быть воспринято и понято учащимся, а затем на него должна последовать ответная реакция соответствует информационному подходу к рассмотрению общения. По модели общения, как деятельности по обмену информацией, в его структуре различают следующие составляющие: источник информации, сообщение, передающие каналы и тот или те, кто эту информацию принимает (индивид, группа индивидов, аудитория слушателей). По этой модели эффективность общения зависит от характеристик этих составляющих. Так, например, источник информации оценивается в этом случае по шкале «доверие – недоверие», а сообщение – по шкале «понимание-непонимание». Доверие или недоверие к источнику информации зависит в основном от того, воспринимают ли те, кому предназначена информация, как «своего» или «чужого».

Этот фактор имеет незначительное влияние в ситуациях обучения и проверки знаний. Более того, психологи считают, что в ситуациях проверки знаний наиболее благоприятным является нейтральное отношение к источнику информации (что, собственно, и реализуется в полной мере при использовании тестов и тестирования). Хотя, заметим, и этот фактор нельзя недоучитывать. Неизвестный в данном случае источник информации (авторами тестов является, как правило, группа или коллектив специалистов) не означает то же самое, что «нейтральный». Неизвестность часто ассоциируется учащимися с тревожным фактором и угрозой. Неизвестность и неизвестное многих страшит, а поэтому для снижения отрицательного влияния этого фактора следует, видимо, сообщать учащимся, кто является автором тестов – учитель-предметник, или группа учителей-предметников данной школы, или опытные специалисты специального центра по разработке тестов. Имеет смысл сообщать также, что данные тесты были уже опробованы в других классах  или школах и в них заложено только то содержание, которое уже освоено школьниками. При этом целесообразно конкретизировать те темы и разделы, по которым проводится проверка знаний.

Более значимыми для контроля с помощью тестов являются характеристики сообщения. В тестах функция сообщений представлена в формулировках (утверждениях, вопросах и/или текстах) тестовых заданий. Сообщения, как уже отмечалось выше, оцениваются по шкале понимания-непонимания. С этой точки зрения понимание может быть полным, неполным, частично или значительно затрудненным, искаженным и т.д. Эти характеристики зависят от того, какие барьеры возникают у учащихся на пути понимания сообщений. Известный советский историк и психолог Б.Ф. Поршнев предложил следующую классификацию этих барьеров: он выделяет фонетический, семантический, стилистический и логический факторы (уровни), определяющие понимание-непонимание[1]. Рассмотрим, что означают эти уровни применительно к тестам и тестированию.

Фонетический уровень. Обусловленное этим фактором влияние на понимание возникает в ситуации, когда затруднения возникают на фонетическом уровне. Наиболее типичным является случай, когда непонятен сам язык сообщения. Неполное понимание или искаженное понимание может возникать, когда говорят быстро, невнятно, с акцентом или когда используются незнакомые или несоответствующие контексту слова, затрудняющие правильное понимание текста в целом. С учетом сказанного трудно предположить, что формулировка какого-то задания окажется непонятной на фонетическом уровне. Поэтому и примеры такого рода формулировок практически невозможно воспроизвести. Исключение представляют задания на языке, не известном тестируемому. Такое может быть в тестах по иностранному языку. Однако в этом случае это не недостаток теста или отдельных формулировок, а показатель неподготовленности по данному предмету самого учащегося.

Семантический уровень. Такое непонимание возникает, например, в связи с многозначностью слов языка. Некоторые слова многозначны по смыслу и их понимание зависит часто от контекста и его понимания. «Смысловые поля» слов у разных людей различны. Поэтому одни и те же слова могут пониматься по разному. Непонимание на стилистическом уровне может возникать и при использовании текста, в котором используются специальные научные термины или профессиональный жаргон. В этом случае специалистам такой тест будет совершенно понятен, а неспециалистам (к числу которых можно отнести и учащихся) – нет.

В данном примере используются такие понятия, как «экстраверт» – общительный  человек, «непотизм»   –   покровительство   родственникам,   «феспианка»   –   поклонница драматического искусства, целибат – безбрачие.  В этом случае наблюдается перегруженность текста терминами и выражениями, которые, вероятно, могут быть известны и понятны только специалистам в данной узкой области. Все это конечно, существенно затрудняет понимание данного текста. 

В данном примере используются такие понятия, как «экстраверт» – общительный  человек, «непотизм»   –   покровительство   родственникам,   «феспианка»   –   поклонница драматического искусства, целибат – безбрачие.  В этом случае наблюдается перегруженность текста терминами и выражениями, которые, вероятно, могут быть известны и понятны только специалистам в данной узкой области. Все это конечно, существенно затрудняет понимание данного текста. 

В [1] приводятся результаты исследования, проводившегося со студентами первого курса в г. Новокузнецке. Им предложили дать определения словам, входящим в обычную газетную лексику: бундесвер, экскалация, левые силы, вояж и др. Всего в эксперименте участвовало 112 человек; было получено 1120 ответов. Результаты эксперимента таковы: правильными оказались 7% ответов, неточными – 39%,  неправильными 54%. Из 112 человек не знали значения слова «вояж» – 57 человек, «координация» – 66, «либерал» – 65; не смогли правильно объяснить, что такое «курс акций» – 94 человека, 54 – не дали определения понятию «левые силы»[2].

В ЕГЭ  в заданиях категории «С» (с развернутым ответом) часто используются оригинальные тексты из научных, научно-популярных, газетных и др. типа публикаций. Поэтому в них могут встречаться термины и слова, непонятные тестируемым, что может приводить к непониманию или искаженному пониманию всего текста. В результате это скажется на качестве выполнения задания.

Стилистический уровень. Непонимание в этом случае возникает из-за несовпадения содержания и формы сообщения: нарушаются синтаксические нормы письменной речи.

Пример. Специалиста, окончившего вуз, просят написать «Резюме», которое содержало бы его профессиональную историю, а он в ответ излагает свою автобиографию.

Несовпадение стиля и содержания может встречаться в заданиях «С», когда выпускника просят написать сочинение-рассуждение, эссе или отзыв, а он демонстрирует непонимание стилевых особенностей и пишет в ответ текст, в котором отсутствуют признаки рассуждения, или отзыв, в котором отсутствуют оценки и/или обоснования.

К непониманию может приводить, кроме того,  стилевое переусложнение текста.

Логический уровень непонимания. В этом случае непонимание может быть связано или с нарушением логических норм и правил построения текста или с неприятием учащимися  логики коммуникатора (источника информации). При этом следует учитывать, что существуют разные логики и разные люди не в одинаковой степени владеют этими логиками. Уже в самом по себе разнообразии логик заложены основания для непонимания. Логика может восприниматься как «своя» и чужая». «Чужая логика – «неправильная», как могут считать некоторые люди, и, следовательно, к ней следует относиться недоверчиво или пренебрежительно. Если мы отказываем логике сообщения в правильности, то на нас не произведут никакого впечатления разнообразные «следовательно», «исходя из ..», «мы можем заключить..», «потому что ..» и т. п., так как это может рассматриваться как подделка под логику и ей поэтому выражается недоверие [1]. В таких случаях сообщение натыкается на логический барьер непонимания.

Возможны ли логические барьеры в педагогических тестах? Вероятно да, поскольку логические нормы (правила) построения тестов и/или отдельных предложений (утверждений) известны далеко не всем составителям тестовых заданий и не все умеют ими пользоваться.

Логические барьеры, затрудняющие понимание, иногда встречаются в тексте инструкций к заданиям с развернутым ответом. Первое, что требуется от учащегося при выполнении заданий группы «С», это – правильно понять, что нужно делать. Если инструкция или формулировка задания недостаточно четки и определенны, то это может повлечь за собой непонимание и как следствие - ошибки при выполнении задания. Если инструкция адресована учителю или лицам, ответственным за проведение тестирования, то неверное ее прочтение также в конечном счете отразится на качестве деятельности учащихся.

Пример 4. «Желательно, чтобы в сочинении в той или иной форме

• были отражены основные мысли автора:  в условиях «многолюдства» особенно важно поддерживать выработанные человечеством этические нормы, быть воспитанным человеком – вежливым и внимательным при любых обстоятельствах по отношению ко всем окружающим, не только знакомым, но и посторонним, чужим людям;
• отмечены разнообразные языковые средства и стилистические приёмы, характерные для данного текста: парцелляция, неожиданные сочетания слов и сравнения, придающие фразам ироническое и саркастическое звучание, пародируется  динамичный стиль репортажа и т.п.». (один из вариантов инструкции к заданиям «С» демо-версии 2003 г.). Здесь есть, на наш взгляд, почва для неоднозначной трактовки текста инструкции. В частности, четко не говорится о том, что означает в данном случае «желательно» и «в той или иной форме …»? Можно по разному понимать и трактовать эти требования. Если возможны разные трактовки (в том числе экспертов, проверяющих задания), то  это будет влиять на результат и оценку.

Пример 5. «Если одаренность понимать как высокий темп антропологического роста и высокий уровень обучаемости (последнее соответствует идеям Л.С. Выготского), и если предположить, что в ходе обучения даже в обычных школах дети могут сталкиваться с ситуациями, способствующими развитию у них вышеназванных способностей, например, когда педагоги более или менее целенаправленно демонстрируют свое собственное понимание или рефлексию, (а также развитие способностей могло идти через книги, через взаимодействие с другими взрослыми и т.д.), то, если старшеклассник это «взял», то есть взял образцы - соответствующие способы рефлексии и понимания, особенно взял достаточно сложные культурные образцы, он может считаться одаренным (по крайней мере в данной сфере своих проявлений)[3]».

Пример 4. «Желательно, чтобы в сочинении в той или иной форме

• были отражены основные мысли автора:  в условиях «многолюдства» особенно важно поддерживать выработанные человечеством этические нормы, быть воспитанным человеком – вежливым и внимательным при любых обстоятельствах по отношению ко всем окружающим, не только знакомым, но и посторонним, чужим людям;
• отмечены разнообразные языковые средства и стилистические приёмы, характерные для данного текста: парцелляция, неожиданные сочетания слов и сравнения, придающие фразам ироническое и саркастическое звучание, пародируется  динамичный стиль репортажа и т.п.». (один из вариантов инструкции к заданиям «С» демо-версии 2003 г.). Здесь есть, на наш взгляд, почва для неоднозначной трактовки текста инструкции. В частности, четко не говорится о том, что означает в данном случае «желательно» и «в той или иной форме …»? Можно по разному понимать и трактовать эти требования. Если возможны разные трактовки (в том числе экспертов, проверяющих задания), то  это будет влиять на результат и оценку.

Пример 5. «Если одаренность понимать как высокий темп антропологического роста и высокий уровень обучаемости (последнее соответствует идеям Л.С. Выготского), и если предположить, что в ходе обучения даже в обычных школах дети могут сталкиваться с ситуациями, способствующими развитию у них вышеназванных способностей, например, когда педагоги более или менее целенаправленно демонстрируют свое собственное понимание или рефлексию, (а также развитие способностей могло идти через книги, через взаимодействие с другими взрослыми и т.д.), то, если старшеклассник это «взял», то есть взял образцы - соответствующие способы рефлексии и понимания, особенно взял достаточно сложные культурные образцы, он может считаться одаренным (по крайней мере в данной сфере своих проявлений)[3]».

В данном случае причиной непонимания (или затрудненного понимания) является смысловая перегруженность текста, т.е. когда разные смысловые единицы объединены в одном предложении и представляют собой «поток сознания».

2. Учет психологики тестируемых.

При проведении тестировании нередки случаи, когда учащиеся пытаются угадать правильный ответ. Это происходит в том случае, когда учащиеся не готовы к контролю, а тест содержит «закрытые» задания (с несколькими вариантами ответа, один из которых правильный). В этой ситуации предлагаемые варианты как бы провоцируют угадать правильный ответ. При этом, как правило, угадывание происходит не «вслепую», а опирается на определенную логику. По сути говоря, учащийся пытается использовать какие-то рациональные и иррациональные признаки и стратегии поведения, которые позволяют определить правильный вариант ответа.

Психологики необходимо учитывать при разработке и отборе заданий для теста. Приведем некоторые типичные психологики.[4].

1) Выбирай «золотую середину. В соответствии с этой логикой учащийся полает, что автор задания всегда располагает правильный ответ между двумя неправильными. Поэтому целесообразно ставить правильный ответ так, чтобы он не совпадал с этой логикой. Например:

При условии экономического развития Эфиопии естественный прирост населения в ней

а) повысится

б) понизится

в) останется без изменений.

Клубни картофеля образуются на концах

а) боковых корней

б) придаточных корней

в) подземных побегов.

2) Выбирай более развернутый и аргументированный ответ, учитывающий частные случаи.

Маргиналами называются

а) социальные группы, занимающие промежуточное положение между устойчивыми общностями

б) люди, опустившиеся на социальное «дно»

В этом примере вариант ответа а) соответствует  логике «выбирай более развернутый ответ» и может быть выбран независимо от фактических знаний учащегося по предмету. Поэтому целесообразно ложный ответ делать более развернутым. Например:

Что такое автократия?

а) самодержавие

б) рабовладельческая республика , в которой глава государства избирается из числа видных рабовладельцев-аристократов

3) Выбирай более наукообразный ответ. Для маскировки правильного ответа можно ложный  вариант сформулировать так, чтобы он казался наукообразным. Примеры: 

3.1. Как называется деталь самолета, с помощью которого обеспечивается подъемная сила?

а) крыло

б) фюзеляж.

4) Выбирай ответ, который напоминает что-то знакомое». Например:

3.2. Как А.С. Пушкин охарактеризовал восстание Е. Пугачева?

а) «дубина народной войны»

б) «бунт, бессмысленный и беспощадный»

4) Отсекай варианты, которые заведомо не могут быть правильными.

Пример: «И религиозному, и научному знанию о мире свойственно то, что они:

а) носят объективный характер

б) предполагают доказательства

в) могут передаваться из поколения в поколение

г) необходимы человеку для рациональной деятельности»

В этом случае достаточно очевидно, что варианты ответа а) и б) соответствуют только научному знанию и поэтому не могут быть правильными, а вариант г) противоречит обыденному понятию о религии и религиозном.

6) Выбирай ответ, который соответствует общим ожиданиям.

Ожидания, конечно, могут быть разными, однако существуют стереотипы, в соответствии с которыми «нормальная логика» подсказывает, что должно быть правильным, а что ложным.

Пример:

«В какую страну экспортировал Советский Союз стратегическое сырье для сталелитейной промышленности (никель, молибден) накануне вторжения гитлеровской Германии в 1941 году?

а) в Великобританию

б) в США

в) в Германию»

Здравый смысл подсказывает, что это не должна быть Германия. В этом случае, для того чтобы выбрать правильный вариант ответа, нужно знать историю.