Вы здесь

Опыт разработки теста оценки критического мышления школьников

Ю.Ф. Гущин, И.И. Ильясов

О недостатках в образовании, связанных с развитием критического мышления и рефлексии учащихся и выпускников школы, в разное время писалось и говорилось достаточно много. Можно сослаться, в этой связи, на результаты ряда исследований в этой области (см. [9], [11], [12], [19], [21], [26], [29], [32], [33]). Приведем несколько примеров.

Психологи ф-та психологии МГУ провели исследование по оценке развития рефлексии у студентов-первокурсников (недавних выпускников школы). Выяснилось, «что, если учащиеся сталкиваются с задачами, выходящими за рамки усвоенных конкретных предписаний и образцов научно-исследовательской и научно-практической работы, они действуют не в соответствии с логическими нормами, а руководствуются способами познавательной деятельности, складывающихся стихийно, на основе обобщенных представлений и принципов, присущих обыденному сознанию» ([8], с. 114 - 115). Как следствие, «..учащиеся не могут отличить в содержании изучаемых дисциплин эмпирического описания объекта от его теории, изучаемых данной наукой явлений и установленных фактов от теоретических конструктов», «часто ориентируются в своем мышлении на слова, а не на содержание усваиваемых знаний и не могут отрефлектировать полученное ими понятийное содержание независимо от того термина, в котором оно было зафиксировано», «большинство учащихся не способны отличить познавательные действия по установлению значений терминов от действий, направленных на получение новых знаний об изучаемых объектах ([1], с. 117). В итоге, исследователи пришли к следующему выводу: «сколько-нибудь развитая рефлексия в их отличительных характеристиках и системе у первокурсников отсутствует» ([2], с. 90 - 91).

Примерно к таким же выводам приходит другой автор. «Исследуя практическую деятельность учителей русского языка, литературы, МХК общеобразовательных учреждений разного типа г. Тулы, мы выявили следующее:

1) образовательный процесс ориентирован, главным образом, на формирование репродуктивных характеристик мышления, на уроках редко создаются проблемные ситуации, практически не применяются интерактивные технологии (диалоговые, игровые, задачные, проблемные);

2) учебный материал преподносится как сумма фактов, не подвергающаяся впоследствии критической оценке, поощряется воспроизведение учащимися общепринятых, порой банальных подходов к трактовке философских, научных и нравственных проблем, литературных героев;

3) около 80% учителей не подготовлены к развитию критического мышления учащихся, у школьников не стимулируются мотивы и потребность овладения умениями критически мыслить» [теор основы…]. И, похоже, с годами ситуация в этом вопросе существенно не меняется.

В то же время многие авторы обращают внимание на острую потребность в обществе рефлексии и критического мышления (см. [10], [11], [12], [32], [36], [47], [50], [52]). В публикации, посвященной развитию критического мышления у учащихся психолог Е.А. Мухина пишет: «современная ситуация развития нашего общества свидетельствует о том, что многие его проблемы связаны с недостаточной критичностью мышления человека, делающего его неспособным давать собственную оценку явлений и событий вне давления, которое оказывают на него коллективные стереотипы и установки, насаждаемые в настоящее время прежде всего через систему медийного влияния. В связи с вышеизложенным в настоящее время в психолого-педагогической науке существует повышенный интерес к проблеме формирования критичности мышления личности» ([32]). Другой автор, описывая преимущества обучения школьников критическому мышлению, пишет: В публикации И. Загашева «Учим детей мыслить критически!» отмечается, что «Школьник, умеющий критически мыслить, владеет разнообразными способами интерпретации и оценки информационного сообщения, cпособен выделять в тексте противоречия и типы присутствующих в нем структур, аргументировать свою точку зрения, опираясь не только на логику (что уже немаловажно), но и на представления собеседника. Такой ученик чувствует уверенность в работе с различными типами информации, может эффективно использовать самые разнообразные ресурсы. На уровне ценностей, критически мыслящий учащийся умеет эффективно взаимодействовать с информационными пространствами, принципиально принимая многополярность окружающего мира, возможность сосуществования разнообразных точек зрения в рамках общечеловеческих ценностей» ([12]).

Интерес к проблеме формирования критического мышления учащихся обусловлен, прежде всего, тем, что существующие требования к интеллектуальной подготовке учащихся во многом не совпадают с тем, что является востребованным в обществе в настоящее время.

Определенные ожидания, позволяющие надеяться на то, что ситуация в этом вопросе будет постепенно меняться, связаны сегодня с Федеральным государственным образовательным стандартом второго поколения [54]. Одна из главных его особенностей состоит в том, что новый Стандарт ориентируется на развитие учащихся, причем, развитие рассматривается как совокупный результат деятельности по трем направлениям деятельности школы: обучение, воспитание, социализация. В документах, конкретизирующих требования Стандарта, говорится, что «В ходе изучения средствами всех предметов у выпускников будут заложены основы формально-логического мышления, рефлексии ([37], [38]). Для этого должны быть разработаны обобщённые классы учебно-познавательных и учебно-практических задач, в том числе, «учебно-практические и учебно-познавательные задачи, направленные на формирование и оценку навыков рефлексии..» [38].

Реализация требований ФГОС и программ обучения, воспитания и социализации предполагает создание системы оценки достижений школьников. Об этом также говорится в ФГОС и Примерной основной программе ОУ (далее – Программа). В то же время анализ показывает, что средств оценки результатов, которые прописаны в Программе, в настоящее время, практически, отсутствуют. Это относится, в том числе, к средствам оценки формально-логического мышления, рефлексии и других планируемых результатов интеллектуальной подготовки и развития учащихся.

Эту проблему пытаются решать в настоящее время различные организации и отдельные группы исследователей и разработчиков. Такую попытку сделали и мы – авторы этой статьи, разработав тест оценки критического мышления школьников.

Первоначально запрос на разработку теста оценки критического мышления (далее - тест КМ) возник в контексте выполнения исследовательской программы «Оценка социализации учащихся». В Московском центре качества образования (МЦКО) была организована секция ГЭП «Оценка социализации учащихся». Ее задача состояла в том, чтобы отобрать, а при необходимости разработать средства, позволяющие проводить оценку социализации в школе. В процессе анализа понятия и представлений о социализации выяснилось, что одним из базовых показателей оценки социализации является рефлексия.1 При этом оказалось, что средств оценки рефлексии, которые можно было бы использовать в школе в пакете с другими средствами оценки социализации, просто не существует. Поэтому была предпринята попытка разработать такой инструмент, которая в итоге и привела к созданию теста оценки КМ.

В процессе работы над тестом было осознано, что его компетенция и возможности могут быть шире, чем оценка рефлексии в контексте оценки социализации учащихся. Для этого в нем должны быть предусмотрены задания, позволяющие оценивать в том числе, логические и другие виды умений. Оптимальным вариантом при создании такого инструмента является, на наш взгляд, оценка критического мышления.

Критическое мышление – это «мышление оценочное, рефлексивное, аргументированное и логичное,.. мышление, которое базируется на личном опыте и проверенных фактах» ([11]). Рефлексия, таким образом, лежит в основе критического мышления. Критическое мышление не будет таковым, если в нем отсутствует рефлексивный компонент. В то же время известно, что рефлексию невозможно сформировать на достаточно высоком уровне, если учащийся не умеет рассуждать, аргументировать, делать выводы, строить доказательства, оценивать тексты, доводы и аргументы свои и других людей. Поэтому, даже если бы речь шла исключительно об оценке рефлексии, то все равно нужно было бы знать, на каком уровне учащимся усвоены традиционные для школы виды мышления, без учета которых невозможно, на наш взгляд, получить представление об уровне развития рефлексии. Таким образом, оценивая критическое мышление, мы имеем возможность получить представление не только о способности учащихся к рефлексии, но и о том, существует ли необходимая база для развития рефлексии.

Содержание и структура теста

Предлагаемый тест КМ разработан в двух вариантах - для оценки критического мышления школьников 7-х и 9-х классов. Он содержит задания, позволяющие оценивать как отдельные группы умений, так и способность учащихся рефлексивно оценивать тексты, находить ответы и обосновывать их. Тест для 7-миклассников включает 12 заданий; для 9-тиклассников – 15 заданий.

В тесте для 7-миклассников оцениваются следующие группы умений:

  1. умение находить недостающую информацию;

  2. умение делать и оценивать логичные умозаключения;

  3. умение оценивать последовательности умозаключений;

  4. умение анализировать и оценивать содержание текста;

  5. умение находить главную информацию на фоне избыточной.

 

Тест для 9-тиклассников включает шесть групп умений:

  1. умение делать логические умозаключения и обосновывать свой ответ;

  2. умение оценивать последовательности умозаключений;

  3. умение анализировать и делать заключение о причинах явлений;

  4. умение анализировать и оценивать содержание текстов;

  5. умение обнаруживать ошибки, связанные с неопределенностью и двусмысленностью выражений и терминов;

  6. умение обнаруживать релевантную (существенную в данном случае) информацию на фоне избыточной.

В заданиях предусмотрены два вида результатов, которые оцениваются по разному. Во-первых, это ответы на вопросы, сформулированные в заданиях. Ответы в этом случае дают представление о сформированности/несформированности соответствующих видов (категорий) умений. Кроме этого учащимся требуется обосновать свой ответ. За правильный ответ на вопрос начисляется 1 балл; за правильное (совпадающее с ключем) обоснование – 2 балла.

Другим показателем по данному тесту является уровень выполнения заданий теста. На данном, предварительном этапе оценки теста была введена следующая шкала оценки результатов тестирования. Были выделены три уровня результатов: высокий, средний и низкий. Высокий уровень соответствует 80 и более процентам от максимально возможного результата по тесту. Учитываются правильные ответы плюс правильное (совпадающее с ключем) обоснование. Низкий уровень соответствует 30% и меньше от максимально возможного результата по тесту. Средний уровень соответствует от 30 до 80% от максимального результата.

 

Результаты тестирования школьников с использованием теста оценки критического мышления

 

В пробном тестировании с использованием теста КМ приняли участие школьники ГБОУ СОШ № 236 (42 чел.), ГБОУ СОШ № 650 (60 чел.) чел.), ГБОУ СОШ № 1279 (24 чел.), ГОУ ЦО 1423 (19 чел.), ГБОУ СОШ № 1636 (42 чел.)2.

В ГБОУ СОШ № 236 тестирование в проводилось в двух гимназических классах: 7-ом и 9-ом. Результаты тестирования 7-миклассников показывают, что у большинства учащихся умения КМ сформированы на среднем уровне (82% учащихся). Низкий уровень у 9% учащихся и еще у 9% ─ высокий.

Результаты выполнения 7-миклассниками заданий теста и средние баллы по видам умений представлены в таблице 1.

 

Таблица 1. Результаты выполнения 7-миклассниками заданий теста КМ

 

 

 

заданий в тесте

Сумма баллов

№1

№6

№ 2

№ 3

№ 4

№ 5

№ 7

№ 8

№ 9

№ 10

№ 11

№12

 

Max

балл

1 б.

2 б.

3б.

3 б.

3 б.

3 б.

3 б.

3 б.

3 б.

3 б.

3 б.

2 б.

32

 

 

0,3

1,4

2,48

0,52

1,48

1,9

1,3

1,65

0

2,65

1,56

1,9

 

Средние

по классу

=1,7 б.

(42,5% от макс. рез-та)

= 6,52 б.

(54% от max)

43% от max

= 5,52 б.

(46% от max)

95% от max

16,94

53% от max

 

Результаты тестирования позволяют получить представление как об индивидуальных показателях выполнения залданий теста каждым учащимся, так и о средних показателях, характеризующих класс в целом. Как видим (см. табл. 1), лучше всего 7-миклассники СОШ № 236 справились с заданием № 12, в котором нужно было определить главную информацию на фоне избыточной, а хуже всего – с заданиями, проверяющими умение анализировать и оценивать содержание текста. Задания, направленные на оценку умений делать и оценивать логичные умозаключения и оценивать содержание текста в той или иной степени были выполнены всеми учащимися. В то же время, по этим категориям нет учащихся, набравших максимальный балл или не ответивших правильно ни на один вопрос.

Представление об индивидуальном уровне развития критического мышления школьника может быть получено при сравнении его индивидуальных результатов с нормативными, полученными на большой выборке. Но пока таких данных нет. Поэтому мы сравнивали индивидуальные результаты школьника в максимально возможными по тесту и со средними для класса. Ниже наглядно представлены индивидуальные результаты выполнения заданий теста учащимися для двух видов умений – умения находить недостающую информацию и умения делать и оценивать логические умозаключения.

При тестировании 7-миклассников СОШ № 1279 были получены следующие результаты:

Общий суммарный балл за выполнение всех заданий теста составляет в данном случае18,5 балла, что соответствует 57,8% от максимально возможного результата (32 балла) по тесту.

На высоком уровне выполнили задания 8,33% учащихся класса, и на низком также - 8,33% учащихся. Большинство учащихся и в этом случае показали средний результат – 83,3% выполнили задания на среднем уровне. Результаты тестирования, соответствующие отдельным видам умений, представлены в таблице 2.

Таблица 2. Результаты тестирования 7-миклассников ГБОУ СОШ № 1279

Виды умений

Умение находить недостающую информацию

Умение делать и оценивать логические умозаключения

Умение оценивать последовательности умозаключений

Умение оценивать сод. Текста(находить ошибки в тексте)

Умение находить главную информацию

Общий суммарный балл по классу в целом

Ср. результаты по видам умений

1,25 б.

41%

6,3 б.

52,5%

2 б.

66,6%

7 б.

58,3%

1,75 б.

87,5%

18,5 б.

57,8%

Макс. балл по видам умений и по тесту в целом

3 балла

12 баллов

3 балла

12 баллов

2 балла

32

 

Самым легким для учащихся, как и в предыдущем случае, оказалось задание № 12 («умение находить главную информацию на фоне избыточной»). С этим задание справилось максимальное число учащихся класса (79%). Средний балл по этому заданию – 1,75 балла (87,5% от максим. результата). Самыми трудными оказались задания 1 и 6 (умение находить недостающую информацию). Средний показатель для этой группы умений составил 1,25 балла. (41% от максимально возможного). Другие группы заданий можно отнести к категории «средней трудности».

Для сравнения приведем средние показатели выполнения заданий теста для двух школ – ГБОУ СОШ № 236 и ГБОУ СОШ № 1279 (см. таблицу 3).

Таблица 3. Сравнение результатов 7-миклассников двух школ

Виды умений

Умение находить недостающую информацию

Умение делать и оценивать логические умозаключения

Умение оценивать последовательности умозаключений

Умение анализировать содержание теста т

Умение главную информацию на фоне избыточной

Суммарный результат по тесту

Макс. балл

3 балла

12 баллов

3 балла

12 баллов

2 балла

32

ГБОУ СОШ № 236

1,7 б.

(56,7 % от макс. рез-та)

6,52 б.

(54% от max)

1,3

(43% от max)

5,52 б.

(46% от max)

1,9 б.

(95% от max)

16,94 б.

(53% от макс.)

ГБОУ СОШ № 1279

1,25 б.

(41, 7%)

6,3 б.

(52,5%)

2 б.

(66,6%)

7 б.

(58,3%)

1,75 б.

(87,5%)

18,5 б.

(57,8%)

 

Таким образом, сравнение результатов тестирования двух классов – гимназического и не гимназического показывает, что средние суммарные результаты в них примерно одинаковы. В процентном отношении число учащихся с высоким, средним и низким уровнем выполнения заданий в обеих школах примерно совпадает. Некоторые различия наблюдаются при сравнении результатов выполнения отдельных заданий теста, относящихся к разным видам умений (см. табл. 3). Так, например, 7-миклассники СОШ № 236 в целом хуже справились с заданием № 7 («умение оценивать последовательности умозаключений») и группой заданий, относящихся к умению анализировать содержание текста (находить ошибки в тексте). Напротив, результаты за выполнение заданий, связанных с оценкой умения находить недостающую информацию, у 7-миклассников СОШ № 236 выше, чем у 7-миклассников СОШ 1279. Эти различия, впрочем, нельзя рассматривать как показатель сформированности или несформированности умений КМ в этих школах. Эти различия могут быть связаны с самыми разными причинами, в том числе, с тем, что сам тест, и задания в нем, во многом, являются непривычными для школьников, или они оказались недостаточно мотивированы, или неравными в этих школах были условия проведения тестирования и т.д. Для установления реальных причин, повлиявших на результаты, нужно проводить специальные исследования с привлечением большего количества учащихся и классов.

Обратимся теперь к результатам тестирования девятиклассников.

В ГБОУ СОШ № 236 в тестировании участвовали учащиеся 9-ого гимназического класса (19 чел.). По результатам обработки результатов тестирования оказалось, что 95% учащихся справились с тестом на среднем уровне, а еще 5% показали низкий результат. Никто из учащихся класса не выполнил задания теста на высоком уровне, т.е. на уровне получения правильных ответов в заданиях 80% и более. Суммарный результат (в баллах) для всей группы тестируемых составляет 25,4 балла, что соответствует 55% от максимально возможного результата по тесту. Другими словами, средний результат по классу при сравнении его с максимально возможным (46 баллов) немного выше половины потенциально возможного по данному тесту.

В СОШ № 1279 в тестировании участвовали 19 учащихся. По результатам обработки теста все 19 учащихся класса выполнили задания на среднем уровне. Индивидуальные результаты в суммарном выражении распределились в диапазоне от 16 до 28 баллов за тест (см. табл.4). Средний суммарный показатель для класса в целом – 23,78 балла (51,7% от максимального результата по тесту). Таким образом, по этим показателям результаты двух классов различаются незначительно.

Суммарные результаты тестирования, соответствующие отдельным видам проверяемых умений, представлены в таблице 4.

Таблица 4. Обобщенные результаты тестирования 9-тиклассников СОШ № 236 и СОШ №1279

Виды умений

ЛУ

ПУ

ПЯ

ОСТ

НВ

РИ

Суммарный балл по видам умений

ГБОУ СОШ

236

4,12

(41,2%)

6,38

(58%)

3,12

(44,6%)

6,62

(55%)

0%

0,95

95%

ГБОУ СОШ № 1279

3,61

(36,1% от макс.)

10,7

(97%)

1,9

(27% )

6,52

(55,2%)

0,1

(2%)

0,95

(95%)

Максимальный балл

10 баллов

11 баллов

7 баллов

12 баллов

5 баллов

1 балл

Виды проверяемых умений КМ – 9 класс:

ЛУ: Умение делать логические умозаключения и обосновывать свой ответ (задания 2-4);

ПУ: Умение оценивать последовательности умозаключений (задания 5-6);

ПЯ: Умение анализировать и делать заключение о причинах явлений (задания 1, 7, 8);

ОСТ: Умение анализировать и оценивать содержание текстов (обнаруживать ошибки в тексте – задания 9-12);

НВ: Умение обнаруживать ошибки, связанные с неопределенностью и двусмысленностью выражений и терминов (задания 13, 14);

РИ: Умение обнаруживать релевантную (существенную) информацию на фоне избыточной (задание 15).

Данные, представленные в этой таблице, показывают, какие виды заданий (и связанные с ними умения КМ) являются в среднем более легкими или трудными для учащихся. Самым легким для учащихся стало задание, связанное с обнаружением главной (существенной) информации на фоне избыточной. С этим заданием одинаково легко справились 9-тиклассники в обоих школах. Это задание без каких-либо изменений было включено как тест для 9-тиклассников, так и в тест для 7-миклассников. И в обоих случаях результат был идентичен. Для 7-миклассников это задание также оказалось достаточно простым. Это результат, поэтому, характеризует скорее содержания данного задания, а не умения, связанного с ним.

К категории самых трудных для учащихся, судя по результатам обработки протоколов тестирования, нужно отнести умение обнаруживать ошибки, связанные с неопределенностью и двусмысленностью выражений и терминов (задания № 13 и 14). В 9-ом классе СОШ № 236 с этими заданиями не справился ни один учащийся. В СОШ № 1279 всего один учащийся дал правильный ответ в одном из заданий, относящихся к этой группе умений. В связи с этим возникает вопрос: действительно ли эти задания так сильно выделяются по своей сложности в тесте? Для ответа на этой вопрос воспроизведем здесь эти задания.

Задание 13. «В полемике против сенатора от штата Флорида К. Пеппера, его противник заявил: «…все ФБР и каждый член конгресса знают, что Клод Пеппер бесстыдный экстраверт. Более того, есть основания считать, что он практикует непотизм по отношению к свояченице, сестра его была феспианкой в греховном Нью-Йорке. Наконец, и этому трудно поверить, хорошо известно, что до женитьбы Пеппер практиковал целибат». В результате этого К. Пеппер потерпел поражение на очередных выборах».

Вопрос: «Что, на ваш взгляд, сыграло решающую роль в поражении сенатора?»

Как следует из пояснений к этому заданию в тексте для обработки и интерпретации результатов тестирования решающую роль в поражении сенатора Пеппера сыграло то, что его противник намеренно использовал неизвестные для аудитории термины для характеристики своего противника. Поэтому, эти термины в контексте его выступления прозвучали как отрицательные характеристики К. Пейпера. Такая форма относится к уловкам мышления и люди, в том числе учащиеся, должны научиться их распознавать. В этом смысле для правильного ответа в этом задании учащимся вовсе не нужно было знать значение используемых в нем терминов.

В отчете по результатам тестирования, полученном от одной из школ, по поводу данного задания говорится следующее: «Учащиеся незнакомы с указанными в тексте вопроса понятиями, возможно необходимо включить в вопрос объяснение понятий». Из этих пояснений становится понятным, что учащиеся просто не поняли смысл задания.

 

Задание 14. Судья Верховного суда США Бреннан решил внести ясность в вопрос, какие наказания считать жестокими и бесчеловечными. Как известно, во многих странах налагается запрет на такие наказания, которые являются жестокими и бесчеловечными. Судья Бреннан предложил следующий вариант: «Наказание является жестоким и бесчеловечным... если оно несовместимо с человеческим достоинством».

Согласны вы с вариантом наказания, предложенным судьей Бреннаном?

Обоснование

Это задание направлено на оценку умения обнаруживать ошибки, связанные с неопределенностью и двусмысленностью выражений и терминов. В тексте задания неопределенности присутствуют, поскольку «сообщение неопределенно, если в нем недостает деталей, указывающих на то, какой смысл в него вкладывается». Поэтому в ответе на вопрос нужно было написать, что никакой ясности в вопрос о жестокости и бесчеловечности наказаний судья Бреннан не вносит, поскольку «Определить, какие меры несовместимы с человеческим достоинством, не легче, чем решить, являются ли они жестокими и бесчеловечными». Такое пояснение дается в «Ключе» для проверки обоснования.

Для выявления относительного «веса» и сложности разных видов ответа в заданиях было решено проанализировать соотношение правильных ответов и их обоснование. Напомним, что за правильный ответ в задании начислялся 1 балл, за правильное обоснование - 2 балла. Результаты изучения соотношения ответов и обоснований в заданиях представлены в таблице 5 (см. табл. 5).

Таблица 5. Распределение положительных ответов на вопросы заданий и обоснование ответов3

№ заданий

1

2

3

4

5

Вид ответа в заданиях

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Средний рез. в баллах и в % от max

0,42 б.

(21%)

0,26 б.

(13%)

0,94 б.

(95%)

0,63 б.

(32%)

0,21 б.

(21%)

0 б.

(0%)

0,73 б.

(73%)

0,5 б.

(25%)

1 б.

(100%)

0,37

18%

1 б.

100%)

0, 2 6 .

13%

1 б.

100%

0,31

16%

52,5% /17,5%

100% / 15,7%

Кол-во ответов и обоснований

8

5

18

12

4

0

14

10

19

14

19

10

19

12

Соотношение ответа на вопр. и обоснование

8/5

(62%)

 

18/12

(66,6%)

4/0

(0%)

 

14/10

(71%)

57/18

(31,5%)

44/27 (61,3%)

 

 

Продолжение таблицы 5.

заданий

9

10

11

12

14

Вид ответа в заданиях

 

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Ответ

Обосн.

Средний рез. в баллах и в % от max

0,42 б.

42%

0, 7 б.

36,8%)

0,21 б.

(21%)

0,21 б.

(10,5%)

0,89

(89%)

0,84

(42%)

0,79

(79%)

0,74

36,8%)

0%

0%

57,75%/ 31,52%

 

Кол-во ответов и обоснований

8

7

4

4

17

16

15

14

0

0

Соотношение ответов на вопр и обоснование

8/7

87,5%

4/4

100%

17/16

94%

15/14

93%

 

44/41 (93%)

 

 

Как видим, распределение ответов и обоснований в заданиях существенно различается как в количественном, так и в качественном отношении. В заданиях № 2 – 4 (логические умозаключения) результаты, относящиеся к обоснованию, с среднем в 2 – 3 раза меньше, чем ответы на вопрос в заданиях. Полагаем, что это связано с тем, что обоснование воспринимается учащимися как более трудное задание, чем поиск ответа на вопрос. В задании № 5 («умение оценивать последовательности умозаключений») отношение числа ответов к числу обоснований составляет 57/18, т.е. ответов на вопрос более чем в три раза больше, чем обоснований. При оценке по набранным баллам это соотношение в процентах 100 к 15, т.е. результат, характеризующий превышение ответов над обоснованиями, еще выше.

Напротив, в заданиях № 9, 10, 11, 12, связанных с оценкой умения анализировать и оценивать содержание текстов (обнаруживать ошибки в тексте), отношение «ответ-обоснование в количественном выражении составляет 44/41 (93%), т.е. число учащихся, давших правильный ответ на вопрос и число обоснований примерно равно. Однако по набранным баллам результат, связанный с обоснованием, все же меньше, чем ответы на вопрос (в среднем по группе - 57,75% - ответы на вопрос в заданиях и 31,5% - обоснование ответов). По нашей предварительной оценке эти задания не должны восприниматься 9-тиклассниками как трудные (как в части поиска ответов на вопрос, так и в части обоснования). В общем, этот прогноз подтвердился, хотя, как выясняется, при обосновании ответов у учащихся здесь были трудности. Для иллюстрации приведем пример одного такого задания:

Задание 9. Прочти текст и определи, есть ли в нем предложение, не связанное с основной темой, не относящееся к ней. Обоснуй свой ответ.

«Воет вьюга. Холодно. Лед. Во льду промоина. В промоине рыба ходит. Забрался мишка в промоину, шумит, лапищами воду толчет. Это он так рыбу ловит. Оглушит медведь рыбину, зацепит ее когтями и отправит в рот. Вкусно».

Правильный ответ: «Воет вьюга».

Обоснование: «В тексте говорится о том, как белый медведь ловит рыбу в промоине. А то, что при этом воет вьюга не относится к основной теме».

Типичные ошибочные ответы в этом задании. Ряд учащихся ответили, что предложение, не связанное в основной темой, - «Вкусно». Один из них дает следующее обоснование своего ответа: «Описывается зима, мороз, а это (т.е. «вкусно») лишнее». Другой, также считающий, что правильный ответ: «Вкусно», в строке «обоснование» пишет: «Не знаю».

Таковы, в целом, результаты пробного тестирования школьников с использованием теста оценки критического мышления.

Анализ результатов тестирования и выводы

Прежде всего подчеркнем, что тестирование в данном случае непосредственно не было связано с оценкой критического мышления школьников или оценкой уровня сформированности умений критического мышления. В исследовании ставились преимущественно методические задачи. Нам важно было выяснить, как будет восприниматься тест учащимися: какие задания окажутся для них легкими, а какие трудными, как они отнесутся к требованию дать не только ответ на вопрос, но еще и обосновать свой ответ и т.д. Другими словами, к результатам, интересующим нас, относится оценка самого теста и сопроводительных материалов к нему. Но для этого необходимо обратиться к результатам тестирования.

Результаты тестирования показывают, что большинство учащихся, принимавших участие в тестировании, справились с заданиями теста на среднем уровне В 7-ом гимназическом классе СОШ № 236 таких оказалось 82% учащихся, в СОШ № 1279 – 83,3% учащихся класса. То есть результаты оказались примерно одинаковыми. В двух 9-ых классах индивидуальные результаты тестирования оказались примерно на том же уровне, причем, оказалось, что все 9-тиклассники СОШ № 1279. в итоге, выполнили задания на среднем уровне. Здесь нет ни тех, кто выполнил задания на высоком уровне, ни тех, кто выполнил их на низком.

С одной стороны, этот результат указывает на то, что оба варианта теста в целом соответствуют уровню интеллектуального развития учащихся. Но, с другой, тот факт, что большинство учащихся показали результат на среднем уровне свидетельствует о том, что была разработана слишком грубая (мало дифференцированная) шкала оценки индивидуальных результатов. Напомним, что в исследовании применялась шкала, в соответствии с которой, если учащийся набирает 80% и более от максимально возможного результата по тесту, его результат оценивается как высокий. Если он набирает 30% и меньше, это оценивается как низкий результат. Средний уровень соответствует результатам от 30 до 80%. В числовом выражении (в баллах) для 7-миклассников в этот диапазон попадают те, кто в сумме набрал от 12 да 26 баллов (из 32 потенциально возможных по тесту), а для 9-тиклассников – от 15 до 36 баллов (из 46). Показанный учащимися результат свидетельствует о том, что принятую шкалу оценок необходимо менять, сделав ее более дифференцированной.

Одна из задач, которые ставились на стадии разработки теста, состояла в том, чтобы подобрать тестовые задания, соответствующие уровню развития школьников. Но, с другой стороны, важно было создать тест, который позволял бы, по возможности, объективно оценивать уровень сформированности умений КМ. Для этого нужно было использовать в тесте задания разного уровня сложности. Однако, правильно оценить сложность заданий на стадии разработки теста достаточно трудно. Гораздо проще эта задача решается на основе фактических данных о результатах выполнения заданий учащимися.

Обработка и анализ результатов тестирования подтверждает первоначальную гипотезу о том, что включенные с тест задания различаются по уровню сложности. Для выявления уровня сложности тестовых заданий результаты тестирования анализировались по трем направлениям: по результатам ответов на вопросы задания, по тому, как учащиеся отвечали на требование обосновать свой ответ и по показателям выполнения заданий в целом. В качестве показателей использовались: общее число правильных и неправильных ответов на вопросы в заданиях, общее число правильных обоснований, соотношение числа ответов и обоснований и средние результаты в баллах, полученные за выполнение задания.

Разброс по числу правильных ответов на вопрос в заданиях оказался значительным: от 21% правильных ответов в классе до 100% (см. табл. 5). Существенные различия по сложности обнаружились, в том числе, в части обоснований: одни обоснования воспринимались учащимися как более легкие (группа заданий, связанных с оценкой умения анализировать тексты и находить в них ошибки), другие как более трудные (задания, в которых нужно обосновывать логические умозаключения или обнаруживать ошибки, связанные с неопределенностью и двусмысленностью выражений и терминов). Следует при этом заметить, что окончательные выводы о простоте и сложности заданий могут быть сделаны только при наличии большого количества статистических данных, подтверждающих или опровергающих эти предварительные выводы.

Изначально предполагалось, что обоснование является более сложным действием, чем поиск ответа на вопрос. Обработка и анализ результатов тестирования подтвердили это предположение. Но важно было выяснить, кроме того, насколько ответы и обоснования различаются в количественном и качественном отношении (см. табл. 5). При подсчете числа правильных ответов и обоснований оказалось, что в разных заданиях соотношение ответ/обоснование различаются иногда существенно: от четырех ответов и нуля обоснований в задании № 3 до практически равного соотношения (4 к 4-м в задании № 10 или 16 к 17 в задании № 11). В этом случае следует учитывать еще и тот факт, что результаты по числу ответов и обоснований не совпадают с результатами по средним показателям в баллах и в процентном отношении к максимально возможному результату по тесту. Так, например, равенство числа ответов и обоснований в задании № 10 (4 правильных ответа, 4 правильных обоснования, т.е. высокий уровень совпадения - 100%), очевидно, не означает, что тот, и другой ответ восприняты учащимися как легкие. Напротив, тот факт, что получено всего 4 правильных ответа и 4 обоснования (21% от общего числа ответов в этом задании) указывает на то, что это задание нельзя считать легким. Это подтверждается, в том числе, и тем, что средний результат выполнения задания составляет всего 0,21 балла от максимально возможного. В задании № 11, где при высоком уровне совпадений ответов и обоснований (94%) получен достаточно высокий уровень выполнения задания в целом (на вопрос в задании 89% учащихся дали правильный ответ, правильное обоснование – 84%). При этом, однако, по другому показателю – по числу набранных баллов даже в относительно легких заданиях обоснование воспринимается как более сложное задание, чем поиск ответа на вопрос. Возможно, что проблема здесь в том, что решать различного рода задачи учащихся учат и они умеют это делать, а в части обоснования достаточного опыта у них нет.

Самым легким для учащихся как 7-го, так и 9-го классов оказалось задание № 12. Оно относится к умению находить главную информацию на фоне избыточной. Здесь результат на уровне 100% (см. табл. 1, 3, 4). Для наглядности, воспроизведем это задание.

Задача о водителе автобуса и пассажирах

«Предположим, ты являешься водителем автобуса. На первой остановке к вам в автобус вошли 6 мужчин и 2 женщины. На второй остановке 2 мужчин вышли из автобуса и 1 женщина вошла. На третьей остановке вышел 1 мужчина, а вошли 2 женщины. На четвертой — вошли 3 мужчин, а 3 женщины вышли из автобуса. На пятой остановке 2 мужчин вышли, 3 мужчин вошли, 1 женщина вышла и 2 женщины вошли.

Вопрос: Как зовут водителя автобуса?»

Избыточная в этом задании информация (перечисление того, сколько пассажиров вошло и вышло из автобуса на остановках) не помешала большинству учащихся найти правильный ответ. Из этого, однако, не следует, что к категории легких следует отнести умение находить релевантную информацию. Легким, полагаем, было задание, поэтому в новой версии теста его следует заменить другим – того же типа, но более сложным.

Самыми трудными для 9-тиклассников оказались задания № 13 и № 14. Они относятся к оценке умения обнаруживать ошибки, связанные с неопределенностью и двусмысленностью выражений и терминов. Результат в этих заданиях практически нулевой. Но, как уже отмечалось выше, этот результат скорее следовало бы отнести к разряду курьезов, поскольку, как выяснилось, учащиеся не поняли в этом случае смысла задания. Впрочем, способность и неспособность определять смысл задания можно рассматривать как одно из умений КМ. И в этом случае полученный результат указывает на отсутствие умения распознавать уловки мышления и правильно реагировать на них.

Выявленные и проанализированные в этом исследовании недостатки служат материалом и основанием для разработки новых версий теста.

 

Литература

  1. Бахарева С. Развитие критического мышления через чтение и письмо. Учеб.-метод. пособие. Новосибирск: изд-во Новосиб. ин-та пов. квалификации и переподгот. работников образования, 2003.

  2. Бахарева С. Развитие критического мышления через чтение и письмо. Учеб.-метод. пособие. Новосибирск: Новосиб. ин-т пов. квалификации и переподгот. работников образования. 2005. Вып.2. 94 c.

  3. Богатенкова Н. В., Муштавинская И.В. Технология развития критического мышления на уроках истории и краеведения. СПб: СПб. гос. ун-т пед. мастерства, 2001. 79 с.

  4. Поль Р. У. Критическое мышление: Что необходимо каждому для выживания в быстро меняющемся мире. М.: 1990.

  5. Брюшинкин В.Н. Критическое мышление и аргументация//Критическое мышление, логика, аргументация/Под ред. В.Н.Брюшинкина, В.И.Маркина. Калининград: Изд-во Калинингр. гос. ун-та, 2003. С.29-34.

  6. Бустром Р. Развитие творческого и критического мышления. М.: Изд-во Ин-та «Открытое общество», 2000.

  7. Бутенко А.В., Ходос Е.А. Критическое мышление: метод, теория, практика. Учеб.-метод. пособие. М.: Мирос, 2002.

  8. Великанова А.В. и др. Технология развития критического мышления через чтение и письмо. Дебаты. Портфолио. Самара: Профи, 2002.

  9. Волков Е.Н. Критическое мышление: принципы и признаки. 2004. // http://evolkov.iatp.ru/critical_think/ Volkov_E_Critical_think_principles_introduction.html

  10. Загашев И.О. Как решить любую проблему. СПб.: Прайм-Еврознак, 2001.

  11. Загашев И.О., Заир-Бек С.И. Критическое мышление: технология развития. СПб.: Альянс «Дельта», 2003.

  12. Загашев И.О., Заир-Бек С.И., Муштавинская И.В. Учим детей мыслить критически. СПб.: Альянс «Дельта», 2003.

  13. Заир-Бек С.И. Критическое мышление, 2003 - http://altai.fio.ru.

  14. Заир-Бек С.И. Развитие критического мышления через чтение и письмо: стадии и методические приемы//Директор школы. 2005. № 4. C.66-72.

  15. Заир-Бек С.И., Муштавинская И.В. Развитие критического мышления на уроке. Пособ. для учителя. М.: Просвещение, 2004.

  16. Зинченко В.П. Осторожно – дети! –ж. «Стандарты и мониторинг в образовании»Ю № 3, 2001, с.7 – 12.

  17. Иванова Е. Формируя критическое мышление//Школьная библиотека. 2000. N 3. C.21-23.

  18. Ильясов И. И. Критическое мышление: организация процесса обучения//Директор школы. 1995. N 2. C.50-55.

  19. Ильясов И.И., Можаровский И.Л. Рефлексия как условие формирования научно нормативных способов познавательной деятельности. Проблемы рефлексии. Современные комплексные исследования. – Новосибирск: наука, 1987, с. 113 – 122.

  20. Клустер Д. Что такое критическое мышление?//Критическое мышление и новые виды грамотности. М.: ЦГЛ, 2005. С.5-13.

  21. Конева В.С. Формирование критичности как условие овладения младшими школьниками творческой деятельностью//Младший школьник: формирование и развитие его личности. СПб., 2002. C.59-68.

  22. Коржуев А.В., Попков В.А., Рязанова Е.Л. Как формировать критическое мышление?//Высшее образование в России. 2001. N 5. C.55-58.

  23. Котенко В.В., Шаров Д.А. Методика развития критического мышления школьников в процессе обучения базовому курсу информатики//Математика и информатика. Наука и образование. Омск, 2001. Вып.1. C.235-241.

  24. Критическое мышление, логика, аргументация/Ред. В.Н.Брюшинкин, В.И.Маркин. Калининград: Изд-во Калинингр. гос. ун-та, 2003. 173 с.

  25. Линдсей, Г., Халл К.С., Томпсон Р.Ф. Творческое и критическое мышление//Хрестоматия по общей психологии, 1981.

  26. Мальская О.Е., Сидельникова А.А. Особенности осознания студентами учебной деятельности. Проблемы рефлексии. Современные комплексные исследования. – Новосибирск: наука, 1987, с. 84 – 92.

  27. Матвеева Т.М. Формирование критического мышления у современного школьника//Ученик в обновляющейся школе. М., 2002. C.83-89.

  28. Мокраусов И.В. и др. Технология развития критического мышления через чтение и письмо. Самара: Профи, 2002. Самара: Профи, 2003.

  29. Муштавинская И.В. Технология развития критического мышления: научно-методическое осмысление//Методист. 2002. N 2. C.30-35.

  30. Муштавинская И.В., Иваньшина Е.В. Критическое мышление на уроках естествознания//Естествознание в школе. М., 2004. №3. C.34-39.

  31. Муштавинская И.В., Иваньшина Е.В. Уроки естествознания: опыт использования образовательной технологии «Развитие критического мышления» в курсе естествознания 5 кл. Метод. пособие. СПб: СПб. гос. ун-т пед. мастерства, 2003. 66 c.

  32. Мухина Е.А. Развитие критического мышления у учащихся. - www.lib.ua-ru.net/diss/cont

  33. Носырева С.Г., Рефлексия как механизм формирования критического мышления: история становления и реализации -

  34. Основы критического мышления: междисциплинарная программа/Сост. Дж.Стил, К.Меридит, Ч.Темпл и С.Уолтер. Пос. 1-8. М., 1997-1999.

  35. Петров Ю.Н. О технологии развития критического мышления учащихся (на уроках химии)//Химия в школе. 2002. N 10. C.31-34.

  36. Поль Р. У. Критическое мышление: Что необходимо каждому для выживания в быстро меняющемся мире. 1990.

  37. Примерная основная образовательная программа образовательного учреждения. Начальная школа / [сост. Е. С. Савинов]. — М.: Просвещение, 2010 — (Стандарты второго поколения).

  38. Примерная основная образовательная программа образовательного учреждения. Основная школа / [сост. Е. С. Савинов]. — М.: Просвещение, 2011 — (Стандарты второго поколения).

  39. Прямикова Е.В. Формирование критического мышления учащихся в процессе преподавания общественных наук//Проблемы междисциплинарных исследований в гуманитарных науках/Отв. ред. В.П.Зиновьев. Томск: Изд-во Томск. ун-та, 2004. C.122-134

  40. Русских Г.А. Технология развития критического мышления//Биология в школе. 2004. №2. C.28-33.

  41. Сорина Г.В. Критическое мышление: история и современный статус//Вестник Московского университета. Серия 7. Философия. № 6. 2003. С. 97-110.

  42. Стил, Дж.Л., Мередит К.С., Темпл, Ч., Уолтер С. Основы критического мышления. Пос.1. М.: Изд-во Ин-та «Открытое общество», 1997.

  43. Столбникова Е.А. Медиаобразование: проблема воспитания критического мышления//Проблемы научной и учебно-методической работы в вузе/Ред.Р.М.Чумичева. Волгодонск: Волгодонск. Полиграфобъединение, 2001. С.150-155.

  44. Столбникова Е.А. Развитие критического мышления студентов педагогического вуза в процессе медиаобразования (на материале рекламы). Таганрог: Изд-во Кучма,2006. 160 с.

  45. Столбунова С.В. Развитие критического мышления. Апробация технологии. 2003 / http://rus.1september.ru/article.php?ID=200302802
    Суворова Н.Г. Использование приемов критического мышления на уроках по курсу «Основы правовых знаний»//Теоретические и методические основы преподавания права в школе. М., 2002. C.467-476.

  46. Темпл Ч., Мередит К., Стил Дж. Как учатся дети: свод основ. М.: Изд-во Ин-та «Открытое общество»,1997.

  47. Темпл, Ч. Критическое мышление и критическая грамотность//Перемена. 2005. № 2. С.15-20.

  48. Темпл, Ч., Стил Дж., Мередит К.С. Критическое мышление - углубленная методика. Ин-т «Открытое общество», 1998.

  49. Технология развития критического мышления в вузе: перспективы для школьного образования XXI века. ( Материалы конференции). Н.Новгород: Арабеск, 2001.

  50. Фелтон М.К. Подходы к аргументации при обучении критическому мышлению//Перемена. 2005. № 4. С.6-13.

  51. Фостер К.К. Вводные вопросы для активизации критического мышления//Перемена. 2004. № 4. С.38-43.

  52. Халперн Д. Психология критического мышления. СПб.: Питер, 2000. 503 с.

  53. Щербо И.Н. Развитие критического мышления и формирование ответственности учащихся за свой уровень образования на уроках истории//Образование в современной школе. 2000. N 11-12. C. 36-39.

  54. Федеральный государственный образовательный стандарт основного общего образования.
    Утвержден приказом Министерства образования и науки Российской Федерации от «17» декабря 2010 г. № 1897, с. 4 – 7. – www.standart.edu.

 

1 «Действие всех механизмов социализации в большей или меньшей мере опосредуется рефлексией - внутренним диалогом, в котором человек рассматривает и принимает или отвергает ценности, свойственные обществу, семье и т.д. Т.е. человек формируется и изменяется в результате осознания и переживания им той реальности, в которой он живёт, своего места в ней и самого себя»

2 Результаты тестирования представлены ниже выборочно.

3 В таблице 5 представлены только те задания, в которых предусмотрено два вида ответа: 1) ответ на вопрос и 2) обоснование ответа.

Добавить комментарий

Plain text

  • Разрешённые HTML-теги: <a> <em> <strong> <cite> <blockquote> <code> <ul> <ol> <li> <dl> <dt> <dd>
CAPTCHA
Этот вопрос задается для того, чтобы выяснить, являетесь ли Вы человеком или представляете из себя автоматическую спам-рассылку.