Часть 3. Результаты пробного тестирования школьников с использованием разрабо-танных методик

Часть 1. Опыт разработки методик оценки усвоения школьниками социальных ролей
Часть 2. Разработка тестовых заданий для опросников оценки социальных ролей
Часть 3. Результаты пробного тестирования школьников с использованием разрабо-танных методик

Разработанные методики прошли пробную экспериментальную проверку в ряде школ г. Москвы. В эксперименте приняли участие школы, в которых работами члены ГЭП «Оценка социализации учащихся». В пробном тестировании участвовали учащиеся 7 -  10-ых классов. Результаты тестирования оценивались по интегральным показателям социальной грамотности и психологической готовности к выполнению социальной роли (ролей). В зависимости от количества набранных баллов за ответы результаты по показателю «грамотность» оценивались как высокие, средние и низкие. В качестве примера приведем выдержки из отчетов школ о результатах тестирования по методике оценки семейной социализации.

ГБОУ гимназия №1549

«Данная методика была опробована на уроках обществознания в 8-ых и 10-ых классах гимназии. Кроме тестирования проводилось обсуждение его результатов с учащимися.

Вначале проводилось тестирование. Вопросы предъявлялись учащимся на слух. Затем в режиме взаимопроверки проводилась оценка работ учащимися. После этого прошло обсуждение вопросов теста с целью коррекции знаний учащихся. Общее затраченное время – 45 минут, из которых собственно тестирование заняло менее половины. Результаты тестирования представлены ниже (см. таблицу 1).

Таблица 1. Результаты тестирования учащихся по методике оценки семейной социализации

По результатам тестирования были сделаны следующие выводы:

1)Выявлен высокий и хороший уровни семейной социализации, хотя максимальный результат не был никем из учащихся продемонстрирован.

2)Уровень по первой интегральной характеристике (социальная грамотность) в целом выше, чем по второй (психологическая готовность). В основном это связано с тем, что большинство 8-классников пока, в силу возраста, не вполне готово взять на себя выполнение семейных ролей.

3)Результаты 10-классников заметно выше результатов 8-классников и по грамотности и по готовности.

4)Заметных различий в результатах учащихся разных 8-ых классов не выявлено» [14].

В выводах по результатам тестирования отмечалось, что опросник может быть рекомендован к использованию в 8 -10-х классах

ГБОУ СОШ № 502.

«Тестовые задания были апробированы в декабре 2008 года в ГОУ СОШ № 502. В тестировании приняли участие подростки из 8, 9 и 10 классов, всего 71 человек. Перед проведением самой процедуры тестирования с учащимися были проведены беседы о семье в рамках классных часов.

По результатам тестирования наибольшее количество ошибок учащиеся сделали во втором блоке заданий (знание и понимание последствий, связанных с выполнением или не выполнением каких-то действий). Эти задания базировались в основном на правовой грамотности учащихся в области семейных отношений.

 Основные понятия семейной социализации не вызвали особых затруднений у подростков. Все правильные ответы имеют максимальные значения. Четвертый и пятый блоки заданий относятся к эмоционально-волевой сфере человека и показывают моральные и нравственные установки человека. Количество ошибочных ответов здесь относительно невелико. В большинстве случаев ответы мало зависят от возраста участников.

Результаты тестирования показали, что учащиеся 8-10-х классов неплохо ориентируются в понятиях, связанных с семейными отношениями;

Процесс семейной социализации в сфере усвоения подростками моральных и нравственных установок общества проходит в целом успешно, в то же время, почти половина респондентов затрудняются в выборе моделей поведения. Такие результаты могут отражать как недостаток жизненного опыта, так и определенные проблемы внутри семьи.

Несколько хуже обстоит дело с правовой грамотностью в области семейных отношений. Этот вывод можно смело адресовать школе, как институту социализации для дальнейшего изучения» [25].

ГБОУ СОШ № 236.

В ГОУ СОШ № 236 тестирование по этой же методике проводилось в седьмом и 10-ом классах. В тестировании приняли участие соответственно 25 и 21 чел.. Результаты тестирования представлены в таблице 2.

             Таблица 2. Результаты тестирования по показателям "Грамотность", "Психологическая готовность"

Сравнение полученных результатов тестирования в 7-ом и 10-ом классах показывает, что по показателю социальной грамотности результаты в этих классах оказались сопоставимы: средний уровень результатов у 7-миклассников продемонстрировали 84% учащихся, у 10-классников – 76%. По показателю психологической готовности к выполнению социальной роли ─ у 10-классников в среднем результаты выше. По этому показателю 76% 10-тиклассников выполнили задания на среднем уровне; 7-миклассники - 60%. Характерно, что процент учащихся с низким уровнем результатов у 7-миклассников существенно выше, чем у 10-миклассников (28% против 14% у 10-классников), что, впрочем, можно объяснить тем, что задания этой группы в опроснике сложнее и меньшее число семиклассников с ними справляются.

В отчете по результатам тестирования учащихся говорится:

«Анализируя результаты, полученные в ходе непосредственное апробации методики, можно отметить следующее: обращает на себя внимание, во-первых, практически отсутствие динамики результатов в 10 классе по сравнению с седьмым (даже с учетом того, что методика рекомендована с 8-го класса). Лишь на 1 балл выше средние показатели десятиклассников по шкале «Социальная грамотность» и соответственно по общему показателю, что говорит о незначительном прогрессе в знаниях учащихся по данной категории заданий. Это выражается и в незначительном увеличении процента десятиклассников с высоким уровнем социальной грамотности, при увеличении процента десятиклассников с низким уровнем, и уменьшением – со средним. Средние результаты по показателю психологической готовности  в 7 и 10 классах практически равны. В два раза снижается процент учащихся с низким уровнем, но в основном за счет усреднения показателей десятиклассников».

В отчете ГБОУ СОШ № 1423, где также проводилось тестирование по методике оценки семейной социализации,  делается следующий общий вывод относительно полезности использования такого инструмента: «После проведения работы, - пишет психолог этой школы, - убеждаешься, что разговор на тему семейной жизни даже в форме анкетирования вызывает большой интерес у учащихся 9-11 классов. Это обстоятельство говорит о том, что учащиеся готовы принимать, обсуждать и анализировать подобную информацию. То есть, для старшеклассников наступил период подготовки к семейной жизни. Если школа предоставит такую возможность, то это будет способствовать успешной семейной социализации».

Тестирование с использованием тест-опросника оценки экономической социализации  (роли потребителя) проводилось в 2-х школах ─ школе-гимназии № 1576 и ГБОУ СОШ № 236.

В школе-гимназии № 1576 в тестировании принимали участие учащиеся 9-го класса. Обработка результатов в этой школе велась с учетом разработанной авторами методики и схемы обработки интерпретации результатов тестирования

По результатам обработки и анализа результатов тестирования в МЦКО был представлен отчет. В нем, в частности, говорится:

«На основе анализа результатов тестирования учащихся 9-х классов можно заключить, что средний уровень усвоения знаний и умений из них показали 41%, низкий уровень – 59%. Это указывает на то, что экономическая грамотность школьников в сфере потребительских знаний формируется стихийно. Вероятно, отчасти это объясняется тем, что курс «Основы потребительских знаний» проводится, начиная с 10 класса».

«Картина класса по уровню социализации в зависимости от экономической позиции (индивидуальных предпочтений) характеризуется следующим образом: 47% учащихся класса показали ярко выраженную активную позицию, 12%  ярко выраженную пассивную позицию, 41% можно отнести к промежуточной (не выявленной) позиции. Конформистскую (пассивную) позицию заняли 18%, гармоничную (активную) позицию – 24% учащихся. Конфликтную позицию заняли 35%, а лидерскую позицию не занял никто. Четверо учащихся показали «размытый» результат (24%).

В зависимости от ценностных установок и типа социализированности были получены следующие результаты:

• «расточительный» тип социализации показали 6% учащихся;
• «бережливый» тип – 24%;
• тип «накопителя» – 47%;
• «рациональный» тип – 24%..

В процессе анализа полученных результатов было установлено, что уровень социализации может зависеть от гендерных особенностей школьников (в среднем девушки более социализированы, чем юноши. Это подтверждается анализом средних показателей: средний балл среди юношей 17,8, среди девушек – 19,9 (см. диаграмму)» ([14]).

В отчете ГБОУ СОШ № 236, где также проводился данный тест, говорится о том, что задания теста рассчитаны на «довольно высокий уровень экономической грамотности». Это содержание должно осваиваться в в ходе изучения курса Обществознания в средней школе. При этом в 9-ом классе на изучение темы «Потребительская культура» отводится всего 1 час. В ходе изучения курса Обществознания в 10-11 классах экономике отводится больше времени, однако «учебное время уделяется, в основном, теоретическим вопросам, а не практическим, знание которых может пригодиться учащимся в реальной жизни и при ответе на вопросы предложенного теста». С этим мнением можно и согласиться, и нет. Справедливо, что школьники в экономической области социализируются в основном стихийно и пожинают плоды такого «просвещении» на собственных ошибках. Однако вряд ли можно согласиться с тем, что данный тест (или подобный ему) следует проводить только там, где есть специальный курс. Отрицательные результаты тестирования имеют, в том числе, и положительный смысл, так как позволяют учащимся задуматься над ошибками, которые они допустили, отвечая на вопросы теста, а не дожидаться, когда подобные ошибки появятся у школьников (а затем и за пределами школьной жизни) в реальных жизни (реальных социальных ситуациях) и будут иметь для них негативные  последствия.

В отчете ГБОУ СОШ № 236, где также проводился данный тест, говорится о том, что задания теста рассчитаны на «довольно высокий уровень экономической грамотности». Это содержание должно осваиваться в в ходе изучения курса Обществознания в средней школе. При этом в 9-ом классе на изучение темы «Потребительская культура» отводится всего 1 час. В ходе изучения курса Обществознания в 10-11 классах экономике отводится больше времени, однако «учебное время уделяется, в основном, теоретическим вопросам, а не практическим, знание которых может пригодиться учащимся в реальной жизни и при ответе на вопросы предложенного теста». С этим мнением можно и согласиться, и нет. Справедливо, что школьники в экономической области социализируются в основном стихийно и пожинают плоды такого «просвещении» на собственных ошибках. Однако вряд ли можно согласиться с тем, что данный тест (или подобный ему) следует проводить только там, где есть специальный курс. Отрицательные результаты тестирования имеют, в том числе, и положительный смысл, так как позволяют учащимся задуматься над ошибками, которые они допустили, отвечая на вопросы теста, а не дожидаться, когда подобные ошибки появятся у школьников (а затем и за пределами школьной жизни) в реальных жизни (реальных социальных ситуациях) и будут иметь для них негативные  последствия.

В качестве резюме к сказанному выше, отметим, что в проводимых нами пробных исследованиях  с использованием разработанных методик  было выявлено, что школьники часто не могут указать правильного ответа в заданиях, которые требуют знания социальных норм и образцов (моделей) поведения. При этом учителя и сами учащиеся ссылаются на то, что «они этого не проходили» (так буквально и говорится в одном из отчетов).  Но, видимо, есть и другие причины. Так, в тест-опроснике оценки роли пассажира городского транспорта были предусмотрены задания, в которых нужно было продемонстрировать знание норм и правил поведения в городском транспорте. Это традиционные правила, о соблюдении которых ежедневно напоминают в городском транспорте. Однако, и в этом случае многие школьники затруднялись с определением правильного ответа.

Такие же «пробелы в знаниях» наблюдались и в других исследованиях. Так,  например, в исследовании Л.И. Антоновой и Н.А Цветковой проводилось изучение семейных традиций и ритуалов в представлениях старших школьников о семье. Было выявлено, что многие школьники достаточно плохо ориентируются в том, что касается семейных ролей. При этом в представлениях старшеклассников доминируют архаичные нормы и представления о семье, давно утратившие свое значение в современном мире [2]. Одной из причин такого положения следует считать тот факт, что социализация школьников происходит, в основном, стихийно и школой не контролируется.

В заключении отметим, что сами по себе разработанные методики, о которых шла речь в этой статье, не решают, конечно, задач оценки социальных ролей школьников в полном объеме. Во-первых, таких методик требуется гораздо больше (см.[]), а, во-вторых, разработанные методики необходимо анализировать, корректировать и дополнять с учетом результатов тестирования школьников и замечаний, поступивших от школ. Собственно, проведенное пробное тестирование с использованием этих методик и было, в сущности, направлено на проверку и оценку самих методик, а не на получение данных об уровне усвоения социальных ролей и социализированности школьников. Полученные в этих исследованиях результаты позволяют судить как о достоинствах разработанных методик, так и их недостатках. Все это является материалом для внесения необходимых изменений в эти методики. Однако, полагаем, это не самый важный результат этих исследований и разработок. Главным, на наш взгляд, является полученный и отрефлектированный опыт, связанный с разработкой методик.

Когда начиналась эта работа, то выяснилось, что опыта по разработке методик оценки социальных ролей в настоящее время в нашей стране не существует. Кроме того, никто из участников группы, которой было поручено разработать методики, не был профессиональным тестологом и не имел до этого практического опыта по созданию средств оценки. Поэтому приходилось действовать шаг за шагом методом проб и ошибок. В результате этой работы были получены не только три методики. Другим, не менее важным, результатом мы считаем опыт, полученный в процессе этих разработок, включая описание этапов и процедур, необходимых для создания методик оценки социальных ролей.  Полагаем и надеемся, что этот опыт будет полезно использован при создании других методик оценки социальных ролей.

Литература

1. Аванесов В.С. Композиция тестовых заданий. М.: Адепт, 1998.
2. Антонова Л.И., Цветкова Н.А., Роль семейных традиций и ритуалов в представлениях старших школьников о семье//Современные гуманитарные исследования, № 1, 2006.
3. Боголюбов Л.И. Компетентностный подход к отбору содержания образования. На примере формирования компетенции избирателя. – ж. «Стандарты и мониторинг в образовании», 2004, № 2, с. 19 – 21.
4. Гущин Ю.Ф.  Проблемы организации мониторинга образования. //Педагогический мониторинг (проблемы, поиски, решения). Тезисы докладов научно-практической конференции. – М.: МИПКРО, 2000.
5. Гущин Ю.Ф. Концептуальные основания оценки социализации учащихся. Сборник методических материалов. Качество образовательного процесса в образовательном учреждении: проектирование, анализ. – Московский центр качества образования, 2012, с.40 – 67.
6. Гущин Ю.Ф., Татур А.О. Анализ объекта социализации учащихся. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010.
7. Гущин Ю.Ф., Татур А.О. Психологические особенности тестовой формы контроля результатов обучения. «Новые технологии в обучении и контроле знаний учащихся». Материалы научно-практической конференции – М.: Интеллект-Центр, 1999.
8. Гущин Ю.Ф.Ковалева Г.С., Логинова О.Б., Татур А.О., Челышкова М.Б. Российский опыт построения  и актуальные проблемы развития образовательного тестирования. //Российский и зарубежный опыт построения систем образовательного тестирования. Материалы к семинару. – М.: «Образование от А до Я», 2000.
9. Демидова И.И. Опыт разработки методики социализации школьников в социально-бытовой сфере. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010.
10. Добрович А.Б. Воспитателю о психологии и психогигиене общения - М.: Просвещение, 1987, с. 77-78.
11. Закон «Об Образовании» - М.: Инфра-М, 2000, zakonrf.info › zakon-ob-obrazovanii
12. Концепция социализации и индивидуализации в современной психологии. Сб. под ред. Т.Д. Марцинковской. – М.: Обнинск: ИГ-СОЦИН, 2010.
13. 13.Кулагина И.Ю., Колюцкий В.Н. Возрастная психология: Полный жизненный цикл развития человека. Уч. пособие для студентов ВУЗов. - Москва.: ТЦ Сфера, 2009
14. Макаров В.В., Митрофанова М.М., Харджиева С.В. Методика оценки экономической грамотности школьников. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010. 
15. Мудрик А.В. Социализация человека. М.:, 2004, 2006
16. Мудрик А.В. Социальная педагогика. М.: «Академия», 2000.
17. Основы психодиагностики. Учебное пособие. – М:. Ростов-на-Дону: «Феникс», 1996.
18. Практикум по возрастной психологии: Учеб. пособие/Под ред.Л.А Головей, Е.Ф. Рыбалко. – СПб:. Речь, 2002.
19. Примерная основная образовательная программа образовательного учреждения. Начальная школа / сост. Е. С. Савинов. — М.: Просвещение, 2010 — (Стандарты второго поколения).
20. Примерная основная образовательная программа образовательного учреждения. Основная школа / сост. Е. С. Савинов. — М.: Просвещение, 2011 — (Стандарты второго поколения).
21. Психология самосознания. Хрестоматия. – Самара, 2000.
22. Сатир В. Как строить себя и свою семью М., 1992, с.11.
23. Семейный кодекс РФ – underlaw.ru > zakon/codex/skrf/
24. Требования к результатам освоения основной образовательной программы. основного общего образования. – www.standart.edu. ru.
25. Трубачева И.Б. Методика оценки семейной социализации. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010.
26. Федеральный государственный образовательный стандарт основного общего образования. Утвержден приказом Министерства образования и науки Российской Федерации от «17»  декабря  2010 г. № 1897, с. 4 – 7. – www.standart.edu.
27. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М:. Логос, 2002.

Литература

1. Аванесов В.С. Композиция тестовых заданий. М.: Адепт, 1998.
2. Антонова Л.И., Цветкова Н.А., Роль семейных традиций и ритуалов в представлениях старших школьников о семье//Современные гуманитарные исследования, № 1, 2006.
3. Боголюбов Л.И. Компетентностный подход к отбору содержания образования. На примере формирования компетенции избирателя. – ж. «Стандарты и мониторинг в образовании», 2004, № 2, с. 19 – 21.
4. Гущин Ю.Ф.  Проблемы организации мониторинга образования. //Педагогический мониторинг (проблемы, поиски, решения). Тезисы докладов научно-практической конференции. – М.: МИПКРО, 2000.
5. Гущин Ю.Ф. Концептуальные основания оценки социализации учащихся. Сборник методических материалов. Качество образовательного процесса в образовательном учреждении: проектирование, анализ. – Московский центр качества образования, 2012, с.40 – 67.
6. Гущин Ю.Ф., Татур А.О. Анализ объекта социализации учащихся. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010.
7. Гущин Ю.Ф., Татур А.О. Психологические особенности тестовой формы контроля результатов обучения. «Новые технологии в обучении и контроле знаний учащихся». Материалы научно-практической конференции – М.: Интеллект-Центр, 1999.
8. Гущин Ю.Ф.Ковалева Г.С., Логинова О.Б., Татур А.О., Челышкова М.Б. Российский опыт построения  и актуальные проблемы развития образовательного тестирования. //Российский и зарубежный опыт построения систем образовательного тестирования. Материалы к семинару. – М.: «Образование от А до Я», 2000.
9. Демидова И.И. Опыт разработки методики социализации школьников в социально-бытовой сфере. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010.
10. Добрович А.Б. Воспитателю о психологии и психогигиене общения - М.: Просвещение, 1987, с. 77-78.
11. Закон «Об Образовании» - М.: Инфра-М, 2000, zakonrf.info › zakon-ob-obrazovanii
12. Концепция социализации и индивидуализации в современной психологии. Сб. под ред. Т.Д. Марцинковской. – М.: Обнинск: ИГ-СОЦИН, 2010.
13. 13.Кулагина И.Ю., Колюцкий В.Н. Возрастная психология: Полный жизненный цикл развития человека. Уч. пособие для студентов ВУЗов. - Москва.: ТЦ Сфера, 2009
14. Макаров В.В., Митрофанова М.М., Харджиева С.В. Методика оценки экономической грамотности школьников. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010. 
15. Мудрик А.В. Социализация человека. М.:, 2004, 2006
16. Мудрик А.В. Социальная педагогика. М.: «Академия», 2000.
17. Основы психодиагностики. Учебное пособие. – М:. Ростов-на-Дону: «Феникс», 1996.
18. Практикум по возрастной психологии: Учеб. пособие/Под ред.Л.А Головей, Е.Ф. Рыбалко. – СПб:. Речь, 2002.
19. Примерная основная образовательная программа образовательного учреждения. Начальная школа / сост. Е. С. Савинов. — М.: Просвещение, 2010 — (Стандарты второго поколения).
20. Примерная основная образовательная программа образовательного учреждения. Основная школа / сост. Е. С. Савинов. — М.: Просвещение, 2011 — (Стандарты второго поколения).
21. Психология самосознания. Хрестоматия. – Самара, 2000.
22. Сатир В. Как строить себя и свою семью М., 1992, с.11.
23. Семейный кодекс РФ – underlaw.ru > zakon/codex/skrf/
24. Требования к результатам освоения основной образовательной программы. основного общего образования. – www.standart.edu. ru.
25. Трубачева И.Б. Методика оценки семейной социализации. Сборник методических материалов по оценке качества образовательного процесса в общеобразовательном учреждении, часть 1. – МЦКО, 2010.
26. Федеральный государственный образовательный стандарт основного общего образования. Утвержден приказом Министерства образования и науки Российской Федерации от «17»  декабря  2010 г. № 1897, с. 4 – 7. – www.standart.edu.
27. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М:. Логос, 2002.