Психология и методология образования
  • Главная
  • Часть 2. Разработка тестовых заданий для опросников оценки социальных ролей

Часть 2. Разработка тестовых заданий для опросников оценки социальных ролей

Часть 1. Опыт разработки методик оценки усвоения школьниками социальных ролей
Часть 2. Разработка тестовых заданий для опросников оценки социальных ролей
Часть 3. Результаты пробного тестирования школьников с использованием разрабо-танных методик

После того, как определено содержание, его структура и выделены группы (категории)  тестовых заданий, можно приступить к разработке тестовых заданий. Тестовые задания – это особый инструмент, предназначенный для выявления и оценивания отдельных составляющих содержания оценки. Поэтому первое и наиболее важное требование, которое предъявляется к оценочным заданиям, это требование содержательной валидности. Формулировка задания  должна соответствовать его назначению, т.е. выявлять  именно то, что требуется с точки зрения целей, задач и роли данного задания в тест-опроснике. Кроме этого, к формулировкам предъявляются и другие требования: логические, психологические, лингвистические и др. (см. [1], [17], [23]).

В тестовой форме контроля используются задания разного типа: открытые, закрытые, на установление соответствия, на установление правильной последовательности и др. ([1], [17]). Каждый из них имеет как свои достоинства, так и недостатки. В наших исследованиях использовались, основном, задания закрытого типа. Конструкция такого задания содержит вопрос или утверждение и ряд вариантов ответа (обычно два или четыре). Из них отвечающему нужно выбрать один вариант ответа, который он считает правильным. Результат устанавливается путем сравнения нормы-образца с ответом, который выбрал учащийся.

В соответствии с заданием на разработку методик для каждой категории заданий нужно было разработать не менее 5-6 заданий.  Они должны были располагаться в опроснике по порядку – по одному из каждой группы (категории). Например, задание под № 1 – из группы «правила, нормы и образцы поведения», задание под № 2 – из группы «ценности», под № 3 – из группы умения и т.д. Если  имеется пять групп и в каждой по 5 заданий, то под № 6 в опроснике будет стоять второе задание из первой группы, под № 7 – задание № 2 из второй группы и т.д.

Кроме словесной формулировки задания в форме вопроса или утверждения в заданиях закрытого типа разрабатываются варианты ответов. Один из предлагаемых вариантов – это правильный ответ. Он соответствует эталонному образцу. Другие ответы (дистракторы) не должны быть случайными. В соответствии с требованиями к дистракторам они должны указывать на типичные ошибки, социальные предпочтения, ценностные и социальные ориентации тестируемого. В этом их суть и назначение. Кроме перечисленного необходимо учитывать психологику отвечающего, т.е. те уловки, к которым прибегают отвечающие для того, чтобы угадать правильный ответ (см. [17], с. 322-324). Приведем пример.

 «Заработной платой являются деньги, выплаченные…». Дополните предложение…

а) за пользование землей;

б) за использование чужого капитала;

в) предпринимателю за вкладываемые усилия в бизнес;

г) за труд» [14].

В этом задании легко угадывается правильный ответ - вариант г.. Это говорит о том, что другие варианты (дистракторы) были придуманы разработчиком неудачно.

В тестовых заданиях, относящихся к оценке знаний, в качестве норм-образцов использовались отдельные положения законов, правил и кодексов. Эти нормы включались в задание в качестве одного из вариантов ответа (см. [9], [14], [25]). В качестве примера приведем два задания из тест-опросника оценки роли потребителя.

1) «В рыночной экономике конкуренция производителей..  

а) приводит к снижению налогов

б) ведёт к застою

в) увеличивает потребление

г) уравновешивает спрос и предложение

2) Менее всего пострадает от инфляции те, кто (у кого)...

а) получает фиксированный номинальный доход

б) имеет денежные сбережения

в) имеет банковские вклады

г) стал должником, когда цены были ниже.

Для нахождения правильного ответа в этих заданиях учащимся нужно знать соответствующие положения Закона РФ «О защите прав потребителей».

При разработке заданий, связанных с оценкой моделей поведения, использовалась несколько иная конструкция тестовых заданий. В этих заданиях описывалась некоторая типичная (для оцениваемой роли) ситуация и предлагались различные по форме и содержанию варианты поведения. Учащийся должен был выбрать тот вариант ответа, который совпадает с его представлением о том, как нужно вести себя в такой ситуации. В этом случае проверяется не только знание норм-образцов (моделей) поведения. Дополнительно появляется возможность оценить выбранные учащимся формы поведения, не совпадающие с нормами-образцами, что позволяет в дальнейшем провести анализ причин такого выбора. Примером заданий такого типа могут служить тестовые задания опросника оценки роли пассажира городского транспорта.

Для нахождения правильного ответа в этих заданиях учащимся нужно знать соответствующие положения Закона РФ «О защите прав потребителей».

При разработке заданий, связанных с оценкой моделей поведения, использовалась несколько иная конструкция тестовых заданий. В этих заданиях описывалась некоторая типичная (для оцениваемой роли) ситуация и предлагались различные по форме и содержанию варианты поведения. Учащийся должен был выбрать тот вариант ответа, который совпадает с его представлением о том, как нужно вести себя в такой ситуации. В этом случае проверяется не только знание норм-образцов (моделей) поведения. Дополнительно появляется возможность оценить выбранные учащимся формы поведения, не совпадающие с нормами-образцами, что позволяет в дальнейшем провести анализ причин такого выбора. Примером заданий такого типа могут служить тестовые задания опросника оценки роли пассажира городского транспорта.

 «Заходя в автобус, трамвай или троллейбус необходимо:

а) постараться раньше других пассажиров попасть внутрь, чтобы занять свободное место;

б) заходить быстрее, стараясь поменьше толкаться;

в) встать в очередь, никого не пропускать и самому не лезть без очереди;

г) встать в очередь, пропуская вперед женщин, детей и пожилых» [9].

Важной составляющей при оценке ролевого поведение является оценка отношения учащегося к усваиваемым нормам и моделям поведения. В самом общем виде это отношение может быть охарактеризовано как принятие или отклонение учащимся усваиваемых социальных норм и образцов поведения. Для выявления и оценки этих отношений были разработаны соответствующие задания. Их конструкция по типу аналогична рассмотренной выше. В них описывается некоторая ситуация и предлагаются на выбор варианты поведения в ней. Ответы учащихся в этих задания позволяют в принципе выявить, во-первых, знаком ли учащийся с традиционными, одобряемыми обществом нормами поведения и, во-вторых, его ценностное отношение к усваиваемым нормам. Приведем примеры такого рода заданий.

«Когда мои сверстники уступают место в транспорте пожилым людям и детям, то я считаю, что это:

а) давно изжившая и утратившая свое значение традиция;

б) одобряемая большинством норма поведения;

в) это личный выбор  каждого: кто хочет, тот уступает;

г) ни к чему не обязывающая условность;

д) проявление сочувствия к пожилым и детям» ([9])

«Как ты относишься к тому, что некоторые из твоих сверстников проходят в транспорт, пролезая под турникетом, либо через дверь для выхода пассажиров?

а) ничего особенного, так все поступают;

б) и правильно делают, цены за проезд неоправданно завышены;

в) не одобряю такое поведение; 

г) в общем-то, мне все равно как поступают другие в таких случаях;

д) иногда просто нет выхода: либо билет не срабатывает, либо слишком много народа у передней двери» [9].

Тестовые задания, связанные с оценкой умений.  

Сложность, связанная с разработкой заданий этой группы, состоит в том, что в настоящее время нет ни перечня таких умений, ни, тем более, эталонных образцов, необходимых для их оценки. Тем не менее, нам удалось разработать несколько заданий, относящихся к этой категории. В них для определения правильного ответа требуются не столько знания, сколько умение анализировать и оценивать ситуации[1]. Пример, относящийся к этой группе заданий, приводится ниже.

 «Предположим Вы собираетесь за границу. Вам нужно обменять 20 тысяч рублей на евро. Курс евро к рублю в России –40 рублей за один евро. Курс евро к рублю в Германии составляет 39  рублей за евро. Курс доллара к рублю в России составляет 30  рублей за доллар, а курс доллара к евро в Германии – 1,3  доллара за евро. Где и как выгоднее поменять рубли?

а) рубли на евро в России;

б) сначала рубли на доллары в России, а потом в Германии доллары на евро;

в) рубли на евро в России;

г)  любой из первых двух вариантов» ([14]).

В этом задании нужно считать и оценивать разные варианты, чтобы определить наиболее выгодный для себя вариант обмена валюты. В этом задании можно предложить учащемуся обосновать свой выбор, что позволит не только оценить, правильно ли он сделал свой выбор (т.е. в соответствии с личной выгодой), но, что не менее важно, понять и оценить причины выбора.

Задания, связанные с выявлением и оценкой мотивов поведения учащихся в социальных ситуациях.

При создании методик оценки социальных ролей была предпринята попытка разработки заданий, связанных с оценкой мотивов поведения, хотя мы понимали, что решение этой задачи требует более тщательной проработки самой проблемы создания подобных заданий. Тем не менее, определенный шаг в этом направлении  нами был сделан. Получен определенный, хотя и  ограниченный опыт, который может быть использован при создании других методик.

В заданиях этого типа описывается определенная социальная ситуация, в которой учащийся должен сделать выбор между предлагаемыми альтернативами. В предлагаемых вариантах ответа описывается не только реакция на ситуацию в виде возможного поведения или характерного действия в ответ на ситуацию, но также его мотивировка. Приведем примеры.

 «Ты не оплатил проезд в городском транспорте и контролер в грубой и оскорбительной форме требует, чтобы ты оплатил штраф на месте, или он вызовет милицию. Как ты поступишь в этой ситуации?

а) не буду платить такому контролеру. Пусть сначала научится разговаривать с людьми;

б) отвечу ему в той же манере, чтобы знал, как нужно разговаривать с людьми, но штраф оплачу;

в) молча оплачу штраф,

г) штраф оплачу, но попрошу извиниться за некорректное поведение;

д) вежливо попрошу контролера предъявить свои документы; штраф оплачу, но затем обращусь с жалобой по месту работы контролера или в контролирующие органы » [9].

г) штраф оплачу, но попрошу извиниться за некорректное поведение;

д) вежливо попрошу контролера предъявить свои документы; штраф оплачу, но затем обращусь с жалобой по месту работы контролера или в контролирующие органы » [9].

Задания, связанные с выбором форм поведения, основанном на ценностях.

Эти задания позволяют получить представление о том, какие формы поведения, основанные на ценностях, являются предпочтительными для учащегося в предлагаемых обстоятельствах. Приведем примеры.

 «Представь, что ты проник в автобус без билета и денег у тебя нет. Контролер требует выйти и заплатить штраф. Как ты поступишь в данной ситуации:

а) буду возмущаться беззаконием, обращусь за поддержкой к другим пассажирам;

б) выйду из автобуса, попрошу выписать квитанцию на штраф;

в) выйду и попытаюсь убежать;

г) проигнорирую требование;

д) откажусь выходить и попрошу выписать квитанцию в салоне» [9].

 «Ты стоишь в очереди перед входом в автобус. Сзади тебя стоит пожилой человек с тяжелой сумкой или ручной тележкой. Как ты поступишь:

а) посочувствую конечно, что я еще могу в этой ситуации сделать; 

б) я вообще не понимаю, зачем пожилые люди таскаются с тяжелыми сумками в транспорте;

в) пропущу его (ее) вперед;

г) помогу  внести сумку в автобус» [9].

Разработка моделей  интерпретации результатов тестирования

Последний этап при создании методик оценки социальных ролей связан с разработкой процедур обработки и интерпретации результатов тестирования.

Обработка результатов производится путем сравнения индивидуальных результатов учащегося с «ключем». Для этого разрабатывается  бланк для регистрации ответов и «ключ» с перечнем правильных ответов для заданий закрытого типа или краткое описание ответов, которые будут рассматриваться как правильные, неправильные или частично правильные - для заданий открытого типа. Кроме этого необходимо указать количество баллов, которые будут начисляться за ответы учащихся. В заданиях закрытого типа за правильный ответ начисляется 1 или 2 балла, за неправильный – 0 баллов. В заданиях открытого типа может быть больше вариантов ответа. В этом случае правильные ответы могут, например, оцениваться в 2 балла, частично правильные в 1 балл, а неправильные – 0 баллов. Однако, такой вариант начисления баллов возможен, если задания не различаются по уровню сложности. Если же  сложность заданий разная, то и баллы за более сложные задания должны быть выше, чем за менее сложные. Для этого нужно предварительно ранжировать задания по уровню сложности. Сложность заданий может устанавливаться либо экспериментальным путем, либо на основе экспертных оценок. Экспертами в этом случае могут выступать учителя-предметники.

При обработке заполненных бланков суммируются баллы, полученные за выполненные задания. При этом подсчитывается сумма баллов, полученных за задания, относящиеся к отдельным категориям, и общая сумма баллов, полученных за весь тест. Полученные результаты, выраженные в баллах, позволяют получить представление о количестве и процентном соотношении выполненных и невыполненных заданий. Этого, однако, недостаточно для качественной оценки результатов тестирования. Для этого требуется создание определенных вспомогательных средств - схем анализа и интерпретации результатов, типологических схем, классификационных схем и  т.д.  Ниже приводится краткое описание подобного рода схем и классификаций.

Одна из них задает последовательность рассмотрения и анализа количественных результатов тестирования.

На первом уровне (уровень знаний) проверяются и анализируются задания, относящиеся к категории «Знания». К ней относятся: правила, образцы поведения, ценности, связанные с отдельными  областями социализации. Баллы, полученные за задания этой группы, суммируются. Оценка этой группы заданий характеризует  уровень грамотности учащегося (применительно к данной области социализации и оцениваемой роли).

На втором уровне (уровень умений) анализируются результаты тестирования, относящиеся к категории «Умения». Баллы, набранные учащимся за эти задания, суммируются. Полученные результаты характеризуют уровень усвоения отдельных видов умений и о (суммарный) бщий уровень, выраженный в количестве набранных баллов.

На третьем уровне,  условно обозначенным как уровень психологической готовности к выполнению роли, анализируются и оцениваются результаты, полученные в заданиях, относящихся к категории «Мотивы поведения» и «Ценности» (ценностные ориентации). Эти задания служат для того, чтобы выявить предпочтения и установки учащихся в конкретной социальной области.

Результаты тестирования по этой схеме можно последовательно рассматривать и анализировать в соответствии с показателями каждого уровня.

Кроме этой схемы в наших исследованиях использовались и другие модели, учитывающие характер и специфику социальной роли. В качестве примера приведем модель интерпретации результатов тестирования, разработанную авторами методики оценки роли потребителя (экономическая социализация).

Результаты тестирования по этой схеме можно последовательно рассматривать и анализировать в соответствии с показателями каждого уровня.

Кроме этой схемы в наших исследованиях использовались и другие модели, учитывающие характер и специфику социальной роли. В качестве примера приведем модель интерпретации результатов тестирования, разработанную авторами методики оценки роли потребителя (экономическая социализация).

В этом случае результаты тестирования оценивались:

I. В зависимости от уровня усвоения знаний и умений:

  • низкий уровень - отсутствие представлений об основных экономических явлениях или фрагментарные представления, основанные на выделении несущественных качеств; отсутствует знание моделей экономического поведения.
  • средний уровень – наличие представлений об отдельных экономических явлениях, основанных на конкретных проявлениях, а также на функциональных или содержательных особенностях данных явлений, может быть понимание моделей экономического поведения.
  • высокий уровень – наличие экономических представлений, основанных на понимании сущности, содержательных и функциональных особенностей экономических явлений, понимание моделей экономического поведения и его последствий.

II. В зависимости от занимаемой экономической позиции (индивидуальных предпочтений):

1. гармоничная (активная) позиция;

2. лидерская (активная) позиция;

3. конфликтная (активная) позиция;

4. конформистская (пассивная) позиция.

III. В зависимости от ценностных установок:

1. «Расточитель». Для такого типа потребителя вещь не является ценностью. Основная характеристика этого типа – «Мой имидж».

2. «Бережливый тип потребителя». Для этого типа любая вещь имеет ценность, т.к. в нее вложен труд. Основная характерологическая черта – «Бережливость».

3. «Накопитель» – для такого типа потребителя вещь - самоценность. Поведенческая характерологическая черта – «Накопительство».

4. «Рациональный тип потребителя».   Для этого типа вещь – «полезное средство». Основная характерологическая черта. – «Полезность» ([14] ).

 

[1] Дополнительно был разработан тест, позволяющий оценивать не связанную с конкретными социальными ситуациями способность учащихся к рефлексии и критическому мышлению (разработка И.И. Ильясова и Ю.Ф. Гущина).