В нашем обсуж-
дений сосредоточим внимание на том, как эти специальные сведения
из конкретных предметов могут быть превращены в приемлемые
психологические тесты.
Задания с несколькими вариантами выбора
Это, пожалуй, наиболее часто используемый тип заданий, и он
пригоден для огромного количества разнообразных сведений из спе-
циальных предметов. Такое задание состоит из двух частей: (1) ос-
новной части, которая содержит утверждение или вопрос, и (2) ва-
риантов выбора, или некоторого количества возможных ответов, из
которых испытуемые должны избрать правильный ответ. Обычно
таких вариантов четыре или пять. Следующие правила помогают
формулировать эффективные задания с несколькими вариантами
выбора (многие из этих правил применимы ко всем типам заданий,
обсуждаемым в данном разделе).
(1) Простота. Задание должно быть записано настолько просто,
насколько это возможно для его точного понимания. Нежелательно,
чтобы на результаты оказывали влияние уровень словарного запаса
испытуемого или его общие способности.
(2) Все дистракторы (неверные варианты ответов) должны
быть такими, чтобы каждый из них мог привлечь внимание испы-
туемых (то есть быть как бы "похожими" на правильный ответ).
Таким образом, при оценивании заданий в идеале каждый дистрак-
тор должен в равной мере использоваться всеми испытуемыми, не
выполнившими данное задание правильно. Очевидно, что по мере
того, как дистракторы в вариантах выбора будут становиться неэф-
фективными, задание будет становиться все проще и проще. Таким
образом, если все дистракторы не будут выполнять свою функцию,
практически 100% испытуемых будет выполнять задание правильно.
Метод получения эффективных дистракторов состоит в использова-
нии неоконченного списка вариантов выбора и последующем ис-
пользовании неправильных ответов, записанных самими испытуе-
мыми. Следует заметить, что в этой работе требуется осторожность.
Необходимо убедиться, что дистракторы, предложенные вами, не
вводят в заблуждение лучших испытуемых.
(3) Только один вариант из предложенного набора должен соот-
ветствовать правильному ответу. Иногда различные взгляды на
одну и ту же проблему могут привести к непредусмотренному ответу,
который тоже будет правильным.
(4) Ответ на один вопрос не должен давать ключа к ответам на
другие. То есть не следует использовать дистракторы из одного зада-
ния в перечне других.
(5) Избегайте тестировать тривиальное ввиду простоты его
обнаружения. Thorndike и Hagen (1977) утверждают, что каждое
задание должно быть независимым. Однако, с нашей точки зрения,
64
это требование невозможно выполнить. Если задания извлекаются из
генеральной совокупности заданий, то они не могут быть независи-
мыми. В самом деле, если бы это было так, то каждое из них тестиро-
вало бы отдельную переменную. А поскольку большая часть знаний
представляет собой некоторого рода структуры, я полагаю, что это
правило лучше игнорировать.
Все эти правила, даже включая те, которые касаются подбора
дистракторов, должны соблюдаться для заданий всех видов. Thorn-
dike и Hagen (1977), исходя из инструкций, опубликованных Служ-
бой тестирования в системе образования (Educational Testing Service,
1963), перечисляют ряд других правил, большинство из которых мы
уже обсуждали в этих пяти более общих правилах.
Сама проблема должна содержаться в основной части задания, а
не выноситься в часть с вариантами выбора, которые должны быть
настолько краткими, насколько возможно. Оба эти момента относят-
ся к правилу 1 -требованию простоты,-а именно, требованию того,
что в основную часть должно быть включено лишь то, что необходимо
для ясной и четкой формулировки проблемы. Thorndike и Hagen
советуют как можно реже использовать отрицания в основной части
по двум причинам: а) это приводит к противоречиям (при чтении
задания) и б) за исключением редких случаев, отрицательные зна-
ния не настолько важны, как позитивные. Знание того, что летучая
мышь - это не птица, не насекомое, не рыба и не рептилия, не
является необходимым для знания того, что же это такое. Еще два
других замечания этих авторов полезны при практической разработ-
ке тестов:
(1) Использование выражения "ни один из перечисленных" в
качестве дистрактора допустимо только тогда, когда существует не-
двусмысленный правильный ответ,- как, скажем, в заданиях, свя-
занных с алфавитом или математическими понятиями.
(2) Аналогично, использование в качестве дистрактора выраже-
ния "все перечисленные" приводит к допустимости скользких мест в
формулировке заданий, в которых дистракторы не являются особен-
но дискриминативными, поскольку автор вопросов знает, что любой
из ответов правильный.
Теперь, имея все время в виду наши основные пять правил, я
проиллюстрирую искусство формулирования заданий с несколькими
вариантами выбора. Понятно, что в короткой серии примеров я не
смогу создать задания, которые бы эффективно основывались на
правиле 4, гласящем, что ответ на один вопрос не должен быть клю-
чом к другим заданиям. Как и в случае тестов интеллекта, каждый
пример будет сопровождаться комментариями. Предлагаемые зада-
ния разработаны для тестов вербальных и числовых способностей.
ПРИМЕР 1.
У речной излучины на поляне появилась горилла-самка и внезап-
но издала громкий вопль.
В этом предложении дополнением является:
(а) горилла, (б) поляне, (в) излучины, (г) вопль, (д) самка.
Это простое, понятное задание, в котором вся информация содер-
жится в основной части. Возможен только один правильный ответ, и
все дистракторы являются существительными, то есть тем видом
слов, которые могут быть дополнениями, что не позволяет испытуе-
мым, знающим, что дополнением не могут быть глаголы или наречия,
сократить количество вариантов выбора. Следует заметить, что по-
ложение правильного ответа в списке вариантов выбора должно оп-
ределяться случайным образом, чтобы предотвратить случаи угады-
вания.
ПРИМЕР 2.
Внезапно громкий вопль был издан гориллой-самкой, которая
появилась у речной излучины на поляне.
В этом предложении подлежащим является:
(а) гориллой, (б) вопль, (в) излучины, (г) поляне, (д) самкой.
Этот пример аналогично прост, и вся информация содержится в
основной части. Он умышленно связан с заданием 1, поскольку те
испытуемые, знания которых о дополнении и подлежащем лишь
приблизительны, и которые полагают, что подлежащее - это тот,
кто "делает", не смогут выполнить данное задание. Аналогично, тот
факт, что в предложении с почти тем же самым смыслом теперь
подлежащее и дополнение поменялись местами, будет составлять
трудность для тех, чьи познания в грамматике неполны. Заметим
опять, что все варианты выбора могут быть подлежащим.
ПРИМЕР 3.
Я переживаю, когда думаю о тебе, переходящим через дорогу
самостоятельно в это время дня.
В этом предложении есть ошибка. Неправильным словом являет-
ся:
(а) я, (б) переходящим, (в) дня, (г) тебе, (д) самостоятельно
Это пример плохого задания. Понятно, что вся информация со-
держится в основной части задания и существует однозначный пра-
вильный ответ. Более того, содержание задания не является триви-
66
альным.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88
дений сосредоточим внимание на том, как эти специальные сведения
из конкретных предметов могут быть превращены в приемлемые
психологические тесты.
Задания с несколькими вариантами выбора
Это, пожалуй, наиболее часто используемый тип заданий, и он
пригоден для огромного количества разнообразных сведений из спе-
циальных предметов. Такое задание состоит из двух частей: (1) ос-
новной части, которая содержит утверждение или вопрос, и (2) ва-
риантов выбора, или некоторого количества возможных ответов, из
которых испытуемые должны избрать правильный ответ. Обычно
таких вариантов четыре или пять. Следующие правила помогают
формулировать эффективные задания с несколькими вариантами
выбора (многие из этих правил применимы ко всем типам заданий,
обсуждаемым в данном разделе).
(1) Простота. Задание должно быть записано настолько просто,
насколько это возможно для его точного понимания. Нежелательно,
чтобы на результаты оказывали влияние уровень словарного запаса
испытуемого или его общие способности.
(2) Все дистракторы (неверные варианты ответов) должны
быть такими, чтобы каждый из них мог привлечь внимание испы-
туемых (то есть быть как бы "похожими" на правильный ответ).
Таким образом, при оценивании заданий в идеале каждый дистрак-
тор должен в равной мере использоваться всеми испытуемыми, не
выполнившими данное задание правильно. Очевидно, что по мере
того, как дистракторы в вариантах выбора будут становиться неэф-
фективными, задание будет становиться все проще и проще. Таким
образом, если все дистракторы не будут выполнять свою функцию,
практически 100% испытуемых будет выполнять задание правильно.
Метод получения эффективных дистракторов состоит в использова-
нии неоконченного списка вариантов выбора и последующем ис-
пользовании неправильных ответов, записанных самими испытуе-
мыми. Следует заметить, что в этой работе требуется осторожность.
Необходимо убедиться, что дистракторы, предложенные вами, не
вводят в заблуждение лучших испытуемых.
(3) Только один вариант из предложенного набора должен соот-
ветствовать правильному ответу. Иногда различные взгляды на
одну и ту же проблему могут привести к непредусмотренному ответу,
который тоже будет правильным.
(4) Ответ на один вопрос не должен давать ключа к ответам на
другие. То есть не следует использовать дистракторы из одного зада-
ния в перечне других.
(5) Избегайте тестировать тривиальное ввиду простоты его
обнаружения. Thorndike и Hagen (1977) утверждают, что каждое
задание должно быть независимым. Однако, с нашей точки зрения,
64
это требование невозможно выполнить. Если задания извлекаются из
генеральной совокупности заданий, то они не могут быть независи-
мыми. В самом деле, если бы это было так, то каждое из них тестиро-
вало бы отдельную переменную. А поскольку большая часть знаний
представляет собой некоторого рода структуры, я полагаю, что это
правило лучше игнорировать.
Все эти правила, даже включая те, которые касаются подбора
дистракторов, должны соблюдаться для заданий всех видов. Thorn-
dike и Hagen (1977), исходя из инструкций, опубликованных Служ-
бой тестирования в системе образования (Educational Testing Service,
1963), перечисляют ряд других правил, большинство из которых мы
уже обсуждали в этих пяти более общих правилах.
Сама проблема должна содержаться в основной части задания, а
не выноситься в часть с вариантами выбора, которые должны быть
настолько краткими, насколько возможно. Оба эти момента относят-
ся к правилу 1 -требованию простоты,-а именно, требованию того,
что в основную часть должно быть включено лишь то, что необходимо
для ясной и четкой формулировки проблемы. Thorndike и Hagen
советуют как можно реже использовать отрицания в основной части
по двум причинам: а) это приводит к противоречиям (при чтении
задания) и б) за исключением редких случаев, отрицательные зна-
ния не настолько важны, как позитивные. Знание того, что летучая
мышь - это не птица, не насекомое, не рыба и не рептилия, не
является необходимым для знания того, что же это такое. Еще два
других замечания этих авторов полезны при практической разработ-
ке тестов:
(1) Использование выражения "ни один из перечисленных" в
качестве дистрактора допустимо только тогда, когда существует не-
двусмысленный правильный ответ,- как, скажем, в заданиях, свя-
занных с алфавитом или математическими понятиями.
(2) Аналогично, использование в качестве дистрактора выраже-
ния "все перечисленные" приводит к допустимости скользких мест в
формулировке заданий, в которых дистракторы не являются особен-
но дискриминативными, поскольку автор вопросов знает, что любой
из ответов правильный.
Теперь, имея все время в виду наши основные пять правил, я
проиллюстрирую искусство формулирования заданий с несколькими
вариантами выбора. Понятно, что в короткой серии примеров я не
смогу создать задания, которые бы эффективно основывались на
правиле 4, гласящем, что ответ на один вопрос не должен быть клю-
чом к другим заданиям. Как и в случае тестов интеллекта, каждый
пример будет сопровождаться комментариями. Предлагаемые зада-
ния разработаны для тестов вербальных и числовых способностей.
ПРИМЕР 1.
У речной излучины на поляне появилась горилла-самка и внезап-
но издала громкий вопль.
В этом предложении дополнением является:
(а) горилла, (б) поляне, (в) излучины, (г) вопль, (д) самка.
Это простое, понятное задание, в котором вся информация содер-
жится в основной части. Возможен только один правильный ответ, и
все дистракторы являются существительными, то есть тем видом
слов, которые могут быть дополнениями, что не позволяет испытуе-
мым, знающим, что дополнением не могут быть глаголы или наречия,
сократить количество вариантов выбора. Следует заметить, что по-
ложение правильного ответа в списке вариантов выбора должно оп-
ределяться случайным образом, чтобы предотвратить случаи угады-
вания.
ПРИМЕР 2.
Внезапно громкий вопль был издан гориллой-самкой, которая
появилась у речной излучины на поляне.
В этом предложении подлежащим является:
(а) гориллой, (б) вопль, (в) излучины, (г) поляне, (д) самкой.
Этот пример аналогично прост, и вся информация содержится в
основной части. Он умышленно связан с заданием 1, поскольку те
испытуемые, знания которых о дополнении и подлежащем лишь
приблизительны, и которые полагают, что подлежащее - это тот,
кто "делает", не смогут выполнить данное задание. Аналогично, тот
факт, что в предложении с почти тем же самым смыслом теперь
подлежащее и дополнение поменялись местами, будет составлять
трудность для тех, чьи познания в грамматике неполны. Заметим
опять, что все варианты выбора могут быть подлежащим.
ПРИМЕР 3.
Я переживаю, когда думаю о тебе, переходящим через дорогу
самостоятельно в это время дня.
В этом предложении есть ошибка. Неправильным словом являет-
ся:
(а) я, (б) переходящим, (в) дня, (г) тебе, (д) самостоятельно
Это пример плохого задания. Понятно, что вся информация со-
держится в основной части задания и существует однозначный пра-
вильный ответ. Более того, содержание задания не является триви-
66
альным.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88