Имея дело с большими группами, следует ожи-
дать больших различий вследствие случайного появления недискрими-
нантных заданий.
Анализ заданий теста, подготовленного учителем, направлен на
выявление дефектов либо в тесте, либо в преподавании. Обсуждая вы-
190
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 19
Таблица 20
Простая процедура анализа заданий: число Анализ ответов, предлагаемых на выбор по
лиц, давших правильный ответ, в группах отдельным вопросам
с высокими, средними и низкими значения-
ми критерия
Задание В (вопрос) (20)С (20)(20)Трудность (В+С+Н)Различение (Й-Н)
1159731
220201656
31918946
410111637
511131135
61614939
75005
10
-6
0
ВопросГруппаВыбранные ответы
12з45
2ВО о0200
н2 01161
4в0 10901
н2 16200
5в2 32112
н1 33112
7в5 3543
н0 5834
Задания, выбранные для последующего обсуждения. Данные по правильным ответам набраны курсивом.
причина их некорректности. Если вопрос сформулирован неудачно, его
можно перестроить или вовсе изъять при последующем тестировании.
.Обсуждение, однако, может обнаружить, что вопрос составлен правиль-
но, но у учеников нет надлежащего понимания данной темы. В этом слу-
чае тема может быть разобрана заново и пояснена подробнее. При оты-
скании менее заметного источника затруднений часто полезно провести
дополнительный анализ, типа изображенного на табл. 20, хотя бы части
вопросов, отобранных для обсуждения. В табл. 20 приводится число уче-
ников из групп В и Н, выбравших тот или иной из пяти приведенных
в заданиях ответов.
Хотя вопрос 2 и включен в табл. 20, но из приведенной в ней час-
тоты ошибочных ответов мало что можно узнать, поскольку непра-
вильный выбор сделали лишь 4 человека из группы Н и никто-из
группы В. Обсуждение этого вопроса с учениками, вероятно, выявит,
действительно ли вопрос слишком легок и не представляет особой цен-
ности, или какой-то недостаток формулировки позволяет сразу же нахо-
дить правильный ответ, или же, наконец, это полезный вопрос, но отно-
сился он к хорошо проработанной и усвоенной теме занятий. В первом
случае вопрос, видимо, следует изъять, во втором-пересмотреть, а
в третьем-оставить без изменения.
Данные по вопросу 4 показывают, что выбор третьего ответа связан
с тем, что сам ответ содержит в себе нечто такое, что заставляет 9 учени-
ков из группы В предпочесть его правильной альтернативе. В чем здесь
дело, нетрудно установить, попросив этих учеников обосновать свой вы-
бор. Недостаток задания 5, видимо, объясняется неудачностью формули-
ровки либо самого вопроса, либо правильного ответа, так как непра-
вильные ответы равномерно распределились по четырем ошибочным
альтернативам. Вопрос 7 необычно труден: 15 человек из группы В и вся
группа Н ответили на него неправильно. Несколько больший выбор от-
вета 3 указывает на его поверхностную привлекательность, особенно для
легче вводимых в заблуждения членов группы Н. Аналогично отсутствие
191
АНАЛИЗ ЗАДАНИЙ
ломленному ученику эта альтернатива на первый взгляд кажется оши-
бочной. Оба эти свойства желательны для хорошего тестового задания.
Обсуждение в классе может показать, что вопрос 7 просто относился
к плохо усвоенной теме учебной программы.
Индекс различения. Если число справившихся с заданием членов
группы с высоким {В) значением критерия выразить в процентах и из не-
го вычесть аналогичный процент, найденный для групп с низким (Н) зна-
чением критерия, то полученная разность представляет собой индекс ва-
лидности задания, интерпретируемый независимо от размера выборки,
на которой он был получен. Этот индекс неоднократно обсуждался
в психометрической литературе (R.L.Ebel, 1965; A.P.Johnson, 1951;
C.I. Mosier, J.M. McQuitty, 1940) и обозначался то как VLT, то как VLD,
то просто D. Несмотря на свою простоту, этот индекс, как было показа-
но, хорошо согласуется с другими, более сложными мерами валидности
задания (M.D. Engelhart, 1965). Поясним подсчет D на примере данных,
приведенных в табл. 19. Сначала число лиц, справившихся с каждым за-
данием в группах В и Н, переводится в проценты. Поскольку каждая из
этих групп состоит из 20 человек, нам нужно каждое число разделить на
20 и результат умножить на 100. Легче, однако, 100 разделить на 20, что
дает 5, а затем умножать каждое число на эту константу. Так, для зада-
ния 1 имеем: 15 х 5=75 (группа В), 7 х 5=35 (группа Н), и, следова-
тельно, D =73- 35 = 40. Значения D для оставшихся семи заданий при-
ведены в табл. 21.
D может принимать любое значение между + 100. Если все члены
группы В справились и никто из группы Н не справился с заданием, то
D = 100. И наоборот, если группа Н справилась, а группа В не справи-
лась с заданием, то D == -100. Если процент справившихся с заданием
в обеих группах одинаков, то D == 0. Индекс D обладает рядом инте-
ресных свойств. Было показано (R.L. Ebel, 1965; W.G. Findley, 1956), что
D прямо пропорционален разности между чис-
лом правильных и ошибочных различений,
выявляемых заданием. Правильные различения
определяются числом справившихся с зада- Таблица 21
нием в группе В в сравнении с числом не спра- Вычисление индекса различе-
вившихся в группе Н. Ошибочные различения """ ("Ї данным из табл. 19)
задаются числом не справившихся в группе ---
В в сравнении с числом справившихся в группе "яГ разность
Н. Р.Ибел (R.L.Ebel, 1967) также установил, с заданием (индекс
что между средним значением индекса заданий йопрос --различения)
D и коэффициентом надежности теста имеется грпя грша
тесная связь. Чем больше среднее D, тем выше ---
надежность, i 40
Заслуживает упоминания и другое свой- 2 10080 20
ство D, присущее и некоторым другим индек- 39545 50
сам валидности заданий. Показатель D небез-
различен к трудности и изменяется сильнее 68045 35
при среднем уровне трудности. В табл. 22 при- 7250 25
ведены максимальные значения D для заданий ____________________
Наблюдательный читатель, вероятно, заметил, что те же результаты можно полу-
192
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 22
Соотношеиме максимального
шачения D и трудности дада-
ПроцентМаксимальное
справившихсязначение
с заданиемВ
1000
9020
7060
50100
3060
1020
00
с различным процентом правильных ответов.
Если 100Їо или 0Їо всей выборки выполнили
задание, то результаты групп В и Н не разли-
чаются, так что D == 0. С другой стороны, если
с заданием справилось 50Їо членов выборки, не
исключено, что все они принадлежат к группе
В, и тогда D == 100. Если справилось 10Ї/о, то
максимальное значение D, отвечающее случаю,
когда все члены группы В справились с зада-
нием, а остальные 20"о приходятся на группу
Н, находится следующим образом: (В) 50/50 ==
= 100Їо; (Н) 20/50 = 40%; D = 100- 40 = 60.
Напомним, что для большинства тестов пред-
почтительней задания, уровень трудности ко-
торых близок к 0,50. Поэтому показатели ва-
лидности, принимающие максимальные значения при этом уровне
трудности, часто применяются для отбора заданий.
Коэффициент (р. Большинство индексов валидности заданий выра-
жают связь между ними и критерием в виде коэффициента корреляции.
Одним из них является коэффициент (р, вычисляемый по четырехпольной
таблице, содержащей число справившихся и не справившихся с заданием
в группах с высоким и низким значением критерия. Как и все коэффи-
циенты корреляции, показатель (р принимает значения между + 1,0
и предполагает наличие дихотомии как в результатах выполнения зада-
ния, так и в критериальных переменных.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132
дать больших различий вследствие случайного появления недискрими-
нантных заданий.
Анализ заданий теста, подготовленного учителем, направлен на
выявление дефектов либо в тесте, либо в преподавании. Обсуждая вы-
190
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 19
Таблица 20
Простая процедура анализа заданий: число Анализ ответов, предлагаемых на выбор по
лиц, давших правильный ответ, в группах отдельным вопросам
с высокими, средними и низкими значения-
ми критерия
Задание В (вопрос) (20)С (20)(20)Трудность (В+С+Н)Различение (Й-Н)
1159731
220201656
31918946
410111637
511131135
61614939
75005
10
-6
0
ВопросГруппаВыбранные ответы
12з45
2ВО о0200
н2 01161
4в0 10901
н2 16200
5в2 32112
н1 33112
7в5 3543
н0 5834
Задания, выбранные для последующего обсуждения. Данные по правильным ответам набраны курсивом.
причина их некорректности. Если вопрос сформулирован неудачно, его
можно перестроить или вовсе изъять при последующем тестировании.
.Обсуждение, однако, может обнаружить, что вопрос составлен правиль-
но, но у учеников нет надлежащего понимания данной темы. В этом слу-
чае тема может быть разобрана заново и пояснена подробнее. При оты-
скании менее заметного источника затруднений часто полезно провести
дополнительный анализ, типа изображенного на табл. 20, хотя бы части
вопросов, отобранных для обсуждения. В табл. 20 приводится число уче-
ников из групп В и Н, выбравших тот или иной из пяти приведенных
в заданиях ответов.
Хотя вопрос 2 и включен в табл. 20, но из приведенной в ней час-
тоты ошибочных ответов мало что можно узнать, поскольку непра-
вильный выбор сделали лишь 4 человека из группы Н и никто-из
группы В. Обсуждение этого вопроса с учениками, вероятно, выявит,
действительно ли вопрос слишком легок и не представляет особой цен-
ности, или какой-то недостаток формулировки позволяет сразу же нахо-
дить правильный ответ, или же, наконец, это полезный вопрос, но отно-
сился он к хорошо проработанной и усвоенной теме занятий. В первом
случае вопрос, видимо, следует изъять, во втором-пересмотреть, а
в третьем-оставить без изменения.
Данные по вопросу 4 показывают, что выбор третьего ответа связан
с тем, что сам ответ содержит в себе нечто такое, что заставляет 9 учени-
ков из группы В предпочесть его правильной альтернативе. В чем здесь
дело, нетрудно установить, попросив этих учеников обосновать свой вы-
бор. Недостаток задания 5, видимо, объясняется неудачностью формули-
ровки либо самого вопроса, либо правильного ответа, так как непра-
вильные ответы равномерно распределились по четырем ошибочным
альтернативам. Вопрос 7 необычно труден: 15 человек из группы В и вся
группа Н ответили на него неправильно. Несколько больший выбор от-
вета 3 указывает на его поверхностную привлекательность, особенно для
легче вводимых в заблуждения членов группы Н. Аналогично отсутствие
191
АНАЛИЗ ЗАДАНИЙ
ломленному ученику эта альтернатива на первый взгляд кажется оши-
бочной. Оба эти свойства желательны для хорошего тестового задания.
Обсуждение в классе может показать, что вопрос 7 просто относился
к плохо усвоенной теме учебной программы.
Индекс различения. Если число справившихся с заданием членов
группы с высоким {В) значением критерия выразить в процентах и из не-
го вычесть аналогичный процент, найденный для групп с низким (Н) зна-
чением критерия, то полученная разность представляет собой индекс ва-
лидности задания, интерпретируемый независимо от размера выборки,
на которой он был получен. Этот индекс неоднократно обсуждался
в психометрической литературе (R.L.Ebel, 1965; A.P.Johnson, 1951;
C.I. Mosier, J.M. McQuitty, 1940) и обозначался то как VLT, то как VLD,
то просто D. Несмотря на свою простоту, этот индекс, как было показа-
но, хорошо согласуется с другими, более сложными мерами валидности
задания (M.D. Engelhart, 1965). Поясним подсчет D на примере данных,
приведенных в табл. 19. Сначала число лиц, справившихся с каждым за-
данием в группах В и Н, переводится в проценты. Поскольку каждая из
этих групп состоит из 20 человек, нам нужно каждое число разделить на
20 и результат умножить на 100. Легче, однако, 100 разделить на 20, что
дает 5, а затем умножать каждое число на эту константу. Так, для зада-
ния 1 имеем: 15 х 5=75 (группа В), 7 х 5=35 (группа Н), и, следова-
тельно, D =73- 35 = 40. Значения D для оставшихся семи заданий при-
ведены в табл. 21.
D может принимать любое значение между + 100. Если все члены
группы В справились и никто из группы Н не справился с заданием, то
D = 100. И наоборот, если группа Н справилась, а группа В не справи-
лась с заданием, то D == -100. Если процент справившихся с заданием
в обеих группах одинаков, то D == 0. Индекс D обладает рядом инте-
ресных свойств. Было показано (R.L. Ebel, 1965; W.G. Findley, 1956), что
D прямо пропорционален разности между чис-
лом правильных и ошибочных различений,
выявляемых заданием. Правильные различения
определяются числом справившихся с зада- Таблица 21
нием в группе В в сравнении с числом не спра- Вычисление индекса различе-
вившихся в группе Н. Ошибочные различения """ ("Ї данным из табл. 19)
задаются числом не справившихся в группе ---
В в сравнении с числом справившихся в группе "яГ разность
Н. Р.Ибел (R.L.Ebel, 1967) также установил, с заданием (индекс
что между средним значением индекса заданий йопрос --различения)
D и коэффициентом надежности теста имеется грпя грша
тесная связь. Чем больше среднее D, тем выше ---
надежность, i 40
Заслуживает упоминания и другое свой- 2 10080 20
ство D, присущее и некоторым другим индек- 39545 50
сам валидности заданий. Показатель D небез-
различен к трудности и изменяется сильнее 68045 35
при среднем уровне трудности. В табл. 22 при- 7250 25
ведены максимальные значения D для заданий ____________________
Наблюдательный читатель, вероятно, заметил, что те же результаты можно полу-
192
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 22
Соотношеиме максимального
шачения D и трудности дада-
ПроцентМаксимальное
справившихсязначение
с заданиемВ
1000
9020
7060
50100
3060
1020
00
с различным процентом правильных ответов.
Если 100Їо или 0Їо всей выборки выполнили
задание, то результаты групп В и Н не разли-
чаются, так что D == 0. С другой стороны, если
с заданием справилось 50Їо членов выборки, не
исключено, что все они принадлежат к группе
В, и тогда D == 100. Если справилось 10Ї/о, то
максимальное значение D, отвечающее случаю,
когда все члены группы В справились с зада-
нием, а остальные 20"о приходятся на группу
Н, находится следующим образом: (В) 50/50 ==
= 100Їо; (Н) 20/50 = 40%; D = 100- 40 = 60.
Напомним, что для большинства тестов пред-
почтительней задания, уровень трудности ко-
торых близок к 0,50. Поэтому показатели ва-
лидности, принимающие максимальные значения при этом уровне
трудности, часто применяются для отбора заданий.
Коэффициент (р. Большинство индексов валидности заданий выра-
жают связь между ними и критерием в виде коэффициента корреляции.
Одним из них является коэффициент (р, вычисляемый по четырехпольной
таблице, содержащей число справившихся и не справившихся с заданием
в группах с высоким и низким значением критерия. Как и все коэффи-
циенты корреляции, показатель (р принимает значения между + 1,0
и предполагает наличие дихотомии как в результатах выполнения зада-
ния, так и в критериальных переменных.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132