В случае исходного
множества заданий для теста Э.Стронга использовались, например,
те, которые не имели никакого очевидного отношения к конкретным
критериальным группам. Задания включались в ткя ""-" - - -
когда они прм""""" - ~~ ~
те, которые не имел>
- _<-ДАД1ДЯ№1
, _ """.... иаапя включались в шкалы только тогда,
когда они действительно разделяли группы, даже если они и не имели
никакого обоснования, ни теоретического, ни интуитивного.
Основания этого метода построения тестов просты и очень эффек-
тивны с точки зрения практической реализации. Для тех случаев,
когда необходимо дискриминировать группы, например, для диаг-
ностики, профотбора или профориентации, тесты на основе крите-
риальных ключевых признаков являются эффективным средством,
при условии, что они разработаны достаточно тщательно, то есть
подобрано достаточное количество эффективных заданий. Для тес-
тов такого типа основное значение придается их дискриминативнос-
ти: важен тот факт, что тест является дискриминативным, а не при-
чина, по которой это происходит.
При обосновании этого метода конструирования тестов существу-
ет ряд трудностей и высказывается ряд критических замечаний, что,
с точки зрения автора, является противопоказанием к его использо-
ванию во многих областях тестирования.
234
1 Отбор критериальных групп
и Во многих областях исследований при формировании критериаль-
1 ных групп существуют значительные трудности. При наличии этих
<у проблем сформированный тест будет работать гораздо менее эффек-
1 тивно, чем созданный на основе процедуры испытания и отбора зада-
ний, описанной выше. Вот конкретный пример: для теста MMPI ис-
у пользовались группы, определенные психиатрами и психологами из
1 университета штата Миннесота. Так как при установлении психиат-
рических диагнозов существуют значительные сложности, то по
1 классификации заболеваний могут возникать разногласия между
1 специалистами, имеющими разные теоретические ориентации. Дан-
1 иые критические замечания относятся не только к клиническим
1 классификациям, но, в целом, к классификациям любого рода. Опи-
1 санная проблема надежности классификации попросту приводит к
Q неудовлетворительной валидности теста.
?
1 Невозможность психологической интерпретации
1 Однако, если даже перечисленные трудности будут преодолены,
: у этого метода существует гораздо более серьезный, с точки зрения
автора, недостаток. Это касается психологической бессодержатель-
ности (в буквальном смысле) переменных, измеряемых тестами, ос-
нованными на критериальных ключевых признаках. Опять обратим-
ся к ММРГ. Возможно (даже весьма вероятно), что обсессивные не-
вротики отличаются от испытуемых из других клинических и коят-
рольных групп более, чем по одной переменной. Поэтому задаиия,
отобранные просто на основании того, что они могут разделять эти
группы, вполне могут измерять и целый набор разных других пере-
менных. Любая шкала, построенная таким образом, вряд ли будет
однородной, а с очевидностью будет мультивариантной. Следова-
тельно, не только два явно идентичных показателя могут иметь раз-
личную психологическую интерпретацию, но, кроме того, не суще-
ствует способа по виду показателя установить, что измеряет данная
шкала. Таким образом, тот факт, что тест может дискриминировать
группу Х от группы Y, не говорит нам ничего о природе переменной
этого теста, если только не известно что группы отличаются друг от
друга только по одной переменной.
Следует также помнить о возникающих в ряде случаев затруднениях, связанных с
выделением контрастных критериальных групп (Прим.ред.).
В ряде случаев конструкторы тестов сознательно отказываются or факторной ва-
лидизации переменных. Отсюда нередко используемый термин - "эмпирические
опросники" (Прим.ред.).
Невозможность генерализации теста
Результатам тестов, разработанных на основе критериальных
ключевых признаков, присуща некоторая специфичность, что также
является серьезным ограничением. Например, если тест на основе
критериальных ключевых признаков используется для отбора слеса-
рей-монтажников, многое будет зависеть от характера тех задач,
решение которых необходимо для выполнения конкретной работы.
Если работа изменится, изменятся также и задачи, и ранее эффек-
тивный тест, разработанный на основе критериальных ключевых
признаков, работать не будет. В противовес этому тесты, выявляю-
щие базовые способности, по-прежнему можно будет использовать.
Таким образом, использование таких тестов связано с серьезными
проблемами, даже при очевидной их эффективности в решении задач
отбора.
Несмотря на эти трудности, иногда бывает полезно разрабатывать
тесты на основе критериальных ключевых признаков, и сейчас будет
описано, как это делается. Основные принципы излагаемой процеду-
ры исходят из простоты конструирования таких тестов. Автор счита-
ет, что при разработке теста, основанного на критериальных ключе-
вых признаках, не стоит выполнять тщательные статистические про-
верки. Если у вас имеется достаточное количество ресурсов, то лучше
сконструировать более крупную батарею факторизованных тестов,
которые измеряли бы важные факторы, базовые для данных задач,
или исследовать поведение в критериальных группах.
ПРОЦЕДУРЫ КОНСТРУИРОВАНИЯ ТЕСТОВ
КРИТЕРИАЛЬНЫХ КЛЮЧЕВЫХ ПРИЗНАК-ПК
/1 \ г
НА ОСНОВЕ
,- --. \л\131
-" , ,1цпшл ДЛЮЧЕВЫХ ПРИЗНАКОВ
(1) Установите: (а) очевидные критериальные группы; или (б)
критериальный показатель. При разработке теста отбора летчиков в
критериальные группы вошли бы наилучшие из прошедших экзаме-
ны и наихудшие из не прошедших. Если, как иногда это случается,
группа не сдавших экзамены относительно мала, то две критериаль-
ные группы будут состоять из всех сдавших и всех не сдавших. Другая
возможность - это подобрать летчиков, которые успешно сдали эк-
замены несколькими годами ранее, и получить от их командиров
оценки их летных качеств. На основе этого может быть установлен
критериальный показатель. В промышленной психологии при разра-
ботке тестов отбора такая методика может быть применена для любой
конкретной профессии.
(2) Очевидно, что выделение критериальных групп формирует и
выборку. Чем больше объем выборки, с которой вы можете работать,
тем лучше, так как благодаря этому результаты будут более надеж-
236
ными. Поскольку полезно бывает знать значение коэффициента Р
для заданий, то в этом отношении будет лучше использовать всю
группу, а не только ее крайних представителей.
(3) Наилучшей формулой для вычисления дихотомических коэф-
фициентов корреляции между заданием и критериальными группа-
> ми, как обсуждалось в разделе об анализе заданий (см. стр. 188),
f будет, вероятно, коэффициент <р. Преимущество коэффициента (р ,
! а именно то, что он является численным эквивалентом коэффициен-
та корреляции произведения моментов Пирсона, компенсирует тот
факт, что он изменяется в зависимости от уровня трудности. По
сравнению с четырехпольным коэффициентом корреляции net он
менее зависит от распределения переменных .
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88
множества заданий для теста Э.Стронга использовались, например,
те, которые не имели никакого очевидного отношения к конкретным
критериальным группам. Задания включались в ткя ""-" - - -
когда они прм""""" - ~~ ~
те, которые не имел>
- _<-ДАД1ДЯ№1
, _ """.... иаапя включались в шкалы только тогда,
когда они действительно разделяли группы, даже если они и не имели
никакого обоснования, ни теоретического, ни интуитивного.
Основания этого метода построения тестов просты и очень эффек-
тивны с точки зрения практической реализации. Для тех случаев,
когда необходимо дискриминировать группы, например, для диаг-
ностики, профотбора или профориентации, тесты на основе крите-
риальных ключевых признаков являются эффективным средством,
при условии, что они разработаны достаточно тщательно, то есть
подобрано достаточное количество эффективных заданий. Для тес-
тов такого типа основное значение придается их дискриминативнос-
ти: важен тот факт, что тест является дискриминативным, а не при-
чина, по которой это происходит.
При обосновании этого метода конструирования тестов существу-
ет ряд трудностей и высказывается ряд критических замечаний, что,
с точки зрения автора, является противопоказанием к его использо-
ванию во многих областях тестирования.
234
1 Отбор критериальных групп
и Во многих областях исследований при формировании критериаль-
1 ных групп существуют значительные трудности. При наличии этих
<у проблем сформированный тест будет работать гораздо менее эффек-
1 тивно, чем созданный на основе процедуры испытания и отбора зада-
ний, описанной выше. Вот конкретный пример: для теста MMPI ис-
у пользовались группы, определенные психиатрами и психологами из
1 университета штата Миннесота. Так как при установлении психиат-
рических диагнозов существуют значительные сложности, то по
1 классификации заболеваний могут возникать разногласия между
1 специалистами, имеющими разные теоретические ориентации. Дан-
1 иые критические замечания относятся не только к клиническим
1 классификациям, но, в целом, к классификациям любого рода. Опи-
1 санная проблема надежности классификации попросту приводит к
Q неудовлетворительной валидности теста.
?
1 Невозможность психологической интерпретации
1 Однако, если даже перечисленные трудности будут преодолены,
: у этого метода существует гораздо более серьезный, с точки зрения
автора, недостаток. Это касается психологической бессодержатель-
ности (в буквальном смысле) переменных, измеряемых тестами, ос-
нованными на критериальных ключевых признаках. Опять обратим-
ся к ММРГ. Возможно (даже весьма вероятно), что обсессивные не-
вротики отличаются от испытуемых из других клинических и коят-
рольных групп более, чем по одной переменной. Поэтому задаиия,
отобранные просто на основании того, что они могут разделять эти
группы, вполне могут измерять и целый набор разных других пере-
менных. Любая шкала, построенная таким образом, вряд ли будет
однородной, а с очевидностью будет мультивариантной. Следова-
тельно, не только два явно идентичных показателя могут иметь раз-
личную психологическую интерпретацию, но, кроме того, не суще-
ствует способа по виду показателя установить, что измеряет данная
шкала. Таким образом, тот факт, что тест может дискриминировать
группу Х от группы Y, не говорит нам ничего о природе переменной
этого теста, если только не известно что группы отличаются друг от
друга только по одной переменной.
Следует также помнить о возникающих в ряде случаев затруднениях, связанных с
выделением контрастных критериальных групп (Прим.ред.).
В ряде случаев конструкторы тестов сознательно отказываются or факторной ва-
лидизации переменных. Отсюда нередко используемый термин - "эмпирические
опросники" (Прим.ред.).
Невозможность генерализации теста
Результатам тестов, разработанных на основе критериальных
ключевых признаков, присуща некоторая специфичность, что также
является серьезным ограничением. Например, если тест на основе
критериальных ключевых признаков используется для отбора слеса-
рей-монтажников, многое будет зависеть от характера тех задач,
решение которых необходимо для выполнения конкретной работы.
Если работа изменится, изменятся также и задачи, и ранее эффек-
тивный тест, разработанный на основе критериальных ключевых
признаков, работать не будет. В противовес этому тесты, выявляю-
щие базовые способности, по-прежнему можно будет использовать.
Таким образом, использование таких тестов связано с серьезными
проблемами, даже при очевидной их эффективности в решении задач
отбора.
Несмотря на эти трудности, иногда бывает полезно разрабатывать
тесты на основе критериальных ключевых признаков, и сейчас будет
описано, как это делается. Основные принципы излагаемой процеду-
ры исходят из простоты конструирования таких тестов. Автор счита-
ет, что при разработке теста, основанного на критериальных ключе-
вых признаках, не стоит выполнять тщательные статистические про-
верки. Если у вас имеется достаточное количество ресурсов, то лучше
сконструировать более крупную батарею факторизованных тестов,
которые измеряли бы важные факторы, базовые для данных задач,
или исследовать поведение в критериальных группах.
ПРОЦЕДУРЫ КОНСТРУИРОВАНИЯ ТЕСТОВ
КРИТЕРИАЛЬНЫХ КЛЮЧЕВЫХ ПРИЗНАК-ПК
/1 \ г
НА ОСНОВЕ
,- --. \л\131
-" , ,1цпшл ДЛЮЧЕВЫХ ПРИЗНАКОВ
(1) Установите: (а) очевидные критериальные группы; или (б)
критериальный показатель. При разработке теста отбора летчиков в
критериальные группы вошли бы наилучшие из прошедших экзаме-
ны и наихудшие из не прошедших. Если, как иногда это случается,
группа не сдавших экзамены относительно мала, то две критериаль-
ные группы будут состоять из всех сдавших и всех не сдавших. Другая
возможность - это подобрать летчиков, которые успешно сдали эк-
замены несколькими годами ранее, и получить от их командиров
оценки их летных качеств. На основе этого может быть установлен
критериальный показатель. В промышленной психологии при разра-
ботке тестов отбора такая методика может быть применена для любой
конкретной профессии.
(2) Очевидно, что выделение критериальных групп формирует и
выборку. Чем больше объем выборки, с которой вы можете работать,
тем лучше, так как благодаря этому результаты будут более надеж-
236
ными. Поскольку полезно бывает знать значение коэффициента Р
для заданий, то в этом отношении будет лучше использовать всю
группу, а не только ее крайних представителей.
(3) Наилучшей формулой для вычисления дихотомических коэф-
фициентов корреляции между заданием и критериальными группа-
> ми, как обсуждалось в разделе об анализе заданий (см. стр. 188),
f будет, вероятно, коэффициент <р. Преимущество коэффициента (р ,
! а именно то, что он является численным эквивалентом коэффициен-
та корреляции произведения моментов Пирсона, компенсирует тот
факт, что он изменяется в зависимости от уровня трудности. По
сравнению с четырехпольным коэффициентом корреляции net он
менее зависит от распределения переменных .
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88