(Точ-
но такой же эффект возникает, если появится перекос в выборке -
если в ней будет больше невротичных интровертов, чем невротичных
экстравертов.)
Для того чтобы не сталкиваться с такими сложностями, психологи
хотели бы иметь дело с такими эмпирическими показателями (пункта-
ми), которые однозначно информируют только об одном факторе. Но
это требование реально никогда не выполняется: всякий эмпирический
показатель оказывается детерминированным не только тем фактором,
который нам нужен, но и другими - иррелевантными задаче изме-
рения. Это положение схематически проиллюстрировано на рис. II.,
На рис. II постоянным для всех показателей 1, 2 и 3 являечся фак-
тор А - релевантный фактор, но каждый раз он оказывается сопря-
жен с иррелевантными -X, Y и Z. Задача состоит в специальном под-
боре пунктов, чтобы все потенциальные иррелевантные факторы
были уравновешены: ни один из них не встречался бы чаще других
на множестве пунктов, включенных в тест. Таким образом, по отно-
шению к факторам, которые концептуально определяются как орто-
гональные к измеряемому (встречающиеся с ним во всех комбинациях),
составитель теста должен при отборе пунктов применить стратегию
искусственного балансирования (Готтсданкер P., 1982).
Соответствие пунктов измеряемому фактору обеспечивает конвер-
гентную валидность теста. Сбалансированность пунктов относительно
иррелевантных факторов обеспечивает дискриминантную валидность.
Эмпирически она выражается в отсутствии значимой корреляции с тес-
том, измеряющим концептуально независимое свойство.
STR.80
z у л
Факторы
Рис. II. Связь эмпирических инди-
каторов (показателей Пь Па, Пз) с
релевантным (измеряемым) факто-
ром А и с иррелевантными (<шумо-
выми>) факторами X, Y,Z, обуслов-
ливающими невалидность показа-
телей
С точки зрения теории Айзенка, тест Тейлор не обладает дискри
минантной валидностью по Ьтношению кофактору <экстраверсия-интрс
версия>, хотя и обладает определенной койвергентной валидностью п
отношению к релевантному фактору - <нейротизм>.
Экспертная эмпирическая валидизация. В отсутствие какого-либ
уже валидизированного теста, параллельно измеряющего изучаемо
свойство, а также в отсутствие разрг
ботанного теоретического контекст.
позволяющего проверять конструк"
ную валидность, поиходиагност оказь
вается перед необходимостью привл(
чения к валидизации теста эксперте
В отличие от экспертного анализа ci
держания теста эмпирическая экспер
ная валидизация предполагает рабо
экспертов не с тестом (лучше, чтоб
о нем эксперты вообще ничего i
знали), а с испытуемыми из выбор)
стандартизации.
Экспертам следует обеспечи
стандартные условия для наблюл
ния за испытуемыми. Но не всег,
такое стандартизованное наблюден
удается организовать. Даже если мы предприняли серьезные ус
Л1ия по организации наблюдения за поведением испытуемых в в
кой-либо искусственной лабораторной ситуации, такое наблюдение i
равно будет значительно уступать по информативности <полевом
наблюдению - в естественных условиях. Если измеряемое свойст
теоретически определено как устойчивая универсальная черта лич1
сти - как диспозиция к инвариантному поведению в широком спет
ситуаций (см. гл. 4), то и отдельного полевого наблюдения окаже1
недостаточно для получения полноценного экспертного критерия ]
лядности.
Поэтому на практике часто прибегают к оценкам особого типа
к субъективным оценкам, которые выносят испытуемому люди из i
круга, имеющие опыт реального общения с ним. С учетом этого п
цедура оценивания приспосабливается к обычным людям, не явл?
щимся психологами. На психолога падает большая нагрузка по
ставлению детальной инструкции оценщикам, однозначно задаюи
смысл оцениваемой характеристики. Лучшие условия для такой п
цедуры возникают при наличии группы испытуемых, тесно общающ
ся между собой, которые могут одновременно побывать и испытуе)
ми по отношению к тесту, и оценщиками по отношению друг к др
В советской литературе эта процедура получила сокращенное обоз
чение ГОЛ - <групповая оценка личности> (Кузьмин Н. В., Се
нов В. С., 1977).
Для того чтобы групповая оценка была источником действия
но валидной информации, оценщики должны согласованно оценив
испытуемых. Если в оценках разных оценщиков нет согласованно
то это означает, что либо оцениваемое свойство не проявилос
объекта оценивания, либо оценщики по-разному проинтерпретиров
инструкцию. Для измерения согласованности должна быть пострс
табличка с оценками (табл. 4).
Методы анализа данных, содержащихся в такой табличке, (j
мально совершенно эквивалентны тем методам, которые применяв
STR.81
для обработки таблиц <испытуемые Х пункты> (см. 3.1). В частно-
сти, суммы по строкам дают нам суммарные баллы, полученные каж-
дым испытуемым у всех К оценщиков. Таким образом, оценщики в
данном случае оказываются формально в роли пунктов теста. Рас-
считывая попарные корреляции между различными столбцами этой
таблички, можно получить коэффициенты согласованности для отдель-
Таблица 4
Оценщики
-о,0>S
Испытуемые ~~
HI И.Хц 21XM 22Xift хCi 02
и>XniХпаXnfcCn
ных пар оценщиков. Глобальной мерой согласованности оценщиков
может служить тот же коэффициент надежности а Кронбаха (форму-
ла (3.2.7)).
Если сама групповая оценка не обнаруживает надежности, то она
не может использоваться в качестве критерия валидизации при про-
верке валидности теста.
Эмпирическое значение коэффициента валидности рассчитывается
как линейная или ранговая корреляция между двумя рядами значе-
ний - тестовыми баллами и суммарными баллами экспертной оценки.
Это эмпирическое значение при наличии невысокого коэффициента на-
дежности критерия корректируют по формуле
r--, (3.3.1)
У <с
где Тех - эмпирическая корреляция с критерием;
ас - надежность критерия;
г(х-корреляция с <истинным> критерием (<истинная> валидность
теста).
Анализ пунктов по критерию валидности. Валидность целого теста
зависит от валидности входящих в него пунктов. Максимальная ва-
лидность достигается за счет отбора таких пунктов из пилотажной
батареи, которые, обладая значимой корреляцией с критерием, мини-
мально коррелируют между собой. Отбор пунктов именно по критерию
валидности обеспечивает максимальную прагматическую эффектив-
ность теста. Вручную (на калькуляторе) такой отбор можно произве-
сти, рассчитывая бисериальную корреляцию (или фи-корреляцию) кри-
терия с каждым пунктом из пилотажной батареи (см. формулы (3.2.14)
и (3,2.16)). При наличии компьютера можно использовать более эффек-
тивный алгоритм, основанный на анализе частных корреляций между
критерием и пунктами и предполагающий построение уравнения мно-
жественной регрессии (Аванесов В. С., 1982, с. 153-157). В резуль-
тате в таком уравнении каждый пункт получает весовой коэффициент,
количественно выражающий его вклад в критерий, не сводимый к вкла-
ду других пунктов, т. е. поиск оптимального набора пунктов автома-
тизируется. X. Гаррет приводит следующую яркую иллюстрацию эффек-
Этот весовой коэффициент и используется как ключ к данному пункту в но-
вой, скорректированной версии теста.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133
но такой же эффект возникает, если появится перекос в выборке -
если в ней будет больше невротичных интровертов, чем невротичных
экстравертов.)
Для того чтобы не сталкиваться с такими сложностями, психологи
хотели бы иметь дело с такими эмпирическими показателями (пункта-
ми), которые однозначно информируют только об одном факторе. Но
это требование реально никогда не выполняется: всякий эмпирический
показатель оказывается детерминированным не только тем фактором,
который нам нужен, но и другими - иррелевантными задаче изме-
рения. Это положение схематически проиллюстрировано на рис. II.,
На рис. II постоянным для всех показателей 1, 2 и 3 являечся фак-
тор А - релевантный фактор, но каждый раз он оказывается сопря-
жен с иррелевантными -X, Y и Z. Задача состоит в специальном под-
боре пунктов, чтобы все потенциальные иррелевантные факторы
были уравновешены: ни один из них не встречался бы чаще других
на множестве пунктов, включенных в тест. Таким образом, по отно-
шению к факторам, которые концептуально определяются как орто-
гональные к измеряемому (встречающиеся с ним во всех комбинациях),
составитель теста должен при отборе пунктов применить стратегию
искусственного балансирования (Готтсданкер P., 1982).
Соответствие пунктов измеряемому фактору обеспечивает конвер-
гентную валидность теста. Сбалансированность пунктов относительно
иррелевантных факторов обеспечивает дискриминантную валидность.
Эмпирически она выражается в отсутствии значимой корреляции с тес-
том, измеряющим концептуально независимое свойство.
STR.80
z у л
Факторы
Рис. II. Связь эмпирических инди-
каторов (показателей Пь Па, Пз) с
релевантным (измеряемым) факто-
ром А и с иррелевантными (<шумо-
выми>) факторами X, Y,Z, обуслов-
ливающими невалидность показа-
телей
С точки зрения теории Айзенка, тест Тейлор не обладает дискри
минантной валидностью по Ьтношению кофактору <экстраверсия-интрс
версия>, хотя и обладает определенной койвергентной валидностью п
отношению к релевантному фактору - <нейротизм>.
Экспертная эмпирическая валидизация. В отсутствие какого-либ
уже валидизированного теста, параллельно измеряющего изучаемо
свойство, а также в отсутствие разрг
ботанного теоретического контекст.
позволяющего проверять конструк"
ную валидность, поиходиагност оказь
вается перед необходимостью привл(
чения к валидизации теста эксперте
В отличие от экспертного анализа ci
держания теста эмпирическая экспер
ная валидизация предполагает рабо
экспертов не с тестом (лучше, чтоб
о нем эксперты вообще ничего i
знали), а с испытуемыми из выбор)
стандартизации.
Экспертам следует обеспечи
стандартные условия для наблюл
ния за испытуемыми. Но не всег,
такое стандартизованное наблюден
удается организовать. Даже если мы предприняли серьезные ус
Л1ия по организации наблюдения за поведением испытуемых в в
кой-либо искусственной лабораторной ситуации, такое наблюдение i
равно будет значительно уступать по информативности <полевом
наблюдению - в естественных условиях. Если измеряемое свойст
теоретически определено как устойчивая универсальная черта лич1
сти - как диспозиция к инвариантному поведению в широком спет
ситуаций (см. гл. 4), то и отдельного полевого наблюдения окаже1
недостаточно для получения полноценного экспертного критерия ]
лядности.
Поэтому на практике часто прибегают к оценкам особого типа
к субъективным оценкам, которые выносят испытуемому люди из i
круга, имеющие опыт реального общения с ним. С учетом этого п
цедура оценивания приспосабливается к обычным людям, не явл?
щимся психологами. На психолога падает большая нагрузка по
ставлению детальной инструкции оценщикам, однозначно задаюи
смысл оцениваемой характеристики. Лучшие условия для такой п
цедуры возникают при наличии группы испытуемых, тесно общающ
ся между собой, которые могут одновременно побывать и испытуе)
ми по отношению к тесту, и оценщиками по отношению друг к др
В советской литературе эта процедура получила сокращенное обоз
чение ГОЛ - <групповая оценка личности> (Кузьмин Н. В., Се
нов В. С., 1977).
Для того чтобы групповая оценка была источником действия
но валидной информации, оценщики должны согласованно оценив
испытуемых. Если в оценках разных оценщиков нет согласованно
то это означает, что либо оцениваемое свойство не проявилос
объекта оценивания, либо оценщики по-разному проинтерпретиров
инструкцию. Для измерения согласованности должна быть пострс
табличка с оценками (табл. 4).
Методы анализа данных, содержащихся в такой табличке, (j
мально совершенно эквивалентны тем методам, которые применяв
STR.81
для обработки таблиц <испытуемые Х пункты> (см. 3.1). В частно-
сти, суммы по строкам дают нам суммарные баллы, полученные каж-
дым испытуемым у всех К оценщиков. Таким образом, оценщики в
данном случае оказываются формально в роли пунктов теста. Рас-
считывая попарные корреляции между различными столбцами этой
таблички, можно получить коэффициенты согласованности для отдель-
Таблица 4
Оценщики
-о,0>S
Испытуемые ~~
HI И.Хц 21XM 22Xift хCi 02
и>XniХпаXnfcCn
ных пар оценщиков. Глобальной мерой согласованности оценщиков
может служить тот же коэффициент надежности а Кронбаха (форму-
ла (3.2.7)).
Если сама групповая оценка не обнаруживает надежности, то она
не может использоваться в качестве критерия валидизации при про-
верке валидности теста.
Эмпирическое значение коэффициента валидности рассчитывается
как линейная или ранговая корреляция между двумя рядами значе-
ний - тестовыми баллами и суммарными баллами экспертной оценки.
Это эмпирическое значение при наличии невысокого коэффициента на-
дежности критерия корректируют по формуле
r--, (3.3.1)
У <с
где Тех - эмпирическая корреляция с критерием;
ас - надежность критерия;
г(х-корреляция с <истинным> критерием (<истинная> валидность
теста).
Анализ пунктов по критерию валидности. Валидность целого теста
зависит от валидности входящих в него пунктов. Максимальная ва-
лидность достигается за счет отбора таких пунктов из пилотажной
батареи, которые, обладая значимой корреляцией с критерием, мини-
мально коррелируют между собой. Отбор пунктов именно по критерию
валидности обеспечивает максимальную прагматическую эффектив-
ность теста. Вручную (на калькуляторе) такой отбор можно произве-
сти, рассчитывая бисериальную корреляцию (или фи-корреляцию) кри-
терия с каждым пунктом из пилотажной батареи (см. формулы (3.2.14)
и (3,2.16)). При наличии компьютера можно использовать более эффек-
тивный алгоритм, основанный на анализе частных корреляций между
критерием и пунктами и предполагающий построение уравнения мно-
жественной регрессии (Аванесов В. С., 1982, с. 153-157). В резуль-
тате в таком уравнении каждый пункт получает весовой коэффициент,
количественно выражающий его вклад в критерий, не сводимый к вкла-
ду других пунктов, т. е. поиск оптимального набора пунктов автома-
тизируется. X. Гаррет приводит следующую яркую иллюстрацию эффек-
Этот весовой коэффициент и используется как ключ к данному пункту в но-
вой, скорректированной версии теста.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133