Специфическая проблема, присущая многим выборкам валидации,
связана с предварительным отбором испытуемых. Так, при определении
валидности нового теста на группе лиц, недавно принятых на работу,
критериальной мерой, очевидно, будет выполнение ими своих обязанно-
стей. Вполне вероятно, однако, что эти лица были уже отобраны теми,
кто принимает на работу. Поэтому в подобной выборке разброс показа-
телей теста и критериальной меры уменьшится на нижнем конце распре-
деления, а следовательно, снизит коэффициент валидности. А это значит,
что последующее использование теста для отбора всех поступающих на
работу, по-видимому, покажет более высокую валидность.
/ Коэффициенты валидности могут также меняться со временем
вследствие изменения норм отбора.; В качестве примера сравним коэффи-
циенты валидности, полученные с интервалом в 30 лет при обследовании
студентов Иельского университета (P. S. Bumham, 1965). Определялась
корреляция между прогностическим показателем, основанным на тестах
Совета по вступительным экзаменам в колледж, и успеваемостью в стар-
ших классах, с одной стороны, и средним баллом первокурсника-с дру-
гой. Оказалось, что за 30 лет корреляция снизилась с 0,71 до 0,52. Про-
верка двумерного распределения данных легко выявила причину этого
снижения. Дело в том, что в связи с повысившимися требованиями при
приеме в колледж группа студентов во втором случае была более одно-
родной, чем в первом, по отношению как к предиктору, так и к крите-
риальному выполнению. Отсюда и падение корреляции, несмотря на то
что точность прогноза успеваемости в колледже осталась в общем пре-
жней. Иными словами, наблюдавшийся эффект вовсе не свидетельствует
о временном снижении валидности предикторов, а к такому выводу
моно бы прийти, упустив из вида различия в однородности групп.
-Для правильной интерпретации коэффициента валидности следует
принимать во внимание форму зависимости между тестом и критерием.
Определение пирсоновского коэффициента корреляции предполагает, что
эта зависимость линейна и остается одной и той же по всему диапазону
значений предиктора. Однако в ряде ситуаций это условие не выполняет-
ся (J. Fisher, 1959; D. Kahneman, 1962). Пусть для выполнения некоторой
работы требуется лишь минимальный уровень понимания читаемого, до-
статочный для прочтения инструкций, названий и т.д. Но как только
этот минимальный уровень превзойден, то от дальнейшего развития
данного умения успешность выполнения работы уже не зависит, т.е. ме-
жду тестом и выполнением работы существуют нелинейные отношения.
Проверка двумерного распределения или диаграммы рассеяния, по-
строенной по показателям теста на понимание читаемого и крите-
риальных мер, выявила бы, что уровень выполнения работы растет, пока
,-,"" ,,>nrrf -ггала тт тттт-QT "rrVPAAnir ТПНН ПОСЛб ЧеГО
152 lllIIIIUIItIhl ПСИХОЛОГИЧЕСКОГО ТГСТИРОИАПИЯ
он остается примерно тем же. Следовательно, точки на диаграмме ско-
рее группируются вокруг кривой, а не прямой линии.
В других случаях эта линия может быть и прямой, но точки, изобра-
жающие индивидуальные данные, могут отстоять от нее в верхнем конце
шкалы дальше, чем в нижнем. Предположим, что выполнение теста спо-
собности к обучению-необходимое, но не достаточное условие для ус-
воения некоторого учебного предмета. Это значит, что ученики, показав-
шие в тесте низкие результаты, справятся с ним плохо, тогда как среди
учеников с высокими результатами одни освоят предмет, а другие, из-за
недостаточной мотивации, еле его одолеют. В этом случае будет наблю-
даться большая вариативность критериального выполнения у учащихся
с более высокими тестовыми результатами, чем с более низкими. Опи-
санная особенность двумерного распределения называется гетероскеда-
стичиостыо. Определение корреляции по Пирсону предполагает наличие
гомоскедастичности, т.е. одинаковую дисперсию критерия по всей обла-
сти двумерного распределения. В приведенном примере двумерное рас-
пределение имеет форму веера, расширяющегося слева направо и снизу
вверх. Одною взгляда на двумерное распределение обычно бывает до-
статочно для установления характера соотношения между тестом и кри-
терием. Прогностические таблицы и карты прогноза также достаточно
хорошо выявляют относительную эффективность теста на разных уров-
нях.
Величина коэффициента валидности. Какова должна быть ве-
личина коэффициента валидности? На этот вопрос нет единого ответа.
так как при интерпретации коэффициента валидности нужно учитывать
ряд побочных обстоятельств. Конечно, корреляция должна быть стати-
стически значимой на некотором достаточном уровне (0,01 или 0,05-см.
гл. 5). Иными словами, прежде чем делать выводы о валидности теста,
нужно иметь уверенность в том, что данный коэффициент валидности не
появился в результате случайных выборочных отклонений от нулевого
значения.
Установив значимость корреляции между тестовыми показателями
и критерием, необходимо еще оценить величину корреляции с точки зре-
ния использования теста. Если мы хотим оценить величину индивидуаль-
ного критериального показателя (скажем, успеваемость первокурсника),
то для интерпретации коэффициента валидности уместно обратиться
к стандартной ошибке оценки, аналогично рассматривавшейся в связи
с надежностью теста ошибке измерения. Напомним, что ошибка измере-
ния указывает на допустимые пределы возможной ошибки в индиви-
дуальных показателях вследствие ограниченной надежности теста. Точно
так же ошибка оценки указывает на допустимые пределы возможной
ошибки в прогнозируемой величине индивидуального критериального
показателя как результата ограниченной валидности теста.
Ошибка оценки находится по следующей формуле:
-~
-ст1 - r,
где r -квадрат коэффициента валидности и -стандартное отклонение
критериальных показателей-.3аметим, что при полной валидности ошиб-
ка оценки была бы равна нулю. Вместе с тем если валидность теста рав-
на нулю, то ошибка оценки совпадает со стандартным отклонением кри-
териального распределения. В этих условиях прогноз равносилен
153 ВАЛИДНОСТЬ. ИЗМЕгеНИ И ИПТИРПППАЦИЯ
деление критериальных показателей. Ошибка оценки и IUUCIIMOCIH от
меняющейся валидности теста располагается между этими предельными
значениями. ______
Из формулы для (7, видно, что величина [/1 - " указывает на вели-
чину ошибки относительно ошибки простого угидыччпия, т.е. при нуле-
вой валидности. Иными словами, если ]/)- гу = 1,00, то ошибка оцен-
ки столь же велика, как и при угадывании. Пользы от теста, сле-
довательно не будет никакой. Если коэффициент валидное in равец 0,80,
то 1/1- гу= 0,60, т.е. ошибка составляет 60"" от той, которая бы-
ла бы при угадывании. Это означает, что тест позволяет делать про-
гнозы о критериальном выполнении индивида с ошибкой на 40"" мень-
шей, чем в случае угадывания.
Может показаться, что даже при такой необычно высокой валидно-
сти, как 0,80, ошибка в предсказываемых показателях все еще значи цель-
на. Если основным назначением психологического теста счтать прелска-
зание точного положения показателя ипдипида в распредслепип крше-
риальных показателей, то вывод будет совершенно обескуражипакнцпм.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132