(
27/, 73% X фИ-К с. 8. Области (квантили) <высо-оэффициента: 2а -.Pi-Iп 1
VPiW-Pi
Рис. 8. Области (квантили) <высо- P - fp-lN_ Р\
кой> и <низкой> группы на графике
распределения тестовых баллов __ количество ответов <верно>
(<да>) на 1-тый пункт теста;
N -.сумма всех элементов таблички;
N= 11-0,54, где п - численность всей выборки;
В ряде пособий показатель согласованности для пунктов называется дискрими
иативностью пунктов (Гайда В. К., Захаров В. П., 1982).
Полная формула отличается от (3.2.12) наличием в числителе вычитаемог
(д+b+c+d)/2-поправки с учетом вклада, который i-тый пункт вносит в сумма]
ный балл X. п ,
- Если 2а-Р.<0, то числитель в формуле (3.2.14) выглядит так: ia- .+1.
STR.73
Pi==a+b. При включении в эстремальную группу 1/3 выборки N-.
=0,66-п.
В некоторых случаях подобный анализ позволяет уточнить ключ
для пункта: если пункт получает значимый положительный фи-коэф-
фициент, то ключ определяется величиной <+1>, если пункт получает
значимый отрицательный фи-коэффициент, то величиной <-1>. Если
пункт ролучает незначимый фи-коэффициент, то его целесообразно
исключить из батареи.
При ручных вычислениях фи-коэффициента удобно вначале с по-
мощью формул (3.2.13) и (3.2.14) определить граничное значение зна-
чимого (по модулю) фи-коэффициента. Например, при выборке в
100 человек и уровне значимости р<0,01 пороговое значение вычисля-
ется так:
f-~,___ ____ \
=V?-=V-iг -
При постоянном использовании компьютера при подсчете суммар-
ных баллов - ключ для каждого пункта С/ целесообразно определить
в виде самого фи-коэффициента (или другого коэффициента корреля-
ции), определенного при коррелировании ответов на пункт с суммар-
ным баллом. Тогда тестовый балл подсчитывается по формуле
1 Rifli, (3.2.16)
/-i
где Xi - суммарный балл i-того испытуемого;
Ra - ответ <верно> (+1) или <неверно> (-1) i-того испытуемого
на J-ТЫЙ пункт;
Cj - ключ для J-ТОГО пункта: С/=-Ц для прямого, С,=-1 для
обратного.
Более чувствительный коэффициент, который также применяется
для дихотомических пунктов,- это точечный бисериальный коэффи-
циент корреляции, учитывающий амплитуду отклонения индивидуаль-
ных суммарных баллов от среднего балла:
х - pix
т " - , (3.2.17)
Sx-r PW
где 2х"- сумма финальных баллов тех индивидов, которые дали
утвердительный ответ на t-тый пункт теста (решили i-тую задачку);
Sx - стандартное отклонение для суммарных баллов всех индиви-
дов из выборки;
У piOt- стандартное отклонение по i-тому пункту;
х - средний балл по всем пунктам.
А. Анастази относит критерий внутренней согласованности теста к
валидности (Анастази А., 1982, кн. 1, с. 143), однако если и можно
в данном случае говорить о валидности, то только в смысле особой
внутренней валидности теста. Как правило, слишком высокая согласо-
ванность снижает внешнюю валидность теста по критерию (см. 3.3).
Если проверяется согласованность пунктов, составленных одним авто-
ром (одним коллективом по стандартной инструкции), то выявление
достаточного набора согласованных пунктов свидетельствует о внут-
72 1:
STR.74
ИррЕлебантные
уактры
"Прямые пункты
ренней валидности (согласованности) разработанного диагностического
понятия (конструкта).
В компьютерных данных факторного анализа аналогом корреля-
ции пункта с суммарным баллом является нагрузка пункта на веду-
щий фактор (<факторная валидность> в терминах А. Анастази). Если
прибегать к геометрическому изображению нагрузки как проекции
вектора-пункта на ось-фактор, то структура пунктов хорошо согласо-
ванного теста предстанет в виде пуч-
ка векторов, плотно прилегающих к
фактору и вытянувшихся вдоль его
оси (рис. 9).
Последовательность действий при
проверке надежности. 1. Узнать, суще-
ствуют ли данные о надежности теста,
предполагаемого к использованию, на
какой популяции и в какой диагности-
ческой ситуации проводилась провер-
ка. Если проверки не было или приз-
наки новой популяции и ситуации яв-
но специфичны, провести .заново про-
верку надежности с учетом указанных
ниже возможностей.
2. Если возможности обследова-
ния испытуемых, смысл теста и
возможности обработки (наличие
ЭВМ) позволяют, то произвести по-
вторное тестирование на всей выборке стандартизации и подсчитать
все коэффициенты, приведенные в 3.2, как для целого теста, так и
для отдельных пунктов. Анализ полученных коэффициентов позволит
понять, насколько пренебрежима ошибка измерения, дает ли данный
тест интервальную шкалу (высокий г) или только диагностичен для
крайних групп (высокий (р), насколько устойчиво измеряемое свойство
во времени (возможен ли статистический .прогноз - проекция тесто-
вого балла на будущее), в каких своих частях (пунктах) тест менее
надежен (анализ этих пунктов позволяет психологически осмыслить
содержательный механизм взаимодействия пунктов с испытуемыми).
3. Если возможности ограничены, произвести повторное тестирова-
ние только на части выборки (не менее 30 испытуемых), подсчитать
вручную) ранговую или четырехклеточную корреляцию для оценки
внутренней согласованности (методом расщепления) и стабильности
целого теста.
Рем8он1П.-
-" ныи
фактор
Рис. 9. Векторная графическая мо-
дель соотношения <прямых> и <об-
ратных> эмпирических индикаторов
(пунктов) с релевантным (измеряе-
мый) фактором и иррелевантными
(<шумовыми>) факторами
3.3. ВАЛИДНОСТЬ ТЕСТОВ
Проблемы валидизации психологических тестов являются централь-
ными для дифференциальной психометрики, но, к сожалению, до сих
пор решенными не до конца. Решение этой проблемы зависит не от
статистического аппарата, а от уровня развития теоретического аппа-
рата дифференциальной психологии.
Валидность и надежность. Валидность (или обоснованность) всякой
процедуры измерения состоит в однозначности (устойчивости) получае-
мых результатов относительно измеряемых свойств объектов, т. е. от-
носительно предмета измерения. Отличие понятия валидности от на-
дежности измерения удобно раскрывать с помощью различения
<объекта> и <предмета> измерения. Надежность - это устойчивость
STR.75
процедуры относительно объектов. Надежность не обязательно пред-
полагает валидность. В психологии довольно часто возникает такая си-
туация, когда исследователь вначале предлагает определенную про-
цедуру измерения, показывает ее надежность -способность устойчиво
различать объекты, но вопрос о валидности остается открытым.
Если в сенсорной психофизике вопрос о валидности измерений ока-
зывается в значительной степени затушеванным тем обстоятельством,
что простейшие физические стимулы достаточно однозначно детерми-
нируют измеряемые свойства ощущений, то в дифференциальной психо-
метрике значимость проблемы валидности резко возрастает. Здесь си-
туация подобна той, когда в психофизическом опыте испытуемому не
указывают, по какому именно параметру следует сравнивать стимулы.
Пусть испытуемый А понял инструкцию так, что стимульные объекты
надо сравнивать по весу, а испытуемый Б - по размеру. Если проце-
дура измерения будет повторена по отношению к тем же объектам, то
она даст вполне устойчивые данные относительно объектов, но не даст
валидной информации ни о шкале ощущений <веса>, ни о шкале ощу-
щений <размера>.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133
27/, 73% X фИ-К с. 8. Области (квантили) <высо-оэффициента: 2а -.Pi-Iп 1
VPiW-Pi
Рис. 8. Области (квантили) <высо- P - fp-lN_ Р\
кой> и <низкой> группы на графике
распределения тестовых баллов __ количество ответов <верно>
(<да>) на 1-тый пункт теста;
N -.сумма всех элементов таблички;
N= 11-0,54, где п - численность всей выборки;
В ряде пособий показатель согласованности для пунктов называется дискрими
иативностью пунктов (Гайда В. К., Захаров В. П., 1982).
Полная формула отличается от (3.2.12) наличием в числителе вычитаемог
(д+b+c+d)/2-поправки с учетом вклада, который i-тый пункт вносит в сумма]
ный балл X. п ,
- Если 2а-Р.<0, то числитель в формуле (3.2.14) выглядит так: ia- .+1.
STR.73
Pi==a+b. При включении в эстремальную группу 1/3 выборки N-.
=0,66-п.
В некоторых случаях подобный анализ позволяет уточнить ключ
для пункта: если пункт получает значимый положительный фи-коэф-
фициент, то ключ определяется величиной <+1>, если пункт получает
значимый отрицательный фи-коэффициент, то величиной <-1>. Если
пункт ролучает незначимый фи-коэффициент, то его целесообразно
исключить из батареи.
При ручных вычислениях фи-коэффициента удобно вначале с по-
мощью формул (3.2.13) и (3.2.14) определить граничное значение зна-
чимого (по модулю) фи-коэффициента. Например, при выборке в
100 человек и уровне значимости р<0,01 пороговое значение вычисля-
ется так:
f-~,___ ____ \
=V?-=V-iг -
При постоянном использовании компьютера при подсчете суммар-
ных баллов - ключ для каждого пункта С/ целесообразно определить
в виде самого фи-коэффициента (или другого коэффициента корреля-
ции), определенного при коррелировании ответов на пункт с суммар-
ным баллом. Тогда тестовый балл подсчитывается по формуле
1 Rifli, (3.2.16)
/-i
где Xi - суммарный балл i-того испытуемого;
Ra - ответ <верно> (+1) или <неверно> (-1) i-того испытуемого
на J-ТЫЙ пункт;
Cj - ключ для J-ТОГО пункта: С/=-Ц для прямого, С,=-1 для
обратного.
Более чувствительный коэффициент, который также применяется
для дихотомических пунктов,- это точечный бисериальный коэффи-
циент корреляции, учитывающий амплитуду отклонения индивидуаль-
ных суммарных баллов от среднего балла:
х - pix
т " - , (3.2.17)
Sx-r PW
где 2х"- сумма финальных баллов тех индивидов, которые дали
утвердительный ответ на t-тый пункт теста (решили i-тую задачку);
Sx - стандартное отклонение для суммарных баллов всех индиви-
дов из выборки;
У piOt- стандартное отклонение по i-тому пункту;
х - средний балл по всем пунктам.
А. Анастази относит критерий внутренней согласованности теста к
валидности (Анастази А., 1982, кн. 1, с. 143), однако если и можно
в данном случае говорить о валидности, то только в смысле особой
внутренней валидности теста. Как правило, слишком высокая согласо-
ванность снижает внешнюю валидность теста по критерию (см. 3.3).
Если проверяется согласованность пунктов, составленных одним авто-
ром (одним коллективом по стандартной инструкции), то выявление
достаточного набора согласованных пунктов свидетельствует о внут-
72 1:
STR.74
ИррЕлебантные
уактры
"Прямые пункты
ренней валидности (согласованности) разработанного диагностического
понятия (конструкта).
В компьютерных данных факторного анализа аналогом корреля-
ции пункта с суммарным баллом является нагрузка пункта на веду-
щий фактор (<факторная валидность> в терминах А. Анастази). Если
прибегать к геометрическому изображению нагрузки как проекции
вектора-пункта на ось-фактор, то структура пунктов хорошо согласо-
ванного теста предстанет в виде пуч-
ка векторов, плотно прилегающих к
фактору и вытянувшихся вдоль его
оси (рис. 9).
Последовательность действий при
проверке надежности. 1. Узнать, суще-
ствуют ли данные о надежности теста,
предполагаемого к использованию, на
какой популяции и в какой диагности-
ческой ситуации проводилась провер-
ка. Если проверки не было или приз-
наки новой популяции и ситуации яв-
но специфичны, провести .заново про-
верку надежности с учетом указанных
ниже возможностей.
2. Если возможности обследова-
ния испытуемых, смысл теста и
возможности обработки (наличие
ЭВМ) позволяют, то произвести по-
вторное тестирование на всей выборке стандартизации и подсчитать
все коэффициенты, приведенные в 3.2, как для целого теста, так и
для отдельных пунктов. Анализ полученных коэффициентов позволит
понять, насколько пренебрежима ошибка измерения, дает ли данный
тест интервальную шкалу (высокий г) или только диагностичен для
крайних групп (высокий (р), насколько устойчиво измеряемое свойство
во времени (возможен ли статистический .прогноз - проекция тесто-
вого балла на будущее), в каких своих частях (пунктах) тест менее
надежен (анализ этих пунктов позволяет психологически осмыслить
содержательный механизм взаимодействия пунктов с испытуемыми).
3. Если возможности ограничены, произвести повторное тестирова-
ние только на части выборки (не менее 30 испытуемых), подсчитать
вручную) ранговую или четырехклеточную корреляцию для оценки
внутренней согласованности (методом расщепления) и стабильности
целого теста.
Рем8он1П.-
-" ныи
фактор
Рис. 9. Векторная графическая мо-
дель соотношения <прямых> и <об-
ратных> эмпирических индикаторов
(пунктов) с релевантным (измеряе-
мый) фактором и иррелевантными
(<шумовыми>) факторами
3.3. ВАЛИДНОСТЬ ТЕСТОВ
Проблемы валидизации психологических тестов являются централь-
ными для дифференциальной психометрики, но, к сожалению, до сих
пор решенными не до конца. Решение этой проблемы зависит не от
статистического аппарата, а от уровня развития теоретического аппа-
рата дифференциальной психологии.
Валидность и надежность. Валидность (или обоснованность) всякой
процедуры измерения состоит в однозначности (устойчивости) получае-
мых результатов относительно измеряемых свойств объектов, т. е. от-
носительно предмета измерения. Отличие понятия валидности от на-
дежности измерения удобно раскрывать с помощью различения
<объекта> и <предмета> измерения. Надежность - это устойчивость
STR.75
процедуры относительно объектов. Надежность не обязательно пред-
полагает валидность. В психологии довольно часто возникает такая си-
туация, когда исследователь вначале предлагает определенную про-
цедуру измерения, показывает ее надежность -способность устойчиво
различать объекты, но вопрос о валидности остается открытым.
Если в сенсорной психофизике вопрос о валидности измерений ока-
зывается в значительной степени затушеванным тем обстоятельством,
что простейшие физические стимулы достаточно однозначно детерми-
нируют измеряемые свойства ощущений, то в дифференциальной психо-
метрике значимость проблемы валидности резко возрастает. Здесь си-
туация подобна той, когда в психофизическом опыте испытуемому не
указывают, по какому именно параметру следует сравнивать стимулы.
Пусть испытуемый А понял инструкцию так, что стимульные объекты
надо сравнивать по весу, а испытуемый Б - по размеру. Если проце-
дура измерения будет повторена по отношению к тем же объектам, то
она даст вполне устойчивые данные относительно объектов, но не даст
валидной информации ни о шкале ощущений <веса>, ни о шкале ощу-
щений <размера>.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133