Итак, средние ошибки, характеризующие противоречивость л
рассматриваемых шкал, оказались равными
Процесс маркетинговых исследований 219
УА = -0,37; Ув = 1,57.
Ошибка в 1,57 балла при пятибалльной оценке, видимо, слишком
велика, чтобы считать шкалу приемлемой.
Данный подход повышения надежности шкалы является весьма
сложным. Поэтому его можно рекомендовать лишь при разработке ответ-
ственных тестов или методик, предназначенных для массового употреб-
ления или панельных исследований.
Один метод - несколько исполнителей. Если метод надежен, то раз-
ные исполнители дадут совпадающую информацию, но если их резуль-
таты плохо согласуются, то либо измерения ненадежны, либо результа-
ты отдельных исполнителей нельзя считать равноценными. В последнем
случае надо установить, нельзя ли рассматривать какую-либо группу
результатов, заслуживающую большего доверия. Решение этой задачи
тем более важно, если предполагается, что одинаково допустимо полу-
чение информации любым из рассматриваемых методов (например, ис-
пользование самооценок против оценок). Анализ параллельных данных с
помощью описанных ниже процедур позволит установить правильность
такого предположения.
Для количественных признаков при решении вопроса о согласован-
ности оценок нескольких исполнителей предлагается выявить ошибки
соответствия одним из приемов, рассмотренных при изучении устойчи-
вости. Прежде всего, поскольку мы имеем здесь случай прямых группо-
вых наблюдений, наиболее адекватной оценкой совпадения данных яв-
ляется средняя квадратическая ошибка.
Тем же способом можно изучать совпадения оценок и самооценок.
Если согласованность оценок со стороны <судей> и соответствующих
самооценок респондентов будет достаточно высокой, это может озна-
чать, что методика достаточно обоснована. Во всяком случае, одновре-
менное использование оценок и самооценок дает возможность глубже
понять сущность измеряемых признаков, уточнить их смысл.
Несколько методов и несколько исполнителей. Одним из способов ус-
тановления обоснованности измерения некоторого качества у одного и
того же респондента (объекта) является фиксирование данного свойства
разными исполнителями, владеющими разными методами. Как и в пре-
дыдущих случаях, здесь нельзя установить некую абсолютную обосно-
ванность, поэтому рассматривается лишь обоснованность одного спосо-
ба относительно другого.
Кроме того, в ряде случаев при проверке измерений на обоснован-
ность используется подход, носящий название <тест по эталонной груп-
пе>. Смысл проверки - в сопоставлении данных, полученных путем
измерения по шкале, с достоверными сведениями об объекте измерения.
Например, если подключить к телевизору прибор, регистрирующий вре-
мя его работы, и сопоставить показания прибора с результатами опроса
о частоте и длительности просмотра телепрограмм, можно точно уста-
новить обоснованность данного опроса.
Использование параллельных методов измерения одного и того же
свойства сталкивается с целым рядом трудностей.
Во-первых, неясно, в какой мере оба метода измеряют одно и то
же качество объекта, причем, как правило, формальных критериев для
220 Глава 4
проверки такой гипотезы не существует. Следовательно, необх
прибегнуть к содержательному (логико-теоретическому) обоснс;
того или иного метода.
Во-вторых, если обнаруживается, что параллельные процедур
меряют общее свойство (данные существенно не различаются), ос;
вопрос о теоретико-содержательном соответствии этих процедур
Нельзя не признать, что сам принцип использования парал.ч
процедур оказывается не формальным, а скорее содержательным ;
ципом, и решение остается за теоретико-методологической конш!
исследования.
Метод судейства при обосновании процедур измерения. Один и ;.
ко распространенных подходов к установлению обоснованности
использование так называемых судей, экспертов. Исследователи оо;
ются к определенной группе людей (возможно, участников фок>\
пы) с просьбой выступить в качестве компетентных лиц. Им пред ;
набор признаков, предназначенный для измерения изучаемого яи ;
и просят оценить правильность отнесения каждого из признаков к
объекту. Совместная обработка мнений судей позволит присвоив
знакам веса или, что то же самое, шкальные оценки в измерен н
чаемого явления. В качестве набора признаков может выступить с
отдельных суждений, характеристики явления и т. д.
Процедуры судейства многообразны. В основе их могут :.
методы парных сравнений, ранжирования, последовательных и
валов и т. д.
Вопрос о том, кого следует считать судьями, достаточно диск
онен. Судьи, выбираемые в качестве представителей изучаемой сок
ности, так или иначе должны представлять ее микромодель: по опс
судей исследователь определяет, насколько адекватно будут исто ;
ны респондентами те или иные пункты опросной процедуры и>
гие, обращенные к респонденту, стимулы.
Однако при отборе судей возникает трудноразрешимый т
каково влияние собственных установок судей на их оценки, вс
установки могут существенно отличаться от установок обследуем
отношении того же самого объекта.
Ясно, что в каждом конкретном случае следует осуществлять !
роль такого рода ошибок применительно к данной выборке судей
Так, используя мужчин и женщин в качестве судей для о;
различных занятий на досуге, нашли, что установки мужчин суше.
но отличаются от установок судей - женщин. Более того, это зав>к
того, увлекается ли сам судящий данным видом досуга.
В общем виде решение проблемы состоит в том, чтобы;
а) внимательно проанализировать состав судей с точки зрения
ватности их жизненного опыта и признаков социального статуса
ветствующим показателям обследуемой генеральной совокупное-!!
б) выявить эффект индивидуальных отклонений в оцснка\
относительно общего распределения оценок.
Наконец, следует оценить не только качество, но и объем выб
ной совокупности судей.
С одной стороны, это количество определяется согласован но>
если согласованность мнений судей достаточно высокая и, соотнес с
Процесс маркетинговых исследований 221
но, ошибка измерения мала, численность судей может быть небольшой.
Нужно задать значение допустимой ошибки и на основании ее рассчи-
тать требуемый объем выборки.
При обнаружении полной неопределенности объекта, т.е. в случае,
когда мнения судей распределятся равномерно по всем категориям оцен-
ки, никакое увеличение объема выборки судей не спасет ситуацию и не
выведет объект из состояния неопределенности.
Здесь возникает проблема точности (устойчивости) измерения. Рас-
смотрим с этой точки зрения принципиально разные варианты судей
ства:
1) производится классификация состояний объекта (сам объект
имеет качественные градации);
2) находится количественная оценка изменяющихся состояний
объекта, представляющих собой континуум.
В первом случае при определении объема выборки судей необходи-
мо задать некоторый уровень определенности в их мнениях, т. е. разброс
распределения оценок должен быть не выше некоторого порогового
значения. Во втором - задается уровень допустимой ошибки.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155