<Следующие вопросы относятся только к тем, кто
параллельно сбывает товары следующих фирм (указано - каких)>.
Вопросы-ловушки помогают выявить недостаточно компетентных
(недобросовестных) экспертов следующим образом. Скажем, в число
оцениваемых товаров включаются товар несуществующей марки. Лица,
оценившие данный товар, подозреваются в невнимательности или заве-
домой недобросовестности.
Таблица 5.2
Анкета для оценки компетентности эксперта
Объективмаяоценка - ПоСубъективная оценка1-Ьс
ЗанимаемаяБал-УровеньБал-Общий стажБал-Стаж работыБал-Степень участия вБал-
должностьлыобразованиялыработылыпо проблемелырешении даннойлы
проблемы
Руководитель10Доктор наук6Более 10 лет10Более 10 лет10Эксперт10
организацииспециализируется
по данному вопросу
Зам.8Кандидат наук4От 10 до 5 лет8От 10 до 5 лет8Эксперт участвует в8
руководителяпрактическом
решении данного
вопроса, но он не
входит в сферу его
узкой
специал изации
Руководитель6Высшее2Менее 5 лет6Менее 5 лет6Вопрос входит в6
подразделе-образованиесферу тесно
ниясвязанного с его
узкой
специализацией
направления
Зам.4Вопрос не входит в3
руководителясферу тесно
подразделе-связанного с его
нияузкой
специализацией
направления
296 Глава 5
Если экспертиза проводится неоднократно одной и той же группой]
(или устойчивым большинством) экспертов по сходным вопросам, сле-
дует при каждом новом опросе воспользоваться уже полученными ре-
зультатами для уточнения характеристик компетентности экспертов.
Практика экспертных опросов показывает, что, хотя методы само-
оценки недостаточны для того, чтобы служить единственным критерием
оценки компетентности экспертов, использование этих методов способ"!
ствует более обоснованным выбору и оценке экспертов. |
Получены данные, подтверждающие связь между средней группо-|
вой самооценкой (частное от деления суммы индивидуальных на число!
экспертов в группе) и точностью экспертизы [37]. На рис. 5.1 изображена)
кривая, показывающая зависимость между средней групповой самооцен-
кой (у) и средней групповой ошибкой (х).
1 В 1 С 3 А У
Рис. 5.1. Влияние средней групповой самооценки на точность экспертизы
Между этими величинами существует обратная связь, заключающа-
яся в том, что средняя групповая ошибка монотонно убывает с возра-
станием средней самоценки. Из этого вытекает следующий вывод. Пусть,
например, группа кандидатов в эксперты со средней оценкой С разделе-
на на две подгруппы, из которых подгруппа А имеет более высокую
самоценку, чем группа в целом, а подгруппа В - более низкую. Тогда
подгруппа А будет в среднем более точной, чем вся группа, а подгруппа
В- менее точной.
С другой стороны, различные подходы к оценке компетентносп
экспертов можно рассмотреть и с иных позиций. Экспертные оценки
носят субъективный характер, оценка компетентности экспертов - так-
же. Возникает вопрос: повышает ли точность результатов экспертизы
наложение субъективных оценок компетентности экспертов? Может был
проще определять окончательные оценки без формализованного учета
компетентности экспертов? Только при этом следует на этапе отбора
экспертов уделить больше внимания неформальной оценке уровня ш
квалификации, а затем, при подведении результатов экспертизы, счи-
тать их всех равнокомпетентными, и в качестве интегральной оценки
рассматривать среднеарифметическое их отдельных оценок. Часто на
практике поступают именно таким образом. |
Экспертные оценки 297
Г. Работа с экспертами
В зависимости от характера исследуемого объекта, от степени его
формализации и возможности привлечения необходимых экспертов по-
рядок работы с ними может быть различным, но в основном он содер-
жит следующие три этапа.
На первом этапе эксперты привлекаются в индивидуальном порядке с
целью уточнить модель объекта, ее параметры и показатели, подлежащие
экспертной оценке; уточнить формулировки вопросов и терминологию в
анкетах; согласовать целесообразность представления таблиц экспертных
оценок в той или иной форме; уточнить состав группы экспертов.
На втором этапе экспертам направляются анкеты с пояснительным
письмом, в котором описывается цель работы, структура и порядок за-
полнения анкет с примерами.
Когда имеется возможность собрать экспертов вместе, особенно если
удается их сгруппировать в соответствии с какими-либо признаками,
существенно важными для данного опроса, например эксперты из од-
ной организации, только сотрудники сбытовых служб, то цели и задачи
анкетирования, а также все вопросы, связанные с анкетированием, могут
быть доложены устно. Обязательное условие такой формы экспертного
опроса - последующее самостоятельное заполнение анкет при соблюде-
нии всех правил анкетирования.
Третий этап работы с экспертами осуществляется после получения
результатов опроса и изучения исследуемого объекта другими методами
в процессе обработки и анализа полученных результатов. На этом этапе
от экспертов в форме консультаций обычно получают всю недостающую
информацию, которая требуется для уточнения полученных данных и их
окончательного анализа.
Д. Анализ и обработка экспертных оценок
При проведении анализа собранных экспертных данных в соответ-
ствии с целями исследования и принятыми моделями необходимо опре-
делить согласованность действий экспертов и достоверность экспертных
оценок.
Пусть для каждого события С, на основании оценок а,,, заданных
группой из Р экспертов, образована матрица рангов важности - зза, зз,
где I = 1, 2,..., т - число событий, ] = 1, 2,..., р - число экспертов.
Матрица 1!а1 получается из матрицы На,,!! путем определения, исходя
из коэффициентов относительной важности событий Оу рангов важности
этих событий, т.е. событиям присваиваются номера 1, 2, 3,..., т нату-
рального ряда чисел.
Таким образом, при ранжировании события располагаются в поряд-
ке возрастания или убывания какого-либо признака X, количественно
неизмеримого. Ранг указывает то место, которое занимает 1-е событие
среди других т событий, ранжированных в соответствии с признаком X.
Ранжирование применяется, когда события располагаются согласно
неизмеримому и неподсчитываемому качеству (например, потребитель-
ские свойства товара, направления совершенствования товара и т. д.)
или рассматриваются только относительно взаимного расположения во
времени или пространстве. Ранжирование может являться менее точным
29В Глава 5
выражением упорядоченной связи событий относительно какого-либо1
измеримого или подсчитываемого качества как замена переменной по-
рядковым номером в прикидочных расчетах в целях экономии времени
и уменьшения трудоемкости вычислений.
При использовании рангов важности для сравнения результатов (со-
бытий) нельзя установить, насколько один результат лучше другого,
можно только определить ряд предпочтения рассматриваемых результа-
тов. Иными словами, числа, характеризующие порядковую меру пред-
почтительности результатов, при сравнении, предположим, событий А
и Б нельзя делить или вычитать, пытаясь узнать, насколько первый
результат лучше второго (см.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155
параллельно сбывает товары следующих фирм (указано - каких)>.
Вопросы-ловушки помогают выявить недостаточно компетентных
(недобросовестных) экспертов следующим образом. Скажем, в число
оцениваемых товаров включаются товар несуществующей марки. Лица,
оценившие данный товар, подозреваются в невнимательности или заве-
домой недобросовестности.
Таблица 5.2
Анкета для оценки компетентности эксперта
Объективмаяоценка - ПоСубъективная оценка1-Ьс
ЗанимаемаяБал-УровеньБал-Общий стажБал-Стаж работыБал-Степень участия вБал-
должностьлыобразованиялыработылыпо проблемелырешении даннойлы
проблемы
Руководитель10Доктор наук6Более 10 лет10Более 10 лет10Эксперт10
организацииспециализируется
по данному вопросу
Зам.8Кандидат наук4От 10 до 5 лет8От 10 до 5 лет8Эксперт участвует в8
руководителяпрактическом
решении данного
вопроса, но он не
входит в сферу его
узкой
специал изации
Руководитель6Высшее2Менее 5 лет6Менее 5 лет6Вопрос входит в6
подразделе-образованиесферу тесно
ниясвязанного с его
узкой
специализацией
направления
Зам.4Вопрос не входит в3
руководителясферу тесно
подразделе-связанного с его
нияузкой
специализацией
направления
296 Глава 5
Если экспертиза проводится неоднократно одной и той же группой]
(или устойчивым большинством) экспертов по сходным вопросам, сле-
дует при каждом новом опросе воспользоваться уже полученными ре-
зультатами для уточнения характеристик компетентности экспертов.
Практика экспертных опросов показывает, что, хотя методы само-
оценки недостаточны для того, чтобы служить единственным критерием
оценки компетентности экспертов, использование этих методов способ"!
ствует более обоснованным выбору и оценке экспертов. |
Получены данные, подтверждающие связь между средней группо-|
вой самооценкой (частное от деления суммы индивидуальных на число!
экспертов в группе) и точностью экспертизы [37]. На рис. 5.1 изображена)
кривая, показывающая зависимость между средней групповой самооцен-
кой (у) и средней групповой ошибкой (х).
1 В 1 С 3 А У
Рис. 5.1. Влияние средней групповой самооценки на точность экспертизы
Между этими величинами существует обратная связь, заключающа-
яся в том, что средняя групповая ошибка монотонно убывает с возра-
станием средней самоценки. Из этого вытекает следующий вывод. Пусть,
например, группа кандидатов в эксперты со средней оценкой С разделе-
на на две подгруппы, из которых подгруппа А имеет более высокую
самоценку, чем группа в целом, а подгруппа В - более низкую. Тогда
подгруппа А будет в среднем более точной, чем вся группа, а подгруппа
В- менее точной.
С другой стороны, различные подходы к оценке компетентносп
экспертов можно рассмотреть и с иных позиций. Экспертные оценки
носят субъективный характер, оценка компетентности экспертов - так-
же. Возникает вопрос: повышает ли точность результатов экспертизы
наложение субъективных оценок компетентности экспертов? Может был
проще определять окончательные оценки без формализованного учета
компетентности экспертов? Только при этом следует на этапе отбора
экспертов уделить больше внимания неформальной оценке уровня ш
квалификации, а затем, при подведении результатов экспертизы, счи-
тать их всех равнокомпетентными, и в качестве интегральной оценки
рассматривать среднеарифметическое их отдельных оценок. Часто на
практике поступают именно таким образом. |
Экспертные оценки 297
Г. Работа с экспертами
В зависимости от характера исследуемого объекта, от степени его
формализации и возможности привлечения необходимых экспертов по-
рядок работы с ними может быть различным, но в основном он содер-
жит следующие три этапа.
На первом этапе эксперты привлекаются в индивидуальном порядке с
целью уточнить модель объекта, ее параметры и показатели, подлежащие
экспертной оценке; уточнить формулировки вопросов и терминологию в
анкетах; согласовать целесообразность представления таблиц экспертных
оценок в той или иной форме; уточнить состав группы экспертов.
На втором этапе экспертам направляются анкеты с пояснительным
письмом, в котором описывается цель работы, структура и порядок за-
полнения анкет с примерами.
Когда имеется возможность собрать экспертов вместе, особенно если
удается их сгруппировать в соответствии с какими-либо признаками,
существенно важными для данного опроса, например эксперты из од-
ной организации, только сотрудники сбытовых служб, то цели и задачи
анкетирования, а также все вопросы, связанные с анкетированием, могут
быть доложены устно. Обязательное условие такой формы экспертного
опроса - последующее самостоятельное заполнение анкет при соблюде-
нии всех правил анкетирования.
Третий этап работы с экспертами осуществляется после получения
результатов опроса и изучения исследуемого объекта другими методами
в процессе обработки и анализа полученных результатов. На этом этапе
от экспертов в форме консультаций обычно получают всю недостающую
информацию, которая требуется для уточнения полученных данных и их
окончательного анализа.
Д. Анализ и обработка экспертных оценок
При проведении анализа собранных экспертных данных в соответ-
ствии с целями исследования и принятыми моделями необходимо опре-
делить согласованность действий экспертов и достоверность экспертных
оценок.
Пусть для каждого события С, на основании оценок а,,, заданных
группой из Р экспертов, образована матрица рангов важности - зза, зз,
где I = 1, 2,..., т - число событий, ] = 1, 2,..., р - число экспертов.
Матрица 1!а1 получается из матрицы На,,!! путем определения, исходя
из коэффициентов относительной важности событий Оу рангов важности
этих событий, т.е. событиям присваиваются номера 1, 2, 3,..., т нату-
рального ряда чисел.
Таким образом, при ранжировании события располагаются в поряд-
ке возрастания или убывания какого-либо признака X, количественно
неизмеримого. Ранг указывает то место, которое занимает 1-е событие
среди других т событий, ранжированных в соответствии с признаком X.
Ранжирование применяется, когда события располагаются согласно
неизмеримому и неподсчитываемому качеству (например, потребитель-
ские свойства товара, направления совершенствования товара и т. д.)
или рассматриваются только относительно взаимного расположения во
времени или пространстве. Ранжирование может являться менее точным
29В Глава 5
выражением упорядоченной связи событий относительно какого-либо1
измеримого или подсчитываемого качества как замена переменной по-
рядковым номером в прикидочных расчетах в целях экономии времени
и уменьшения трудоемкости вычислений.
При использовании рангов важности для сравнения результатов (со-
бытий) нельзя установить, насколько один результат лучше другого,
можно только определить ряд предпочтения рассматриваемых результа-
тов. Иными словами, числа, характеризующие порядковую меру пред-
почтительности результатов, при сравнении, предположим, событий А
и Б нельзя делить или вычитать, пытаясь узнать, насколько первый
результат лучше второго (см.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155