Эти правила должны обеспечивать соблюдение
условий, благоприятствующих формированию экспертами объективного
мнения. В число таких условий входит:
- независимость формирования экспертами собственного мнения
об оцениваемых событиях;
- удобство работы с предполагаемыми анкетами (вопросы форму-
лируются в общепринятых терминах, и должны исключать всякую смыс-
ловую неоднозначность и др. -- см. раздел 4.10.4);
- логическое соответствие вопросов структуре объекта опроса;
- приемлемые затраты времени на ответы по вопросам анкеты,
удобное время получения вопросов и выдачи ответов;
- сохранение анонимности ответов для членов экспертной группы;
- проведение коллективных обсуждений оцениваемых событий;
- предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработа-
ны правила проведения опроса и организации работы экспертной груп-
пы. Причем в них должна быть учтена специфика оцениваемых событий,
а также особенности организаций, из которых приглашаются эксперты.
В. Формирование правил определения суммарных оценок на основе
оценок отдельных экспертов
Если имеются оценки Оу событий (факторов) С", определенные каж-
дым п, О N экспертом, то возникает вопрос о том, каким образом могут
быть получены групповые оценки событий.
В общем случае групповая оценка а; каждого С, события зависит от
оценок экспертами этого события и степени компетентности Ь, экспер-
тов. Степень компетентности Ь, эксперта учитывает его опыт и квалифи-
кацию и является основной характеристикой эксперта, которая исполь-
зуется при определении групповых оценок. Поэтому
а/(а,Н), (5.1)
где / = 1, 2,..., р;
] = 1, 2,..., т.
Следовательно, задание способа формирования групповых эксперт-
ных оценок состоит в определении этой функции. Причем необходимо,
чтобы она была строго монотонно возрастающей по ОуИ А|.
Экспертные оценки 293
Этому условию удовлетворяет множество функций. Обычно полага-
ют, что функцию (1) можно представить как
Е
а=---
При равной компетентности экспертов эта формула принимает вид
средней оценки
Р
1.ау
_ =1
а,
Р
В зависимости от специфики экспертного опроса, объекта исследо-
вания и используемой методики обработки экспертных данных оценки
йу могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от О
до 100. Принципиальной разницы в данных шкалах нет, выбор той или
иной из них во многом определяется удобством получения и обработки
оценок, а также вкусом исследователя, проводящего экспертный опрос.
Для того чтобы учитывать различие в компетентности экспертов, им
могут быть приписаны различные <веса>, которые учитываются при
определении групповых оценок. Причем значения этих коэффициентов
интерпретируются как вероятность задания экспертом достоверной оцен-
ки. Тогда 0 < Ау <. 1. Значения весовых коэффициентов могут быть ис-
пользованы при построении системы стимулирования работы группы
экспертов. Например, дополнительная оплата за работу по оценке собы-
тий определится пропорционально весовому коэффициенту эксперта.
Существуют различные приемы оценки компетентности эксперта,
выбор которых определяется как характером решаемой задачи, так и
возможностями проведения конкретного экспертного опроса.
На наш взгляд, оценку следует строить на основе определенной шка-
лы, каждый балл которой определяется с помощью выбора соответствую-
щих характеристик, оценивающих квалификацию эксперта. При этом дол-
жен быть учтен уровень квалификации эксперта в узкой области специали-
зации, уровень теоретической подготовки, его практический опыт и широ-
та кругозора. Перечисленные характеристики лучше всего оценивать по деся-
тибалльной шкале, разработанной специально к конкретному экспертному
опросу. Полученные характеристики следует свести в один показатель, харак-
теризующий объективную оценку компетентности эксперта, - А/.
Кроме того, целесообразно определить показатель относительной
самооценки эксперта (субъективный показатель - Ау). Этот показатель
получается следующим образом: для каждого вопроса или группы вопро-
сов, по которым считается необходимым оценить компетентность экс-
перта, в таблице экспертных оценок предусматривается шкала под на-
званием <относительная самооценка эксперта>. В ней эксперту самому
предлагается проставить себе балл по десятибалльной шкале, ориенти-
руясь, к примеру, на следующие значения баллов:
10 - эксперт специализируется по данному вопросу, имеет по нему
законченные теоретические или практические разработки (научные ис-
294 Глава 5
следования, запущенные в производство технические разработки, дан-
ный вопрос непосредственно относится к области его узкой служебной
деятельности);
8 - в практическом решении данного вопроса эксперт участвует,
но этот вопрос не входит в сферу его узкой специализации;
5 - вопрос входит в сферу тесно связанного с его узкой специали-
зацией направления (смежная прикладная дисциплина, смежная область
практической деятельности);
3 - вопрос не входит в сферу тесно связанного с его узкой специ-
ализацией направления (например, знакомство с проблемой по литера-
турным источникам, по работе на другом предприятии и т. п.).
В целом показатель <относительная самооценка эксперта> направлен
на то, чтобы эксперт сам оценил уровень своей компетентности по
заданному вопросу.
Для того чтобы шкала баллов не оказывала влияния на самооценку,
в графе <относительная самооценка эксперта> можно привести перечень
характеристик компетентности экспертов без проставления баллов. В этом
случае эксперт должен подчеркнуть те характеристики, которые, по его
мнению, определяют уровень личной компетентности. Баллы проставля-
ются рабочей группой при анализе собранных анкет. Анкета для опреде-
ления компетентности экспертов приводится в табл. 5.2.
Произведение объективного и субъективного показателей, деленное
на сто, будет характеризовать компетентность эксперта по данному воп-
росу, т.е.
100
Деление на 100 нужно для приведения диапазона изменения йу к
виду 0 < Ау <_ 1. Тогда показатель компетентности эксперта можно трак-
товать как вероятность задания им достоверной оценки.
При неоднократном повторении опроса одним и тем же коллективом
экспертов (либо устойчивым большинством) по сходным вопросам можно
и необходимо на каждом новом опросе воспользоваться уже накопленны-
ми результатами для уточнения характеристик компетентности экспертов.
Кроме того, компетентность экспертов может быть определена сами-
ми экспертами. Для этого каждый эксперт, входящий в группу, задает ве-
совые коэффициенты всем остальным экспертам, кроме себя. Далее опре-
деляется среднеарифметическая оценка компетентности каждого эксперта.
Для отбора наиболее компетентных и добросовестных экспертов,
участников фокус-групп и других методов, основанных на использова-
нии ограниченного числа опрашиваемых, возможно использование так
называемых фильтрующих вопросов и вопросов-ловушек.
Например, при опросе торговых посредников о проблемах сбыта
конкретных товаров на определенной стадии опроса может быть введен
следующий фильтр:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155
условий, благоприятствующих формированию экспертами объективного
мнения. В число таких условий входит:
- независимость формирования экспертами собственного мнения
об оцениваемых событиях;
- удобство работы с предполагаемыми анкетами (вопросы форму-
лируются в общепринятых терминах, и должны исключать всякую смыс-
ловую неоднозначность и др. -- см. раздел 4.10.4);
- логическое соответствие вопросов структуре объекта опроса;
- приемлемые затраты времени на ответы по вопросам анкеты,
удобное время получения вопросов и выдачи ответов;
- сохранение анонимности ответов для членов экспертной группы;
- проведение коллективных обсуждений оцениваемых событий;
- предоставление экспертам требуемой информации.
Для обеспечения выполнения этих условий должны быть разработа-
ны правила проведения опроса и организации работы экспертной груп-
пы. Причем в них должна быть учтена специфика оцениваемых событий,
а также особенности организаций, из которых приглашаются эксперты.
В. Формирование правил определения суммарных оценок на основе
оценок отдельных экспертов
Если имеются оценки Оу событий (факторов) С", определенные каж-
дым п, О N экспертом, то возникает вопрос о том, каким образом могут
быть получены групповые оценки событий.
В общем случае групповая оценка а; каждого С, события зависит от
оценок экспертами этого события и степени компетентности Ь, экспер-
тов. Степень компетентности Ь, эксперта учитывает его опыт и квалифи-
кацию и является основной характеристикой эксперта, которая исполь-
зуется при определении групповых оценок. Поэтому
а/(а,Н), (5.1)
где / = 1, 2,..., р;
] = 1, 2,..., т.
Следовательно, задание способа формирования групповых эксперт-
ных оценок состоит в определении этой функции. Причем необходимо,
чтобы она была строго монотонно возрастающей по ОуИ А|.
Экспертные оценки 293
Этому условию удовлетворяет множество функций. Обычно полага-
ют, что функцию (1) можно представить как
Е
а=---
При равной компетентности экспертов эта формула принимает вид
средней оценки
Р
1.ау
_ =1
а,
Р
В зависимости от специфики экспертного опроса, объекта исследо-
вания и используемой методики обработки экспертных данных оценки
йу могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от О
до 100. Принципиальной разницы в данных шкалах нет, выбор той или
иной из них во многом определяется удобством получения и обработки
оценок, а также вкусом исследователя, проводящего экспертный опрос.
Для того чтобы учитывать различие в компетентности экспертов, им
могут быть приписаны различные <веса>, которые учитываются при
определении групповых оценок. Причем значения этих коэффициентов
интерпретируются как вероятность задания экспертом достоверной оцен-
ки. Тогда 0 < Ау <. 1. Значения весовых коэффициентов могут быть ис-
пользованы при построении системы стимулирования работы группы
экспертов. Например, дополнительная оплата за работу по оценке собы-
тий определится пропорционально весовому коэффициенту эксперта.
Существуют различные приемы оценки компетентности эксперта,
выбор которых определяется как характером решаемой задачи, так и
возможностями проведения конкретного экспертного опроса.
На наш взгляд, оценку следует строить на основе определенной шка-
лы, каждый балл которой определяется с помощью выбора соответствую-
щих характеристик, оценивающих квалификацию эксперта. При этом дол-
жен быть учтен уровень квалификации эксперта в узкой области специали-
зации, уровень теоретической подготовки, его практический опыт и широ-
та кругозора. Перечисленные характеристики лучше всего оценивать по деся-
тибалльной шкале, разработанной специально к конкретному экспертному
опросу. Полученные характеристики следует свести в один показатель, харак-
теризующий объективную оценку компетентности эксперта, - А/.
Кроме того, целесообразно определить показатель относительной
самооценки эксперта (субъективный показатель - Ау). Этот показатель
получается следующим образом: для каждого вопроса или группы вопро-
сов, по которым считается необходимым оценить компетентность экс-
перта, в таблице экспертных оценок предусматривается шкала под на-
званием <относительная самооценка эксперта>. В ней эксперту самому
предлагается проставить себе балл по десятибалльной шкале, ориенти-
руясь, к примеру, на следующие значения баллов:
10 - эксперт специализируется по данному вопросу, имеет по нему
законченные теоретические или практические разработки (научные ис-
294 Глава 5
следования, запущенные в производство технические разработки, дан-
ный вопрос непосредственно относится к области его узкой служебной
деятельности);
8 - в практическом решении данного вопроса эксперт участвует,
но этот вопрос не входит в сферу его узкой специализации;
5 - вопрос входит в сферу тесно связанного с его узкой специали-
зацией направления (смежная прикладная дисциплина, смежная область
практической деятельности);
3 - вопрос не входит в сферу тесно связанного с его узкой специ-
ализацией направления (например, знакомство с проблемой по литера-
турным источникам, по работе на другом предприятии и т. п.).
В целом показатель <относительная самооценка эксперта> направлен
на то, чтобы эксперт сам оценил уровень своей компетентности по
заданному вопросу.
Для того чтобы шкала баллов не оказывала влияния на самооценку,
в графе <относительная самооценка эксперта> можно привести перечень
характеристик компетентности экспертов без проставления баллов. В этом
случае эксперт должен подчеркнуть те характеристики, которые, по его
мнению, определяют уровень личной компетентности. Баллы проставля-
ются рабочей группой при анализе собранных анкет. Анкета для опреде-
ления компетентности экспертов приводится в табл. 5.2.
Произведение объективного и субъективного показателей, деленное
на сто, будет характеризовать компетентность эксперта по данному воп-
росу, т.е.
100
Деление на 100 нужно для приведения диапазона изменения йу к
виду 0 < Ау <_ 1. Тогда показатель компетентности эксперта можно трак-
товать как вероятность задания им достоверной оценки.
При неоднократном повторении опроса одним и тем же коллективом
экспертов (либо устойчивым большинством) по сходным вопросам можно
и необходимо на каждом новом опросе воспользоваться уже накопленны-
ми результатами для уточнения характеристик компетентности экспертов.
Кроме того, компетентность экспертов может быть определена сами-
ми экспертами. Для этого каждый эксперт, входящий в группу, задает ве-
совые коэффициенты всем остальным экспертам, кроме себя. Далее опре-
деляется среднеарифметическая оценка компетентности каждого эксперта.
Для отбора наиболее компетентных и добросовестных экспертов,
участников фокус-групп и других методов, основанных на использова-
нии ограниченного числа опрашиваемых, возможно использование так
называемых фильтрующих вопросов и вопросов-ловушек.
Например, при опросе торговых посредников о проблемах сбыта
конкретных товаров на определенной стадии опроса может быть введен
следующий фильтр:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155