Этапы работ в системе экспертных оценок

а) Цель работы и формирование альтернативных вариантов оцениваемых событий

Формирование цели работы производится организаторами экспертного опроса и начинается с формулировки задачи, которая должна быть решена на основе экспертных оценок. Далее дается краткое описание подмножества оцениваемых событий с указанием совокупности признаков, позволяющих выделить оцениваемые события из класса возможных событий. Для подмножества оцениваемых событий указываются совокупности рангов, на основе которых группа экспертов выполняет операцию упорядочения элементов. Краткое описание цели работы представляется каждому эксперту перед началом эксперимента.

б) Формирование экспертной группы в соответствии с целью работы

Формирование экспертной группы начинается с выявления потенциально возможных экспертов. К их числу принадлежат специалисты в области науки и техники, к которой относятся оцениваемые события. Выявленное число экспертов в последующем уточняется в зависимости от их специализации и квалификации. Очевидно, что для выявления коллективного суждения группы необходимо, чтобы она не была слишком малой, так как в этом случае на коллективную оценку будет существенно влиять оценка каждого эксперта. При увеличении числа членов экспертной группы этот недостаток устраняется, однако появляется опасность увеличения разнообразия оценок за счет плохо аргументированных суждений, получаемых в результате привлечения к экспертизе малокомпетентных экспертов, что увеличивает неопределенность коллективного суждения. В каждом конкретном случае окончательное решение о числе членов экспертной группы принимается организаторами работы по экспертным оценкам. Ориентировочно можно рекомендовать количественный состав группы в пределах .

в) Формирование правил и порядка работы экспертной группы

Правила работы экспертной группы регламентируют условия работы каждого эксперта и определяют отношения между экспертной группой и организаторами экспертного опроса. Эти правила полностью опираются на принципы, составляющие основу системы экспертных оценок, и являются обязательными при проведении работы по получению экспертных оценок. Они сводятся к соблюдению следующих условий:

§ полной информированности каждого эксперта о результатах оценок, сделанных остальными экспертами, и аргументов, обосновывающих эти оценки;

§ полной независимости каждого эксперта при обсуждении результатов групповой оценки и аргументации собственного суждения;

§ периодической корректировке результатов оценок за счет притока информации со стороны внешней среды.

Экспертные методы не являются формальными в строгом смысле слова. Здесь остается широкое поле для творческой импровизации особенно при составлении анкет, где опыт и интуиция преобладают над алгоритмической ясностью. Результаты работы экспертной группы неизбежно будут содержать отпечаток субъективизма, вносимого как самими экспертами, так и организаторами экспертного опроса. Это является неизбежной платой за возможность получить количественные оценки там, где раньше ограничивались лишь качественным описанием.