Основные этапы экспертного оценивания.

Раскроем содержательно основные этапы процесса экспертного оценивания. К ним относят: формирование цели и задач экспертного оценивания; формирование группы управления и оформление решения на проведение экспертного оценивания; выбор метода получения экспертной информации и способов ее обработки; подбор экспертной группы и формирование при необходимости анкет опроса; опрос экспертов (экспертиза); обработка и анализ результатов экспертизы; интерпретация полученных результатов; составление отчета.

Задачу на проведение экспертного оценивания ставит ЛПР (заказчик). Этап формирования цели и задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертнoгo оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресур­сы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей ра­ботой назначается руководитель экспертизы. Он определяет сос­тав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи, либо методом совещаний с обсуждением результатов анонимных опросов. Взаимосвязь ука­занных этапов представлена на рис.19.

На группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет, содержательной интерпретации получаемых результатов. Этот большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов, как в области рассматриваемой проблемы, так и в других областях - психологии, математики, медицины, социологии.

Рис.19. Схема основных этапов экспертного оценивания

Подбор экспертной группы обычно производится в несколько этапов. Вначале устанавливают отрасли знаний так или иначе связанные с рассматриваемой проблемой. Затем намечается список "потенциальных" экспертов, которые по своим профессиональным качествам являются специалистами в этих областях знаний. Такой предварительный отбор может быть легко произведен на основе доступной информации о профессиональной подготовке кандидата: должность, ученое звание и степень, стаж практической деятельности, количество публикаций, участие в других экспертизах. При этом желательно, чтобы кандидат в экспертную группу имел широкий кругозор и эрудицию. Сама же группа не должна, по возможности, состоять из представителей одной отрасли или специальности, чтобы исключить влияние ведомственных интересов и не сделать получаемые результаты тенденциозными.

При формировании экспертной группы необходимо решать задачи по качественному и количественному отбору экспертов. При отборе экспертов по качественному признаку учитываются такие требования к ним, как: компетентность в исследуемой области; эрудированность в смежных областях; объективность; заинтересованность; деловитость; способность к выделению главного; способность творчески решать задачи, метод решения которых неизвестен; способность противопоставить массовому мнению свое мнение; способность видеть проблему с различных точек зрения.

В ходе определения количества экспертов необходимо учитывать, что при малом их числе появляется излишнее влияние оценки каждого эксперта, а при большом числе трудно вырабатывать единое мнение и снижается роль крайнего мнения, которое не всегда может быть ошибочным.

Количество экспертов может быть определено по формуле

N = 0,5 (3/b + 5) человек, где b – допустимая вероятность ошибки, 1 ≥ b ≥ 0.

Если в экспертизе предполагается использовать метод ко­миссий или другой метод открытых опросов, то состав группы экспертов должен быть однородным, чтобы исключить "давление авторитетов".

Первоначально намеченный список кандидатов подвергается дальнейшему анализу для решения вопроса о численном составе экспертной группы, который зависит от ограничений финансового, временного и организационного характера. В окончательный спи­сок включается те кандидата, которые являются наиболее компетентными. Компетентность эксперта есть степень его квалификации в определенной области знаний. Она определяется на основе анали­за его профессиональной деятельности, широты кругозора по перспективам развития рассматриваемой проблемы.

Процедуры опроса различаются как по форме общения с экспертом, так и по способу постановки ему вопросов. К ним относятся: индивидуальные и групповые, очные и заочные, открытые и закрытые опросы. При выборе конкретной процедуры опроса необходимо учитывать не только реальные ограничения на процесс проведения экспертизы, но и достоинства и недостатки этих процедур. Так, например, очные опросы предпочтительнее заочных по информативности, так как позволяют исключить возможное неправильное истолкование экспертом вопросов анкеты. Более того, при заочном опросе эксперт вообще может не дать ответа на некоторые вопросы ввиду их непонимания, хотя при очном опросе это затруднение может быть оперативно устранено за счет уточнения поставленных вопросов. Относи­тельно величины затрат на получение информации и исключения психологического давления на эксперта со стороны группы управ­ления более предпочтительнее заочный опрос.

Способ постановки вопросов эксперту регламентирует опре­деленную свободу в его ответах. Если группа управления желает получить конкретный ответ по интересующей проблеме и, нет уве­ренности, что сам эксперт захочет дать этот ответ, используют процедуру закрытого опроса. Эта процедура пре­дусматривает постановку перед экспертом таких вопросов, в фор­мулировке которых заведомо содержится перечень альтернативных ответов. Какие тут возможны варианты?

Если вопрос предусматривает ответ в форме только "да" или "нет", то такой вопрос называется чисто закрытым. Если же тре­буется указать один, из более чем двух предлагаемых вариантов ответа, то такой вопрос называется веерным. Достоинство чисто закрытых и веерных вопросов в том, что экспертиза проводится оперативно, эксперты хорошо понимают поставленную задачу и уверенно работают, имея перед собой набор альтернативных отве­тов. Однако навязывание экспертам ответов исключает возмож­ность выражения ими своего мнения в том случае, если оно не совпадает с альтернативными ответами, и снимает с него мораль­ную ответственность за качество ответа. Поэтому процедуру зак­рытого опроса целесообразно использовать при анализе характера неопределенностей, выборе метода моделирования и определения типа модели, анализе полученных результатов, то есть в тех случаях, когда набор альтернатив достаточно очевиден.

Процедура открытого опроса дает полную свободу в ответах эксперта по рассматриваемой проблеме. Вопрос ставится в обшей форме, отражая лишь существо задачи. Такая процедура применяется в ситуациях, требующих нетривиального решения. По своему целевому назначению открытый опрос сходен с методом коллективной генерации идей. Недостатки этой процедуры заклю­чаются в том, что требуются неформальные методы обработки ин­формации и высокая квалификация экспертов.

Процедура открытого опроса, как правило, применяется в задачах формирования исходного множества стратегий, выбора по­казателей и критериев эффективности, прогнозирования поведения других субъектов операции и в других случаях, требующих обнаружения с помощью экспертов неясных элементов проблемной ситуации.

Для устранения недостатков каждой из рассмотренных процедур необходимо их комплексное использование. Так, например, при проведении закрытого опроса можно предоставить экспертам возможность вообще не выбирать одну из представленных альтернатив, или выдвигать собственный ответ по вопросам.

После получения информации от экспертов производится ее анализ и обработка с целью выявления согласованности мнений отдельных специалистов и формирования коллективного мнения. Решение последней задачи осуществляется с помощью специальных процедур, позволяющих выявить и учитывать компетентность экспертов.

Этап интерпретации полученных результатов необходим для организации обратной связи в процессе экспертного оценивания.