Как можно видеть, порог C подбирается эмпирически. При малом пороге C (в матрице много компонент), в графе содержится много петель. Увеличивая порог C, можно добиться уменьшения количества связей и устранения малозначащих связей и петель. Однако нужно иметь в виду, что при очень высоком значении порога C граф распадется на несколько отдельных графов из-за отсутствия необходимых связей; в качестве иллюстрации см. рис. 36.7: при пороге C = 1.67 проекты 4 и 5 остаются без входящих стрелок, и поэтому становится неясно, какой же проект — 6-ой, 4-ый или 5-ый — является наилучшим. А при пороге C = 2 граф распадается на четыре не связанных подграфа.
Если граф не будет найден ни при каких значениях порога C, то следует изменить веса критериев и всю процедуру провести снова.
Если разумное изменение весов не помогает, и проекты все еще путаются (петли в графе), то надо детализировать проблему, добавив критерии.
Рис. 36.7. Вид графа предпочтений для случая порога принятия решений C = 1.67 (слева) и C = 2 (справа)
Важным вопросом экспертизы является формирование группы экспертов. Если экспертов много, то в группу с высокой вероятностью попадают некомпетентные эксперты. Если экспертов мало, то результат экспертизы существенно зависит от конкретных лиц, попавших в число экспертов. Поэтому имеет смысл, опросив экспертов ri и получив результат экспертизы R, оценить объективность каждого из членов экспертного коллектива по следующей формуле:
αi — коэффициент объективности эксперта;
ri — мнение i-го эксперта;
R — результат экспертизы (среднее мнение), вычисленное ранее изложенными способами;
d(ri, R) — расстояние от мнения i-го эксперта до среднего мнения R;
n — количество экспертов;
— сумма расстояний от всех мнений экспертов до среднего мнения R.
Для нашего примера можно просчитать объективность каждого эксперта. Рассмотрим уже полученное ранее решение (см. табл. 36.15).
Таблица 36.15. Матрица мнений экспертов и результат экспертизы
Итак, как видим, первый эксперт имеет наибольшую объективность; наименьшую объективность имеет четвертый эксперт (см. рис. 36.8). Кстати, неслучайно в методе «Медиана Кемени» мнение первого эксперта было принято в качестве ответа экспертизы, а четвертый эксперт стоял на периферии многоугольника мнений экспертов ABCD (см. рис. 36.1 и рис. 36.2)…
Рис. 36.8. Диаграмма объективности экспертов
Вообще-то рекомендуется отсеять мнения экспертов с малым значением α и результат R пересчитать снова без их учета.
Вторая проверка экспертов касается согласованности их коллектива. Для расчета согласованности мнений рассчитаем дисперсию мнений (см. табл. 36.16) и оценим ее величину статистической формулой W = 12 · D/(n2 · (m3 – m)), где n — число экспертов, m — число проектов.
Таблица 36.16. Матрица расчета согласованности мнений экспертов для группы из четырех экспертов
Эксперт 1
Эксперт 2
Эксперт 3
Эксперт 4
Баллы проекта
Отклонение балла проекта от среднего балла
Дисперсия D
Проект A
–5
Проект B
–1
Проект C
Проект D
Итого
Средний балл
Для нашего случая имеем: W = 12 · 46/(42 · (43 – 4)) = 552/960 = 0.575. При W = 1 эксперты находятся в полном согласии; при W = 0 наблюдается полная несогласованность. В нашем примере согласие экспертов слабое. Поэтому можно порекомендовать изменить число экспертов — либо удалить четвертого эксперта, как самого необъективного, либо увеличить число экспертов для большей статистической устойчивости результатов. Посмотрим, как возрастет согласованность экспертов, например, после удаления четвертого эксперта (см. табл. 36.17).
Таблица 36.17. Матрица расчета согласованности мнений экспертов для группы из трех экспертов
Эксперт 1
Эксперт 2
Эксперт 3
Баллы проекта
Отклонение балла проекта от среднего балла
Дисперсия D
Проект A
–2.5
6.25
Проект B
–1.5
2.25
Проект C
0.5
0.25
Проект D
4.5
20.25
Итого
Средний балл
7.5
W = 12 · 29/(32 · (43 – 4)) = 0.64 — как видим, согласие увеличилось.
Таким образом, экспертиза помогает нам провести неформальный анализ в моделировании, отобрав из множества предложенных методами генерации идей наиболее перспективный вариант будущего проекта. В выбранный проект в дальнейшем будут вложены значительные средства для его детализации (процесс проектирования и моделирования — см. лекцию 01. Понятие моделирования. Способы представления моделей и Рис. 1.14. Схема процесса, способов и приемов моделирования (полный вариант)).
Обычно для уверенного принятия решения, так как все методы экспертиз субъективны, используют сразу несколько методов и выводят общее решение.
Полученное решение обязательно следует проверить. Мы рассмотрели две проверки — на качество эксперта (объективность эксперта) и качество группы (согласованность группы).
Сама величина критерия, полученная в результате проверки, дает только относительную оценку. Рекомендуется наблюдать изменение величины в результате изменения некоторого существенного фактора и добиваться наилучшего значения этой величины, сознательно управляя этим фактором (см., например, табл. 36.16 и табл. 36.17). Таким фактором чаще всего может служить величина группы, качественный состав группы экспертов, система критериев, состав проектов. Хорошие результаты дает применение итераций в экспертизе.
Но всегда следует иметь в виду, что никакое количество проверок, даже очень большое, не гарантирует абсолютной правильности выбора решения
Практика № 01. Регрессионные модели
Решим на конкретном примере задачу регрессионного анализа, то есть, опираясь на имеющиеся экспериментальные данные, построим модель (определим функцию черного ящика), по которой вход преобразуется в выход (см. рис. П-01.1).
Рис. П-01.1. Схема одномерной регрессионной модели
— сумма расстояний от всех мнений экспертов до среднего мнения R.
= 0 + 2 + 2 + 4 = 8.
