5) проверка значимости коэффициента конкордации, т.е. гипотезы о том, что эксперты проставляют свои ранги случайным образом и, следовательно, нет никакой согласованности в их мнениях. Идея проверки состоит в том, что при случайном присвоении рангов коэффициент конкордации будет принимать случайные значения, причем закон распределения может быть найден путем перебора всех возможных и равновероятных результатов ранжирования.
Рассмотрим статистику . При больших и ( и ) статистика имеет распределение, близкое к - распределению с числом степеней свободы - 1.
Для проверки значимости коэффициента конкордации необходимо:
- рассчитать значение статистики ;
- задаться уровнем значимости ;
- в таблице - распределения найти критическое значение при - 1 степени свободы;
- сопоставить полученное значение статистики и : если > , то гипотеза о случайной простановке рангов отклоняется и коэффициент конкордации считается значимым;
- если < , то гипотеза о случайной простановке рангов считается не противоречащей опытным данным и коэффициент конкордации считается незначимым; В этом случае следует вернуться к организации опроса экспертов: изменить их состав, использовать процедуру с заочным обменом мнениями и т.д.
6) вычисление коэффициентов важности свойств можно осуществить различными способами. Наиболее простые из них основаны на том, что о важности свойств содержится информация в суммарных рангах . Действительно, чем выше роль того или иного свойства, тем большее число экспертов будут ставить его на первые места в ранжировках, влияя тем самым на суммарный ранг.
Расчет коэффициентов важности при этом осуществляется по формуле:
= ,
где - суммарный ранг - ой характеристики. В знаменателе стоит сумма всез суммарных рангов ( сумма всех элементов таблицы ранжировок).