Для характеристики согласованности группы индивидуальных ранжировок наиболее часто применяют коэффициент конкордации
, как указывалось ранее. Согласованность группы считается высокой при
0,8. Коэффициент конкордации
применяют и для поиска экспертов – «еретиков», предложивших ранжировки, наиболее отличающиеся от групповых.
При этом
вычисляют для всей группы экспертов в целом, а затем – для группы, из которой один эксперт исключен. Если при этом
повышается, то это означает, что исключенная ранжировка «разрыхляла» группу. Исключая поочередно каждого эксперта, находим эксперта, ранжировка которого наиболее сильно разрыхляла группу и, следовательно, в наибольшей степени отличалась от групповых оценок.