Имеем: rj = 3; t1 = 2; t2 = 4; t3 = 2. В итоге коэффициент конкордации определяется по формуле
где
Если все ранги, установленные j-м экспертом, различны, то Тj = 0. Коэффициент конкордации принимает значения в пределах отрезка [0,1]. При полной согласованности мнений экспертов W = 1. Изменение W от 1 до 0 соответствует уменьшению согласованности. Можно полагать, что при W < 0,5 согласованность экспертов низкая; при W ≥ 0,5 - удовлетворительная.
Оценка компетентности экспертов. При оценке компетентности экспертов учитываются следующие факторы: специализация эксперта, стаж работы, опыт работы в данной области, научная классификация, широта кругозора.
Оценка компетентности экспертов чаще всего производится по двум коэффициентам: объективному коэффициенту компетентности и коэффициенту относительной самооценки эксперта. Данные коэффициенты можно использовать раздельно и комплексно.
Объективный коэффициент определяется путём заполнения специальной таблицы, содержащей вопросы по всем факторам, влияющим на компетентность эксперта. Коэффициент относительной самооценки эксперта получается путем оценки самим экспертом своих знаний по данному вопросу в пределах предлагаемой ему шкалы, например от 0 до 1. Коэффициенты компетентности позволяют: пересмотреть состав экспертной группы и исключить экспертов, имеющих низкую компетентность; скорректировать оценки коллективного мнения экспертной группы. В последнем случае, например, средняя коллективная оценка объекта будет равна:
где λj - коэффициент компетентности эксперта j;
x ij - оценка объекта i экспертом j.
В некоторых случаях компетентность экспертов можно оценивать по результатам экспертного опроса, анализируя степень отклонения и относительную неравномерность формируемых оценок.
Тема 7. Эмпирико – теоретические методы исследования систем
Эмпирическое знание – это знание, полученное из опыта и наблюдаемое непосредственно. Методы получения эмпирических знаний могут быть пассивными и активными.
Наблюдение —это система фиксации и регистрации свойств и связей изучаемого объекта в естественных условиях или в искусственном, специально организованном эксперименте.
Познавательные возможности метода наблюдения зависят от характера и интенсивности чувственного восприятия особенностей объекта наблюдения, условий наблюдения, совершенства измерений. При благоприятных условиях этот метод обеспечивает достаточно обширную и разностороннюю информацию для формирования и фиксации научных фактов.
Функции этого метода:
1. Фиксация и регистрация информации;
2. Предварительная, на базе имеющейся теории, классификация научных фактов (по признакам: новизна зафиксированных фактов, объем информации, содержащейся в фактах, особенности свойств и связей);
3. Сравнение зафиксированных фактов с тем, что известно в науке, с фактами, характеризующими другие, подобные системы.
На основе реализации этих функций могут быть сформулированы догадки, а затем и рабочие гипотезы.
Наблюдение представляет собой активный познавательный процесс, опирающийся, прежде всего, на работу органов чувств человека и его предметную материальную деятельность. Это наиболее элементарный метод, выступающий, как правило, в качестве одного из элементов в составе других эмпирических методов.
Наблюдения в исследовании имеют своей целью проверку той или иной гипотезы или теории и, поэтому они существенным образом зависят от этой цели. Исследователь не просто регистрирует любые факты, но и сознательно отбирает те из них, которые могут либо подтвердить, либо опровергнуть его идеи.
Всякое наблюдение предполагает наличие некоторого наблюдаемого объекта и воспринимающего его субъекта, который осуществляет наблюдение в конкретных условиях места и времени, а также специальных средств наблюдения (фото и телеаппаратуры и т.п.), назначение которых состоит в том, чтобы компенсировать природную ограниченность органов чувств человека, повысить точность и объективность результатов наблюдения.
Для того, чтобы быть плодотворным методом познания, наблюдение должно удовлетворять ряду требований, важнейшими из которых являются: планомерность, целенаправленность, активность, систематичность.
Наблюдение как средство познания дает первичную информацию о мире.
Эксперимент — это система познавательных операций, которая осуществляется в отношении объектов, поставленных в такие условия (специально создаваемые), которые должны способствовать обнаружению, сравнению, измерению объективных свойств, связей, отношений объектов и (или) проверке истинности теории в отношении этих свойств, связей, отношений. Онпредполагает вмешательство в естественные условия существования предметов и явлений или воспроизведение определенных сторон предметов и явлений в специально созданных условиях с цепью изучения их без осложняющих процесс сопутствующих обстоятельств.
Алгоритм проведения эксперимента:
определение целей эксперимента, обоснование условий, которые способствовали бы наиболее полному и всестороннему проявлению свойств, отношений, связей системы и ее компонентов;
разработка систем показателей, измерителей, ориентиров (для производственных и социальных экспериментов), технических средств и устройств (для технических экспериментов);
предварительная классификация и сравнение статистических данных о результатах эксперимента;
интерпретация (истолкование) результатов эксперимента.
Экспериментальное изучение объектов по сравнению с наблюдением имеет ряд преимуществ: в процессе эксперимента становится возможным изучение того или иного явления в «чистом виде«; эксперимент позволяет исследовать свойства объектов действительности в экстремальных условиях; важнейшим достоинством эксперимента является его повторяемость.
Характерная особенность эксперимента как специального метода эмпирического исследования заключается в том, что он обеспечивает возможность активного практического воздействия на изучаемые явления и процессы. Исследователь здесь не ограничивается пассивным наблюдением явлений, а сознательно вмешивается в естественный ход их протекания. Он может осуществить такое вмешательство путем непосредственного воздействия на изучаемый процесс или изменить условия, в которых происходит этот процесс. И в том и в другом случае результаты испытания точно фиксируются и контролируются.
Принята следующая классификация видов экспериментов (рис.20).
Классификация видов экспериментов
По цели
По характеру исследования
По методу исследования
по характеру объекта исследования
проверочный
поисковый
лабораторный
производственный
специальный
качественный
количественный
реальный
модельный
мысленный
Рис.20. Классификация видов экспериментов
Проверочный эксперимент служит для эмпирической проверки той или иной гипотезы или теории.
Поисковые эксперименты служат для сбора необходимой для построения или уточнения некоторой догадки или предположения эмпирической информации.
Мысленный эксперимент— это экспериментирование в мышлении, построение мышления по принципу "а что если...". Его эффективность зависит от индивидуальных способностей к творческой деятельности, овладения методологией мысленного экспериментирования.
Реальный эксперимент – объектом изучения служит реально существующий предмет или процесс.
Модельный эксперимент проводится на специально разработанной модели, отражающей объективные зависимости, существующие в объекте исследования. Этой модели задают различные параметры, и она показывает поведение объекта при их изменении. Разные варианты такого поведения позволяют объяснять явления, устанавливать новые зависимости, предсказывать возможные тенденции.
Качественные эксперименты проводятся с целью выявления действия тех или иных факторов на исследуемый процесс без установления точной количественной зависимости между ними.
Количественный эксперимент проводится с целью точного измерения всех существенных факторов, влияющих на поведение исследуемого объекта или ход процесса. Проведение такого эксперимента требует использования значительного количества регистрирующей и измерительной аппаратуры, а результаты измерений нуждаются в более или менее сложной математической обработке.
Эксперимент, в отличие от наблюдения, является активным методом исследования систем управления.